Xây dựng với CometAPICần một API cho nhiều mô hình?Kiểm thử quy trình trong Playground, sau đó tạo API key khi mô hình và chi phí phù hợp với trường hợp sử dụng của bạn.
Tencent Hyra 2.0: Kiến trúc Harness, các điểm chuẩn & kết quả
Khám phá Tencent Hunyuan Hyra 2.0, Harness tác nhân ba lớp, các mô hình khoa học, các điểm chuẩn, các đột phá trong nghiên cứu và sự khác biệt so với Hyra 1.0.
Tencent Hunyuan giới thiệu Hyra 2.0 vào ngày 2 tháng 11 năm 2026 như một Harness nghiên cứu để phát triển các mô hình khoa học, công cụ phần mềm và quy trình làm việc có thể tái sử dụng. Đặc trưng quan trọng của nó là phối hợp bền bỉ xuyên suốt các thí nghiệm kéo dài nhiều ngày hoặc nhiều tuần.
Bản phát hành công khai hiện tại bao gồm các tạo vật nghiên cứu được chọn—mô hình, mã, trọng số và báo cáo—thay vì một dịch vụ Hyra 2.0 được lưu trữ sẵn sàng cho mọi người dùng. Tính đến ngày 4 tháng 11 năm 2026, tài liệu công khai của Tencent không mô tả một API điều phối đa dụng hay gói đăng ký.
Key Takeaways
Mục tiêu nghiên cứu: Hyra 2.0 phát triển các mô hình và công cụ khoa học có thể tái sử dụng, hỗ trợ hơn một dự án nghiên cứu.
Phối hợp bền bỉ: Các tác nhân Overall, Mission và Worker phân chia trách nhiệm, trong khi hàng đợi và hồ sơ nghiên cứu lưu giữ tiến độ của các thí nghiệm dài.
Tri thức có thể tái sử dụng: Bộ nhớ tác nhân, Books và kỹ năng nghiên cứu lưu giữ phát hiện cùng bằng chứng hỗ trợ và điều kiện sử dụng.
Đã được xem xét về độ rõ ràng, ghi nguồn và thuật ngữ API hiện tại.
Kết quả theo nhiệm vụ: Các mô hình protein, lực trường và tế bào được phát hành phục vụ các khối lượng công việc khoa học khác nhau; cần đánh giá đồng thời tốc độ và chất lượng.
Truy cập thực tiễn: Bắt đầu với các tạo vật nghiên cứu sẵn có. Hyra Harness hoàn chỉnh và các API mô hình Hunyuan được lưu trữ là hai sản phẩm khác nhau.
What Is Tencent Hunyuan Hyra 2.0?
Hyra 2.0 là viết tắt của Hunyuan Research Agent 2.0, một hệ đa tác nhân được thiết kế để tự động hóa các quy trình nghiên cứu khoa học và kỹ thuật phức tạp.
Tencent giới thiệu Hyra 2.0 như một sự chuyển dịch từ việc giải quyết các vấn đề đơn lẻ sang phát triển các mô hình, phương pháp và hạ tầng dùng để khảo sát một lớp câu hỏi rộng hơn.
Hyra 2.0 không phải là một mô hình nền tảng độc lập với số lượng tham số hay cửa sổ ngữ cảnh cố định. Đây là một hệ điều phối có thể sử dụng nhiều mô hình AI khác nhau, thực thi mã, quản lý thí nghiệm khoa học và phối hợp các tác nhân nghiên cứu chuyên biệt.
Nghiên cứu khoa học không chỉ là suy luận. Một dự án hoàn chỉnh có thể cần thiết kế thí nghiệm, triển khai, huấn luyện, gỡ lỗi, đánh giá và sửa đổi lặp đi lặp lại. Các hoạt động này có thể kéo dài nhiều ngày hoặc tuần, thường bao gồm các thí nghiệm song song và tài nguyên tính toán dùng chung.
Hyra 2.0 giải quyết thách thức vận hành này bằng cách kết hợp trí tuệ mô hình với thực thi bền bỉ, cộng tác có cấu trúc và kiểm chứng dựa trên bằng chứng.
Hyra 2.0 Technical Specifications
Thông số
Hyra 2.0
Nhà phát triển
Tencent Hunyuan
Công bố công khai
Ngày 2 tháng 11 năm 2026
Danh mục hệ thống
Tác nhân nghiên cứu khoa học tự động
Kiến trúc lõi
Harness đa tác nhân phân cấp
Vai trò tác nhân
Overall, Mission, Worker
Thực thi nghiên cứu
Luồng công việc chạy lâu, đồng thời
Quản lý tác vụ
Hàng đợi tác vụ bền bỉ
Cộng tác
Research Board và nhắn tin giữa tác nhân
Xác minh
Kết quả dựa trên bằng chứng và các Review Worker độc lập
Bộ nhớ
Trạng thái dự án, bộ nhớ tác nhân theo lớp, Books dùng chung
Tái sử dụng tri thức
Phát hiện đã xác thực và kỹ năng có thể tái sử dụng
Linh hoạt mô hình
Các Worker khác nhau có thể dùng các mô hình nền tảng khác nhau
Môi trường nghiên cứu
WeCom, nền tảng tính toán, kho mã nguồn
Giám sát của con người
Các điểm kiểm duyệt cho thao tác hệ trọng
Tạo vật công khai
Các mô hình được chọn, mã nguồn, trọng số đã huấn luyện, báo cáo kỹ thuật
Các thông số của hệ thống mô tả khả năng điều phối và nghiên cứu của nó. Mỗi mô hình khoa học do Hyra 2.0 tạo ra có kiến trúc, số tham số và chuẩn hiệu năng riêng.
Why Hyra 2.0 Builds Tools
Sự chuyển dịch từ Hyra 1.0 sang Hyra 2.0 giải quyết một hạn chế căn bản trong tự động hóa nghiên cứu: giải quyết thành công một vấn đề không nhất thiết cải thiện khả năng giải quyết vấn đề tiếp theo của hệ thống.
Hyra 1.0 sử dụng một vòng lặp tác nhân tương đối đơn giản để tạo lời giải, chạy đánh giá và cải thiện kết quả qua các lần thử. Được hỗ trợ bởi mô hình mã nguồn mở Hy3 của Tencent, Hyra 1.0 đã giúp xác lập số mũ tối ưu liên hệ tập tổng và tập hiệu, với một chứng minh được máy kiểm tra phát hành cùng kết quả. Sự khác biệt quan trọng: một kết quả toán học đã đánh giá là đầu ra cụ thể, trong khi cải tiến quy trình nghiên cứu có thể tái sử dụng ở các bài toán sau.
Thách thức tiếp theo là làm cho tiến bộ nghiên cứu tích lũy theo thời gian.
From Answers to Reusable Capabilities
Hãy xem xét ba cấp độ tự động hóa toán học:
Một tác nhân giải một bài toán toán học đơn lẻ.
Một tác nhân phát triển một quy trình chứng minh có thể giải các bài toán tương tự.
Một tác nhân cải thiện các mô hình suy luận và công cụ kiểm chứng được dùng bởi các hệ nghiên cứu tương lai.
Cấp độ thứ nhất tạo ra một câu trả lời. Cấp độ thứ hai tạo ra một phương pháp có thể tái sử dụng. Cấp độ thứ ba có thể cải thiện chính năng lực nghiên cứu nền tảng.
Hyra 2.0 nhắm tới cấp độ thứ hai và thứ ba.
Tencent mô tả hai nhóm công cụ có thể tái sử dụng rộng. Các công cụ mang tính biểu tượng thể hiện năng lực qua mã, thuật toán, quy tắc và quy trình làm việc. Ví dụ gồm hệ thống kiểm chứng tự động, thuật toán tìm kiếm khoa học và pipeline quản lý thí nghiệm. Các công cụ tham số lưu trữ năng lực đã học trong trọng số mô hình, bao gồm mô hình thiết kế protein và mô hình nền tảng khoa học.
Cải thiện bất kỳ nhóm nào đều có thể mang lại lợi ích cho nhiều tác vụ hạ nguồn mà không cần mỗi dự án nghiên cứu đều khởi đầu từ cùng một điểm xuất phát.
The Direction Toward Recursive Self-Improvement
Hyra 2.0 cũng tạo ra một lộ trình hướng tới tự cải thiện đệ quy. Nghiên cứu mô hình nền tảng phụ thuộc vào hạ tầng huấn luyện, pipeline dữ liệu tổng hợp, thuật toán tối ưu hóa và hệ thống suy luận.
Nếu các tác nhân AI cải thiện những công cụ này, chúng có thể giúp phát triển các mô hình mạnh hơn. Những mô hình mạnh hơn sau đó có thể tham gia vào các vòng phát triển công cụ tiếp theo.
Công cụ nghiên cứu tốt hơn → mô hình AI mạnh hơn → tác nhân nghiên cứu năng lực cao hơn → công cụ nghiên cứu tốt hơn.
Tencent mô tả việc áp dụng Hyra vào hạ tầng tiền huấn luyện, tạo dữ liệu hậu huấn luyện và tối ưu hóa suy luận. Điều này tạo ra một vòng phản hồi hợp lý giữa phát triển công cụ và phát triển mô hình. Bản thân nó không thiết lập khả năng tự cải thiện vô hạn hay hoàn toàn tự trị; mỗi lợi ích đề xuất vẫn cần một thí nghiệm cô lập tác động của nó.
How Does the Hyra 2.0 Harness Architecture Work?
Harness là đổi mới kỹ thuật trung tâm của Hyra 2.0. Một vòng lặp tác nhân thông thường có thể thực thi công cụ, kiểm tra kết quả và tiếp tục suy luận trong một phiên. Phát triển mô hình khoa học đòi hỏi một môi trường thực thi tinh vi hơn.
Các thí nghiệm có thể chạy hàng giờ, các tác vụ huấn luyện có thể kéo dài nhiều ngày, và các hướng nghiên cứu riêng có thể cần tài nguyên tính toán và phương pháp kiểm chứng khác nhau. Hyra 2.0 đáp ứng các yêu cầu này qua ba lớp tác nhân, lập lịch tác vụ bền bỉ, hồ sơ nghiên cứu có cấu trúc và kiểm chứng độc lập.
Sơ đồ kiến trúc Hyra 2.0 chính thức của Tencent Hunyuan cho thấy phân cấp, hàng đợi công việc bền bỉ, quy trình xem xét và các kho riêng cho trạng thái dự án, bộ nhớ tác nhân và tri thức dùng chung.
Overall: Research Coordination and Resource Management
Overall là lớp phối hợp cao nhất. Nó giao tiếp với nhà nghiên cứu, duy trì sự phù hợp với mục tiêu nghiên cứu, quản lý ưu tiên và phối hợp tài nguyên tính toán.
Trách nhiệm của Overall bao gồm xác định dự án nào nên nhận thêm tài nguyên và những quyết định nào cần phê duyệt của con người. Do đó Overall đóng vai trò lớp phối hợp giữa hoạt động nghiên cứu tự động và quản lý nghiên cứu bởi con người.
Mission: Long-Term Research Planning
Mỗi Mission chịu trách nhiệm cho một vấn đề nghiên cứu cụ thể. Một Mission duy trì hướng nghiên cứu qua nhiều thí nghiệm, tổ chức các Worker, diễn giải kết quả và quyết định liệu một giả thuyết có đáng để tiếp tục điều tra.
Nó cũng xác định khi nào một hướng tiếp cận cần chỉnh sửa hoặc hủy bỏ. Điều này tạo ra tính liên tục cho dự án dài hạn mà không cần một phiên tác nhân giữ mọi hành động trung gian.
Worker: Experiment Execution and Independent Exploration
Các Worker thực hiện các tác vụ nghiên cứu chuyên biệt. Trách nhiệm của họ bao gồm đọc mã, triển khai thuật toán, chạy thí nghiệm, chẩn đoán lỗi và đề xuất cách tiếp cận thay thế.
Các Worker có thể thách thức quyết định của Mission, và các Worker khác nhau có thể sử dụng các mô hình AI nền tảng khác nhau. Cấu trúc này hỗ trợ khám phá song song và giảm phụ thuộc vào một đường suy luận duy nhất của tác nhân.
Persistent Scheduling and Research Board
Hyra 2.0 đưa các tác vụ nghiên cứu vào một hàng đợi bền bỉ. Bộ lập lịch xét đến mức độ ưu tiên, phụ thuộc và tài nguyên khả dụng khi khởi chạy các Worker.
Khi một thí nghiệm đang chờ kết quả huấn luyện hoặc phê duyệt của con người, các tác vụ khác vẫn có thể tiếp tục. Các tác nhân cũng có thể lên lịch kích hoạt tiếp theo sau khi một thí nghiệm kết thúc.
Research Board ghi lại giả thuyết, phát hiện, bằng chứng và các quyết định lớn. Điều này tách trạng thái bền bỉ của dự án nghiên cứu khỏi các cuộc hội thoại riêng lẻ của tác nhân.
Independent Verification and Human Approval
Kết luận của Worker phải được hỗ trợ bởi bằng chứng thực nghiệm, như phiên bản mã, nhật ký thực thi, kết quả đánh giá hoặc dấu vết gốc.
Khi một kết quả cần kiểm tra thêm, một Review Worker riêng có thể độc lập kiểm tra lại vấn đề ban đầu và bằng chứng. Quy trình này giúp phát hiện kết luận thiếu căn cứ và lỗi triển khai trước khi chúng ảnh hưởng đến nghiên cứu sau đó.
Các thao tác tính toán chi phí cao và thay đổi tri thức dùng chung của nhóm vẫn cần phê duyệt của con người. Kiến trúc vì vậy kết hợp thực thi tự động với các điểm kiểm soát rõ ràng cho các quyết định hệ trọng.
Books: Turning Research Experience Into Skills
Hyra 2.0 phân tách thông tin thành ba danh mục lưu trữ:
Trạng thái dự án: Hàng đợi tác vụ, hồ sơ cộng tác và tiến độ nghiên cứu.
Bộ nhớ tác nhân: Hiểu biết hiện tại, giả thuyết, hướng tiếp cận bị bác bỏ và kế hoạch tương lai.
Books: Tri thức có thể tái sử dụng dùng chung giữa các dự án nghiên cứu.
Books phân loại thông tin thành quan sát, phát hiện đã kiểm chứng và quy ước. Một thí nghiệm đơn lẻ có thể tạo ra quan sát. Các phát hiện được tái lập độc lập có thể trở thành tri thức đã kiểm chứng. Các quy ước ảnh hưởng đến hành vi nhóm cần được con người xác nhận.
Trong các buổi rà soát dự án, các phương pháp có thể tái sử dụng được chuyển thành kỹ năng. Một quy trình kiểm chứng số thành công hoặc một phương pháp chẩn đoán bất ổn huấn luyện có thể trở thành thành phần tái sử dụng trong các quy trình nghiên cứu tương lai.
Cơ chế này cho phép hệ thống bảo tồn cải tiến vận hành vượt ra khỏi các phiên riêng lẻ.
What Research Results Has Hyra 2.0 Achieved?
Kết quả ban đầu của Hyra 2.0 bao gồm mô hình khoa học, nghiên cứu toán học, điện toán lượng tử, robot, phân tích tế bào đơn và kỹ thuật phần cứng.
Kho nghiên cứu chính thức bao gồm các triển khai được chọn, trọng số, báo cáo và tạo vật kiểm chứng. Tổng quan dưới đây tóm lược kết quả do Tencent báo cáo; các phân đoạn sau giải thích điều kiện kiểm thử và tính sẵn có của chúng. Đây là những tác vụ khoa học khác nhau, không phải một bảng xếp hạng năng lực tác nhân đa dụng.
Sản phẩm nghiên cứu
Quy mô kỹ thuật hoặc thước đo
Thành tựu báo cáo
HyInv
1.96M tham số
Tạo chuỗi protein nhanh hơn ProteinMPNN 57×
HyPLM-Flash
650M tham số; 726B token huấn luyện
130,000 residue/giây trên một H20; chất lượng cạnh tranh trên 32 tác vụ
HyFF
Năm mô hình; 2.3M–1.2B tham số
Biên Pareto độ chính xác–tốc độ so với 16 mô hình công khai
HyCell
16.1M tham số; embedding 512 chiều
Điểm tổng thể 0.735 trên bảy atlas tế bào giữ lại
HyProver
Quy trình chứng minh toán học
Kết quả liên quan đến giả thuyết của Petty và giả thuyết circle-action của Yau
HyQEC
Mã lượng tử [[488,123,22]]
Chỉ số hiệu quả 122.0; khoảng 48% cao hơn quán quân thử thách trước đó
Spiral Hand
Thiết kế tay robot năm ngón
Xoay vật thể nhanh hơn 28.6% trong mô phỏng DR5
XiangShan RISC-V
Hiệu năng SPEC CPU2006
Điểm/GHz cao hơn 5.79% với tăng diện tích 0.3%
Những kết quả này thể hiện nhiều loại đầu ra nghiên cứu thay vì một điểm số tác nhân đa dụng.
HyInv: 57× Faster Protein Inverse Folding
HyInv tạo chuỗi protein cho một khung xương mục tiêu. Mô hình 1.96M tham số của nó được báo cáo chạy nhanh hơn ProteinMPNN 57×. Con số 50.6 ms cho 128 thiết kế dùng khung xương 402 residue, một H20 và BF16, không tính thời gian biên dịch và bắt CUDA graph. Hãy coi đây là tốc độ sinh ở trạng thái đã làm nóng; sàng lọc cấu trúc vẫn đóng góp vào chu trình thiết kế đầy đủ.
HyPLM-Flash: High-Throughput Protein Language Modeling
HyPLM-Flash là mô hình ngôn ngữ protein 650M tham số, huấn luyện trên 726B token. Trong đánh giá phát hành gồm 28 checkpoint và 32 tác vụ, điểm ProteinGym của nó ngang bằng thống kê với các encoder tương đương. Suy luận INT8 đạt khoảng 130,000 residue/giây trên một H20; BF16 được ưa dùng khi khác biệt biểu diễn nhỏ có thể ảnh hưởng đến phân tích hạ nguồn. Hình ra mắt dưới đây dùng phạm vi đánh giá khác.
HyFF: Faster Molecular Simulation With Five Model Sizes
HyFF dự đoán năng lượng phân tử và lực nguyên tử, với năm kích thước mô hình trải từ 2.3M–1.2B tham số. Trên so sánh OMol25 được báo cáo, Andante kết hợp lỗi lực tương tự UMA-S-1.2 (7.65 so với 7.55 meV/Å) với tốc độ động lực học phân tử nhanh hơn 29×. Largo báo cáo lỗi năng lượng thấp hơn DPA4-Pro (0.364 so với 0.380 meV/atom) và tốc độ cao hơn 9.7×. Hãy chọn kích thước bằng cách kiểm thử cả độ chính xác và thời gian chạy trên các phân tử bạn dự định mô phỏng.
HyCell: A Single-Cell Embedding Model
HyCell ánh xạ số liệu biểu hiện gene của tế bào người vào embedding 512 chiều với mô hình 16.1M tham số. Trên bảy atlas tế bào giữ lại, điểm tổng hợp của nó là 0.735, gần với Stack 0.736. Điểm này kết hợp bảo tồn sinh học, hiệu chỉnh batch và chuyển giao gán nhãn; đây không phải độ chính xác phân loại. Hãy kiểm tra các thước đo thành phần liên quan đến nghiên cứu của bạn.
HyProver: Reusable Workflows for Mathematical Research
HyProver tổ chức công việc toán học thành thăm dò, phát triển chứng minh và rà soát. Các kết quả báo cáo thiết lập trường hợp 5 chiều của giả thuyết tập điểm cách đều của Petty và đưa ra một phản ví dụ cho dạng không hạn chế của giả thuyết circle-action của Yau. Những kết quả này có phạm vi cụ thể: giả thuyết của Petty chưa được giải quyết ở mọi chiều, và phát biểu simply connected của Yau vẫn còn bỏ ngỏ.
HyQEC: A 48% Improvement in Quantum-Code Efficiency
HyQEC tìm kiếm các mã sửa lỗi lượng tử và kiểm tra khoảng cách của chúng. Tencent báo cáo một cấu trúc [[488,123,22]] với chỉ số hiệu quả kd²/n là 122.0, khoảng 48% cao hơn quán quân thử thách trước đó dưới các ràng buộc nêu ra. Điều này đo hiệu quả mã, không phải hiệu năng phần cứng lượng tử. Đến ngày 5 tháng 11 năm 2026, bản phát hành chính thức bao gồm các công cụ hyqec-verify và hyqec-check, nhưng vẫn liệt kê tệp mã và chứng thư của cấu trúc cụ thể này là bằng chứng sẽ được phát hành. Công cụ công khai và bằng chứng có thể tái lập công khai cho một kết quả cụ thể là hai cột mốc riêng biệt.
Spiral Hand: AI-Designed Robotic Morphology
Spiral Staircase Hand của Hyra sử dụng các ngón tay dài dần quanh lòng bàn tay. Tencent báo cáo xoay vật thể nhanh hơn 28.6% và hoàn thành mục tiêu nhiều hơn 21% so với baseline Dextra trong mô phỏng DR5 sau ngân sách fine-tuning chính sách bằng nhau. Xác thực trên phần cứng vật lý vẫn đang chờ.
XiangShan: Processor Optimization and Formal Verification
Đối với bộ xử lý XiangShan RISC-V, Tencent báo cáo cải thiện 5.79% điểm SPEC CPU2006 theo GHz, tần số lõi không đổi và tăng diện tích 0.3%. Công việc cũng phát hiện mười lỗi chưa được báo cáo trước đó và một phản ví dụ về tính nhất quán bộ nhớ đệm. Những kết quả này áp dụng cho thiết kế và khối lượng công việc đã đánh giá, không phải mọi hệ thống RISC-V.
How Should Researchers Interpret Hyra 2.0's Benchmarks?
Đọc mỗi benchmark trong chính khối lượng công việc của nó. So sánh cùng đầu vào, phần cứng, độ chính xác tính toán và biên thời gian, sau đó đánh giá chất lượng đầu ra cùng thời gian chạy. Đối với các tuyên bố khoa học, hãy kiểm tra mã, dữ liệu, chứng minh hoặc chứng thư hỗ trợ: một kết quả được báo cáo và một kết quả được tái lập độc lập cung cấp các mức độ bằng chứng khác nhau.
Can Developers Use Hyra 2.0 Through an API?
Tính đến ngày 4 tháng 11 năm 2026, tài liệu Hyra công khai mô tả các đầu ra nghiên cứu và phát hành được chọn. Chúng không mô tả một API điều phối Hyra 2.0 sẵn sàng chung, giá đăng ký hay gói triển khai hoàn chỉnh. Do đó cần phân biệt giữa thông báo nghiên cứu kèm tạo vật có thể tải xuống và quyền truy cập được lưu trữ vào toàn hệ thống.
Các tài liệu công khai tập trung vào kết quả nghiên cứu và các tạo vật được chọn. Nhà phát triển có thể truy cập một số mô hình do Hyra tạo ra, gồm HyInv, HyPLM-Flash, HyFF và HyCell, thông qua các kho nghiên cứu liên quan.
Hyra 2.0 Harness hoàn chỉnh cần được phân biệt với các đầu ra có thể tải về đó.
Hyra 2.0 and Hosted Hunyuan APIs
Nhà phát triển có thể truy cập Tencent Hy4 qua CometAPI bằng model ID hy4. Điều này cung cấp suy luận mô hình được lưu trữ cho các ứng dụng như lập trình, phân tích và quy trình tác nhân. Nó không cung cấp đầy đủ Hyra 2.0 Harness phục vụ nghiên cứu; các mô hình khoa học được phát triển qua Hyra sẵn có riêng qua các kho nghiên cứu của Tencent.
What Would Make Hyra 2.0 Useful in a Research Team?
Bắt đầu với một tạo vật đã phát hành và một khối lượng công việc tham chiếu nhỏ. Sau khi chạy thành công, hãy kiểm thử dữ liệu nội bộ đại diện với ngưỡng chất lượng cố định và ngân sách tính toán xác định. Giữ lại cùng nhau bản sửa đổi kho, trọng số, môi trường, đầu vào và đầu ra để đồng nghiệp có thể tái lập kết quả. Thêm điều phối đa tác nhân bền bỉ khi thời gian chờ dài, thí nghiệm phụ thuộc hoặc giả thuyết cạnh tranh khiến nó trở nên hữu ích.
Conclusion
Hyra 2.0 kết hợp lập kế hoạch nghiên cứu, thực thi thí nghiệm và tri thức có thể tái sử dụng vào một quy trình bền bỉ. Các đầu ra khoa học của nó là điểm khởi đầu hứa hẹn cho công việc tiếp theo. Với một nhóm nghiên cứu, bài kiểm tra thực tiễn là liệu một tạo vật phát hành có cải thiện thí nghiệm thực và tạo ra bằng chứng để người khác kiểm tra và tái lập hay không.
FAQ
How should a lab budget its first Hyra artifact trial?
Lập ngân sách cho ba giai đoạn: thiết lập môi trường có thể tái lập, chạy trường hợp tham chiếu nhỏ và đánh giá một khối lượng công việc nội bộ đại diện. Bao gồm thời gian chuẩn bị và rà soát cũng như thời gian sử dụng accelerator. Chọn tiêu chí chấp nhận trước khi bắt đầu, chẳng hạn duy trì mức chất lượng yêu cầu trong khi giảm thời gian hoàn thành. Thử nghiệm ban đầu nên đủ nhỏ để chẩn đoán lỗi mà không cần cam kết tài nguyên cho một chiến dịch nghiên cứu đầy đủ.
What should a reproducibility package contain?
Giữ cùng nhau bản sửa đổi kho, định danh trọng số mô hình, phiên bản môi trường, nguồn gốc dữ liệu đầu vào, cấu hình, seed ngẫu nhiên nếu liên quan và đầu ra đánh giá. Ghi lại mọi thay đổi với ví dụ đã công bố. Khi một kết quả dựa vào chứng minh hoặc chứng thư, bảo tồn phiên bản trình kiểm và đầu ra của nó. Gói này phải cho phép nhà nghiên cứu khác phân biệt vấn đề phần mềm, đầu vào thay đổi và khác biệt thực sự trong kết quả khoa học.
How can researchers avoid benchmark contamination?
Tách dữ liệu dùng để chọn mô hình hoặc tinh chỉnh thiết lập khỏi dữ liệu dùng để đánh giá cuối cùng. Đóng băng giao thức cuối cùng trước khi so sánh ứng viên, và ghi lại mọi trùng lặp với dữ liệu tiền huấn luyện hoặc phát triển nếu có thể xác lập. Với bộ dữ liệu khoa học mới, hãy dùng các split phản ánh bối cảnh triển khai dự kiến, chẳng hạn một nghiên cứu hoặc điều kiện thí nghiệm được giữ lại. Điểm số mạnh kém thông tin hơn nếu các ví dụ đánh giá đã lặp lại định hình hệ thống được kiểm thử.
How should teams handle conflicting agent conclusions?
So sánh các thí nghiệm nền tảng thay vì cộng kết luận theo đa số. Kiểm tra liệu các tác nhân đã dùng cùng phiên bản bộ dữ liệu, giả định, thước đo và cấu hình phần mềm hay chưa. Giữ cả hai phát hiện cho đến khi khác biệt được giải thích, sau đó chạy một thí nghiệm tập trung để phân biệt giữa các lời giải thích cạnh tranh. Sự đồng thuận giữa các tác nhân hữu ích, nhưng không thay thế đo lường bên ngoài hoặc một lập luận có thể kiểm tra.
When is a simpler research workflow preferable?
Một tác vụ ngắn, quyết định và có script trưởng thành cùng bộ đánh giá rõ ràng có thể không hưởng lợi từ phối hợp đa tác nhân bền bỉ. Lập lịch bổ sung, lưu hồ sơ và rà soát có thể tốn nhiều hơn lợi ích. Hãy đưa điều phối vào khi thí nghiệm có phụ thuộc đáng kể, thời gian chờ dài, nhiều giả thuyết cạnh tranh hoặc đầu ra có thể tái sử dụng cần bảo trì liên tục. Quyết định nên phản ánh cấu trúc khối lượng công việc và chi phí phối hợp quan sát được.
