CometAPI ile geliştirinBirden çok model için tek bir API mi gerekiyor?İş akışını Playground'da test edin, ardından model ve maliyet kullanım senaryonuza uyduğunda bir API anahtarı oluşturun.
Tencent Hyra 2.0: Test Düzeneği Mimarisi, Kıyaslamalar ve Sonuçlar
Tencent Hunyuan Hyra 2.0'ı, üç katmanlı ajanı Harness'i, bilimsel modellerini, karşılaştırma testlerini, araştırma atılımlarını ve Hyra 1.0'dan farklarını keşfedin.
Tencent Hunyuan, 2 Kasım 2026'da Hyra 2.0'ı bilimsel modeller, yazılım araçları ve yeniden kullanılabilir iş akışları geliştirmek için bir araştırma Harness'i olarak tanıttı. Ayırt edici özelliği, çok günlük veya çok haftalık deneyler boyunca kalıcı koordinasyondur.
Herkese açık sürüm şu anda genel kullanıma açık barındırılan bir Hyra 2.0 hizmeti yerine, seçilmiş araştırma eserlerinden—modeller, kod, ağırlıklar ve raporlar—oluşmaktadır. 4 Kasım 2026 itibarıyla, Tencent’in kamuya açık materyalleri genel amaçlı bir orkestrasyon API’si veya abonelik planını belgelemez.
Temel çıkarımlar
Araştırma hedefi: Hyra 2.0, birden fazla araştırma projesini destekleyebilecek yeniden kullanılabilir bilimsel modeller ve araçlar geliştirir.
Sürekli koordinasyon: Overall, Mission ve Worker ajanları sorumlulukları bölerken, kuyruklar ve araştırma kayıtları uzun deneyler boyunca ilerlemeyi korur.
Yeniden kullanılabilir bilgi: Ajan belleği, Books ve araştırma becerileri bulguları, destekleyici kanıtları ve kullanım koşullarıyla birlikte saklar.
Netlik, kaynak ataması ve güncel API terminolojisi açısından gözden geçirildi.
Göreve özgü sonuçlar: Yayınlanan protein, kuvvet alanı ve hücre modelleri farklı bilimsel iş yüklerine hitap eder; hız ve kalite birlikte değerlendirilmelidir.
Pratik erişim: Mevcut araştırma eserleriyle başlayın. Tam Hyra Harness ile barındırılan Hunyuan model API’leri ayrı sunumlardır.
Tencent Hunyuan Hyra 2.0 Nedir?
Hyra 2.0 , Hunyuan Research Agent 2.0’ın kısaltmasıdır; karmaşık bilimsel araştırma ve mühendislik iş akışlarını otomatikleştirmek üzere tasarlanmış çok ajanlı bir sistemdir.
Tencent, Hyra 2.0’ı, izole sorunları çözmekten daha geniş bir soru sınıfını araştırmak için kullanılan modelleri, yöntemleri ve altyapıyı geliştirmeye doğru bir dönüş olarak sunar.
Hyra 2.0, sabit bir parametre sayısı veya bağlam penceresine sahip bağımsız bir temel model değildir. Farklı yapay zeka modellerini kullanabilen, kod çalıştırabilen, bilimsel deneyleri yönetebilen ve uzmanlaşmış araştırma ajanlarını koordine edebilen bir orkestrasyon sistemidir.
Bilimsel araştırma yalnızca muhakemeden ibaret değildir. Tam bir proje; deney tasarımı, uygulama, eğitim, hata ayıklama, değerlendirme ve tekrarlanan revizyonları gerektirebilir. Bu faaliyetler çoğu zaman paralel deneyler ve paylaşılan hesaplama kaynaklarını içerecek şekilde birkaç gün veya hafta sürebilir.
Hyra 2.0 bu operasyonel zorluğu, model zekâsını kalıcı yürütme, yapılandırılmış işbirliği ve kanıta dayalı doğrulama ile birleştirerek ele alır.
Hyra 2.0 Teknik Özellikler
Özellik
Hyra 2.0
Geliştirici
Tencent Hunyuan
Kamu duyurusu
2 Kasım 2026
Sistem kategorisi
Otonom bilimsel araştırma ajanı
Çekirdek mimari
Hiyerarşik çok-ajan Harness
Ajan rolleri
Overall, Mission, Worker
Araştırma yürütümü
Uzun süreli, eşzamanlı iş akışları
Görev yönetimi
Sürekli görev kuyruğu
İşbirliği
Research Board ve ajan mesajlaşması
Doğrulama
Kanıt destekli sonuçlar ve bağımsız Review Worker'lar
Bellek
Proje durumu, katmanlı aracı belleği, paylaşılan Books
Bilgi yeniden kullanımı
Doğrulanmış bulgular ve yeniden kullanılabilir beceriler
Model esnekliği
Farklı Worker'lar farklı temel modeller kullanabilir
Araştırma ortamları
WeCom, hesaplama platformları, kod depoları
İnsan denetimi
Sonuç doğuran işlemler için onay kontrol noktaları
Kamuya açık eserler
Seçilmiş modeller, kaynak kodu, eğitilmiş ağırlıklar, teknik raporlar
Sistemin özellikleri orkestrasyon ve araştırma yeteneklerini tanımlar. Hyra 2.0 tarafından oluşturulan bireysel bilimsel modellerin ayrı mimarileri, parametre sayıları ve performans kıyasları vardır.
Hyra 2.0 Neden Araçlar Geliştiriyor?
Hyra 1.0’dan Hyra 2.0’a geçiş, otomatik araştırmadaki temel bir sınırlamayı ele alır: tek bir sorunu başarıyla çözmek, sistemin bir sonraki sorunu çözme yeteneğini mutlaka geliştirmez.
Hyra 1.0, çözümler üretmek, değerlendirmeler çalıştırmak ve tekrarlanan denemelerle sonuçları iyileştirmek için nispeten basit bir ajan döngüsü kullandı. Tencent’in açık kaynak Hy3 modeliyle desteklenen Hyra 1.0, toplam kümeleri ve fark kümeleri arasındaki optimal üssü belirlemeye yardımcı oldu; sonuçla birlikte makineyle denetlenmiş bir ispat yayınlandı. Ayrım önemlidir: değerlendirilmiş bir matematiksel sonuç somut bir çıktıdır, oysa araştırma sürecine yapılan bir iyileştirme sonraki sorunlarda yeniden kullanılabilir.
Bir sonraki zorluk, araştırma ilerlemesini biriktirebilmektir.
Cevaplardan Yeniden Kullanılabilir Yeteneklere
Üç düzeyde matematiksel otomasyonu düşünün:
Bir ajan tekil bir matematik problemini çözer.
Bir ajan benzer problemleri çözebilecek bir ispat iş akışı geliştirir.
Bir ajan, gelecekteki araştırma sistemlerinin kullanacağı muhakeme modellerini ve doğrulama araçlarını iyileştirir.
İlki bir cevap üretir. İkincisi yeniden kullanılabilir bir yöntem üretir. Üçüncüsü, araştırma yeteneğinin kendisini geliştirebilir.
Hyra 2.0 ikinci ve üçüncü düzeyleri hedefler.
Tencent, yeniden kullanılabilir araçların iki geniş kategorisini tanımlar. Sembolik araçlar, yetenekleri kod, algoritmalar, kurallar ve iş akışları üzerinden ifade eder. Örnekler arasında otomatik doğrulama sistemleri, bilimsel arama algoritmaları ve deney yönetim hatları yer alır. Parametrik araçlar, öğrenilmiş yetenekleri model ağırlıklarında depolar; protein tasarım modelleri ve bilimsel temel modeller buna dahildir.
Her iki kategorinin iyileştirilmesi de, her araştırma projesinin aynı başlangıç noktasından başlamasını gerektirmeden, birden çok aşağı akış göreve fayda sağlayabilir.
Özyinelemeli Öz-İyileştirmeye Doğru Yönelim
Hyra 2.0 ayrıca özyinelemeli öz-iyileştirme için bir yol oluşturur. Temel model araştırması; eğitim altyapısına, sentetik veri hatlarına, optimizasyon algoritmalarına ve çıkarım sistemlerine dayanır.
Eğer yapay zekâ ajanları bu araçları iyileştirirse, daha güçlü modellerin geliştirilmesine yardımcı olabilirler. Daha güçlü modeller de daha sonra araç geliştirmeye yönelik sonraki turlara katılabilir.
Daha iyi araştırma araçları → daha güçlü AI modelleri → daha yetenekli araştırma ajanları → daha iyi araştırma araçları.
Tencent, Hyra’yı öneğitim altyapısı, eğitim sonrası veri üretimi ve çıkarım optimizasyonuna uygulamayı tanımlar. Bu, araç geliştirme ile model geliştirme arasında makul bir geri besleme döngüsü oluşturur. Kendi başına sınırsız veya tamamen otonom bir özyinelemeli iyileştirme kurmaz; öne sürülen her kazanç hâlâ etkisini yalıtan bir deney gerektirir.
Hyra 2.0 Harness Mimarisi Nasıl Çalışır?
Harness, Hyra 2.0’ın merkezi mühendislik yeniliğidir. Geleneksel bir ajan döngüsü, araçları çalıştırabilir, sonuçları inceleyebilir ve bir oturum içinde muhakemeye devam edebilir. Bilimsel model geliştirme ise daha sofistike bir yürütme ortamı gerektirir.
Deneyler saatlerce sürebilir, eğitim işleri günler alabilir ve ayrı araştırma yönleri farklı hesaplama kaynakları ve doğrulama yöntemleri gerektirebilir. Hyra 2.0 bu gereksinimleri, üç katmanlı ajan, kalıcı görev zamanlama, yapılandırılmış araştırma kayıtları ve bağımsız doğrulama ile karşılar.
Tencent Hunyuan'ın resmi Hyra 2.0 mimari diyagramı; hiyerarşiyi, kalıcı çalışma kuyruğunu, inceleme sürecini ve proje durumu, ajan belleği ve paylaşılan bilgi için ayrı depoları gösterir.
Overall: Araştırma Koordinasyonu ve Kaynak Yönetimi
Overall en yüksek koordinasyon katmanıdır. İnsan araştırmacılarla iletişim kurar, araştırma hedefleriyle hizalamayı sürdürür, öncelikleri yönetir ve hesaplama kaynaklarını koordine eder.
Sorumlulukları arasında hangi projelerin ek kaynak alması gerektiğine karar vermek ve insan onayı gerektiren kararları belirlemek bulunur. Bu nedenle Overall, otonom araştırma faaliyetleri ile insan araştırma yönetimi arasında koordinasyon katmanı işlevi görür.
Mission: Uzun Vadeli Araştırma Planlaması
Her Mission belirli bir araştırma probleminden sorumludur. Bir Mission, birden çok deney boyunca araştırma yönünü sürdürür, Worker'ları organize eder, sonuçları yorumlar ve bir hipotezin daha fazla araştırmayı hak edip etmediğine karar verir.
Ayrıca bir araştırma yaklaşımının ne zaman revize edilmesi veya terk edilmesi gerektiğini belirler. Bu, tek bir ajan oturumunun her ara işlemi korumasını gerektirmeden uzun soluklu bir proje boyunca süreklilik sağlar.
Worker: Deney Yürütümü ve Bağımsız Keşif
Worker'lar uzmanlaşmış araştırma görevlerini yerine getirir. Sorumlulukları arasında kod okumak, algoritmaları uygulamak, deneyleri çalıştırmak, arızaları teşhis etmek ve alternatif yaklaşımlar önermek bulunur.
Worker'lar bir Mission’ın kararlarına itiraz edebilir ve farklı Worker'lar farklı temel yapay zekâ modelleri kullanabilir. Bu yapı, paralel keşfi destekler ve tek bir ajanın muhakeme yoluna bağımlılığı azaltır.
Sürekli Zamanlama ve Research Board
Hyra 2.0, araştırma görevlerini kalıcı bir kuyruğa yerleştirir. Zamanlayıcı, Worker'ları başlatırken görev önceliğini, bağımlılıkları ve mevcut kaynakları dikkate alır.
Bir deney eğitim sonuçlarını veya insan onayını beklerken, diğer görevler devam edebilir. Ajanlar ayrıca bir deney tamamlandıktan sonra bir sonraki etkinleşmelerini programlayabilir.
Research Board; hipotezleri, bulguları, kanıtları ve önemli kararları kaydeder. Bu, araştırma projesinin kalıcı durumunu, tekil ajan konuşmalarından ayırır.
Bağımsız Doğrulama ve İnsan Onayı
Worker sonuçları, kod sürümleri, yürütme günlükleri, değerlendirme sonuçları veya orijinal izler gibi deneysel kanıtlarla desteklenmelidir.
Bir sonuç ek inceleme gerektirdiğinde, ayrı bir Review Worker orijinal sorunu ve kanıtları bağımsız olarak inceleyebilir. Bu süreç, desteklenmeyen sonuçların ve uygulama hatalarının, sonraki araştırmaları etkilemeden önce belirlenmesine yardımcı olur.
Yüksek maliyetli hesaplama işlemleri ve paylaşılan ekip bilgisine yönelik değişiklikler insan onayına tabidir. Mimari bu nedenle otonom yürütmeyi, sonuç doğuran kararlar için açık kontrol noktaları ile birleştirir.
Books: Araştırma Deneyimini Beceriye Dönüştürme
Hyra 2.0, bilgiyi üç depolama kategorisine ayırır:
Proje durumu: Görev kuyrukları, işbirliği kayıtları ve araştırma ilerlemesi.
Ajan belleği: Mevcut anlayış, hipotezler, reddedilen yaklaşımlar ve gelecek planları.
Books: Araştırma projeleri arasında paylaşılan yeniden kullanılabilir bilgi.
Books, bilgiyi gözlemler, doğrulanmış bulgular ve teamüller olarak kategorize eder. Tek bir deney bir gözlem üretebilir. Bağımsız olarak yeniden üretilen bulgular doğrulanmış bilgi haline gelebilir. Ekip davranışını etkileyen teamüller insan onayı gerektirir.
Proje incelemeleri sırasında, yeniden kullanılabilir yöntemler beceriye dönüştürülebilir. Başarılı bir sayısal doğrulama prosedürü veya eğitim kararsızlığını teşhis etme yöntemi, gelecekteki araştırma iş akışlarının yeniden kullanılabilir bir bileşeni olabilir.
Bu mekanizma, sistemin operasyonel iyileştirmeleri tekil oturumların ötesinde korumasını sağlar.
Hyra 2.0 Hangi Araştırma Sonuçlarını Elde Etti?
Hyra 2.0’ın ilk sonuçları; bilimsel modeller, matematiksel araştırma, kuantum bilişim, robotik, tek hücre analizi ve donanım mühendisliğini kapsar.
Resmi araştırma deposu, seçilmiş uygulamalar, ağırlıklar, raporlar ve doğrulama eserleri içerir. Aşağıdaki genel bakış Tencent’in bildirdiği sonuçları özetler; takip eden alt bölümler test koşullarını ve erişilebilirlik durumunu açıklar. Bunlar tek bir genel amaçlı ajan yeteneği sıralaması değil, farklı bilimsel görevlerdir.
Araştırma çıktısı
Teknik ölçek veya metrik
Bildirilen başarı
HyInv
1.96M parametre
ProteinMPNN’e göre 57× daha hızlı protein dizisi üretimi
HyPLM-Flash
650M parametre; 726B eğitim token'ı
Bir H20’de 130.000 kalıntı/s; 32 görevde rekabetçi kalite
HyFF
Beş model; 2.3M–1.2B parametre
16 açık modele karşı doğruluk-hız Pareto sınırı
HyCell
16.1M parametre; 512 boyutlu gömlemeler
Yedi ayrılmış hücre atlası genelinde toplam puan 0.735
HyProver
Matematiksel ispat iş akışı
Petty’nin varsayımı ve Yau’nun çember-etkisi varsayımıyla ilgili sonuçlar
HyQEC
Kuantum kod [[488,123,22]]
Verimlilik metriği 122.0; önceki yarışma liderinin yaklaşık %48 üzerinde
Spiral Hand
Beş parmaklı robotik tasarım
DR5 simülasyonunda nesne döndürmede %28,6 daha hızlı
XiangShan RISC-V
SPEC CPU2006 performansı
%0,3 alan artışıyla GHz başına %5,79 daha yüksek puan
Bu sonuçlar, tek bir genel amaçlı ajan puanı yerine birden çok türde araştırma çıktısını göstermektedir.
HyInv: 57× Daha Hızlı Protein Ters Katlama
HyInv, hedef bir omurga için protein dizileri üretir. 1.96M parametreli modelinin, ProteinMPNN’den 57× daha hızlı çalıştığı bildirilmektedir. 128 tasarım için raporlanan 50,6 ms; 402 kalıntılı omurga, bir H20 ve BF16 kullanır; derleme ve CUDA grafik yakalama hariçtir. Bunu ısınmış üretim hızı olarak değerlendirin; tam tasarım döngüsüne yapısal eleme hâlâ katkıda bulunur.
HyPLM-Flash: Yüksek Verimli Protein Dil Modellemesi
HyPLM-Flash, 726B token üzerinde eğitilmiş 650M parametreli bir protein dil modelidir. Yayınlanan 28 kontrol noktası ve 32 görevli değerlendirmede, ProteinGym puanı karşılaştırılabilir kodlayıcılarla istatistiksel olarak başa baştır. INT8 çıkarım, bir H20 üzerinde yaklaşık 130.000 kalıntı/s seviyesine ulaşır; temsil farklılıklarının küçük olduğu durumlarda aşağı akış analizi etkileniyorsa BF16 tercih edilir. Aşağıdaki lansman grafiği farklı bir değerlendirme kapsamı kullanır.
HyFF: Beş Model Boyutuyla Daha Hızlı Moleküler Simülasyon
HyFF, moleküler enerjileri ve atomik kuvvetleri tahmin eder; beş model boyutu 2.3M–1.2B parametre aralığını kapsar. Bildirilen OMol25 karşılaştırmasında, Andante; UMA-S-1.2 ile benzer kuvvet hatasını (7.65’e karşı 7.55 meV/Å) 29× daha hızlı moleküler dinamiklerle birleştirir. Largo, DPA4-Pro’dan daha düşük enerji hatası (0.364’e karşı 0.380 meV/atom) ve 9,7× daha yüksek hız raporlar. Boyutu, simüle etmeyi planladığınız moleküller üzerinde hem doğruluğu hem de çalışma süresini test ederek seçin.
HyCell: Tek Hücre Gömme Modeli
HyCell, insan hücresi gen ekspresyonu sayımlarını 16.1M parametreli bir modelle 512 boyutlu gömlemelere eşler. Yedi ayrılmış hücre atlası genelinde bileşik puanı 0.735 olup Stack’in 0.736 değerine yakındır. Bu puan; biyolojik korunumu, grup düzeltmesini ve anotasyon transferini birleştirir; bir sınıflandırma doğruluğu değildir. Çalışmanızla ilgili bileşen metrikleri kontrol edin.
HyProver: Matematiksel Araştırma İçin Yeniden Kullanılabilir İş Akışları
HyProver, matematiksel çalışmayı keşif, ispat geliştirme ve inceleme olarak düzenler. Bildirilen sonuçları, Petty’nin eşkenar-küme varsayımının beş boyutlu durumunu kurar ve Yau’nun sınırsız çember-etkisi varsayımına bir karşı-örnek sunar. Bu sonuçların belirli sınırları vardır: Petty’nin varsayımı her boyutta çözülmüş değildir ve Yau’nun basitçe bağlı formülasyonu açık kalmaktadır.
HyQEC: Kuantum Kod Verimliliğinde %48 İyileşme
HyQEC, kuantum hata düzeltme kodları arar ve uzaklıklarını kontrol eder. Tencent, belirtilen kısıtlar altında, verimlilik metriği kd²/n 122.0 olan [[488,123,22]] yapısını rapor eder; bu, önceki yarışma liderinin yaklaşık %48 üzerindedir. Bu, kod verimliliğini ölçer; kuantum donanımı performansını değil. 5 Kasım 2026 itibarıyla kontrol edildiği üzere, resmi sürümhyqec-verify ve hyqec-check araçlarını içerir, ancak bu özel yapıya ait kod dosyası ve sertifikayı yayınlanacak kanıt olarak hâlâ listeler. Genel araçlar ile belirli bir sonuç için kamuya açık olarak yeniden üretilebilir kanıtlar ayrı kilometre taşlarıdır.
Hyra’nın Spiral Staircase Hand tasarımı, avuç etrafında giderek uzayan parmaklar kullanır. Tencent, eşit politika ince ayar bütçelerinden sonra DR5 simülasyonunda Dextra temel çizgisine göre nesne döndürmede %28,6 daha hızlı ve tamamlanan hedeflerde %21 daha fazla sonuç bildirmektedir. Fiziksel donanım doğrulaması hâlen beklenmektedir.
XiangShan: İşlemci Optimizasyonu ve Biçimsel Doğrulama
XiangShan RISC-V işlemcisi için Tencent, GHz başına SPEC CPU2006 puanında %5,79 iyileşme, değişmeyen çekirdek frekansı ve %0,3 alan artışı rapor eder. Çalışma ayrıca daha önce rapor edilmemiş on hata ve bir önbellek tutarlılığı karşı-örneği bulmuştur. Bu sonuçlar, değerlendirilen tasarım ve iş yüklerine uygulanır; tüm RISC-V sistemlerine değil.
Araştırmacılar Hyra 2.0’ın Kıyaslarını Nasıl Yorumlamalı?
Her kıyaslamayı kendi iş yükü içinde okuyun. Aynı girdileri, donanımı, hassasiyeti ve zamanlama sınırını karşılaştırın; ardından çıktı kalitesini çalışma süresiyle birlikte değerlendirin. Bilimsel iddialar için destekleyici kodu, veriyi, ispatı veya sertifikayı inceleyin: bildirilen bir sonuç ile bağımsız olarak yeniden üretilen bir sonuç farklı kanıt düzeyleri sağlar.
Geliştiriciler Hyra 2.0’ı Bir API Üzerinden Kullanabilir mi?
4 Kasım 2026 itibarıyla, kamuya açık Hyra materyalleri araştırma çıktıları ve seçilmiş yayınları tanımlar. Genel kullanıma açık bir Hyra 2.0 orkestrasyon API’sini, abonelik fiyatını veya eksiksiz bir dağıtım paketini belgelemez. Bu nedenle, bir araştırma duyurusu ve indirilebilir eserler, sistemin tamamına barındırılan erişimden ayırt edilmelidir.
Kamuya açık materyaller, araştırma sonuçlarına ve seçilmiş eserlere odaklanır. Geliştiriciler, HyInv, HyPLM-Flash, HyFF ve HyCell dâhil olmak üzere Hyra ile oluşturulan belirli modellere ilgili araştırma depoları aracılığıyla erişebilir.
Tam Hyra 2.0 Harness, bu indirilebilir çıktılardan ayrıdır.
Hyra 2.0 ve Barındırılan Hunyuan API’leri
Geliştiriciler, model kimliği hy4 ile CometAPI üzerinden Tencent Hy4’e erişebilir. Bu, kodlama, analiz ve ajan iş akışları gibi uygulamalar için barındırılan model çıkarımı sağlar. Tam Hyra 2.0 araştırma Harness’ini sağlamaz; Hyra ile geliştirilen bilimsel modellere Tencent’in araştırma depoları üzerinden ayrı olarak erişilebilir.
Hyra 2.0 Bir Araştırma Ekibinde Ne Zaman Faydalı Olur?
Yayınlanan bir eser ve küçük bir referans iş yüküyle başlayın. Bu başarıyla çalıştıktan sonra, sabit bir kalite eşiği ve hesaplama bütçesiyle temsil edici yerel verileri test edin. Depo revizyonunu, ağırlıkları, ortamı, girdileri ve çıktıları birlikte tutun ki meslektaşlar sonucu yeniden üretebilsin. Uzun beklemeler, bağımlı deneyler veya rekabet eden hipotezler bunu kullanışlı kıldığında kalıcı çok-ajan koordinasyon ekleyin.
Sonuç
Hyra 2.0, araştırma planlamasını, deney yürütümünü ve yeniden kullanılabilir bilgiyi tek bir kalıcı iş akışında bir araya getirir. Bilimsel çıktıları, daha ileri çalışmalar için umut verici başlangıç noktalarıdır. Bir araştırma ekibi için pratik sınama, yayınlanan bir eserin gerçek bir deneyi iyileştirip iyileştirmediği ve başkalarının inceleyip yeniden üretebileceği kanıt üretip üretmediğidir.
SSS
Bir laboratuvar ilk Hyra eseri denemesini nasıl bütçelemelidir?
Üç aşama için bütçe ayırın: yeniden üretilebilir bir ortam kurma, küçük bir referans vakasını çalıştırma ve temsil edici bir yerel iş yükünü değerlendirme. Hızlandırıcı kullanımının yanı sıra hazırlık ve inceleme süresini de dahil edin. Başlamadan önce, gereken kalite düzeyini korurken geri dönüş süresini azaltmak gibi bir kabul kriteri seçin. İlk deneme, tam bir araştırma kampanyasının gerektirdiği kaynaklara taahhüt etmeden hataları teşhis edebilecek kadar küçük olmalıdır.
Bir yeniden üretilebilirlik paketi ne içermelidir?
Depo revizyonunu, model ağırlık tanımlayıcılarını, ortam sürümlerini, girdi verisi kökenini, yapılandırmayı, ilgili yerlerde rastgele tohumları ve değerlendirme çıktıları birlikte tutun. Yayınlanan örneğe yapılan değişiklikleri kaydedin. Bir sonuç bir ispat veya sertifikaya dayanıyorsa, denetleyici sürümünü ve çıktısını da saklayın. Paket, başka bir araştırmacının bir yazılım sorununu, değişmiş bir girdiyi ve bilimsel sonuçta gerçek bir farkı ayırt etmesine olanak vermelidir.
Araştırmacılar kıyaslama kirlenmesinden nasıl kaçınabilir?
Modelleri seçmek veya ayarları düzenlemek için kullanılan verileri nihai değerlendirme için kullanılan verilerden ayırın. Adayları karşılaştırmadan önce nihai protokolü dondurun ve mümkün olduğunda öneğitim veya geliştirme verileriyle herhangi bir örtüşmeyi belgeleyin. Yeni bilimsel veri kümeleri için, amaçlanan dağıtım ortamını yansıtan bölümler kullanın; örneğin ayrılmış bir çalışma veya deneysel koşul. Güçlü bir puan, değerlendirme örnekleri test edilen sistemi defalarca şekillendirdiyse daha az bilgilendiricidir.
Ekipler, çelişen ajan sonuçlarını nasıl ele almalıdır?
Çoğunluk oyu ile sonuçları birleştirmek yerine altta yatan deneyleri karşılaştırın. Ajanların aynı veri kümesi sürümünü, varsayımları, metriği ve yazılım yapılandırmasını kullanıp kullanmadığını kontrol edin. Fark açıklanana kadar her iki bulguyu da koruyun ve ardından rekabet eden açıklamalar arasında ayrım yapan odaklı bir deney çalıştırın. Ajanlar arasındaki anlaşma faydalıdır, ancak dış ölçümleri veya denetlenebilir bir argümanı ikame etmez.
