CometAPI ile geliştirinBirden çok model için tek bir API mi gerekiyor?İş akışını Playground'da test edin, ardından model ve maliyet kullanım senaryonuza uyduğunda bir API anahtarı oluşturun.
GPT-6.1 Terra vs Claude Haiku 5.5: Hızlı Görev Seçimi
GPT-6.1 Terra ile Claude Haiku 5.5'i benchmark sonuçları, API fiyatlandırması, hız, kodlama yetenekleri, akıl yürütme ve otomasyon açısından karşılaştır.
GPT-6.1 Terra ve Claude Haiku 5.5, faydalı yapay zekâ çalışmalarının maliyetini düşürmek için farklı yollar sunar. Aşağıda tartışılan bağımsız testlerde Terra, zorlu otomasyon ve terminal kodlaması için daha güçlü bir başlangıç noktasıdır. Haiku ise belirgin derecede daha düşük token fiyatları ve rekabetçi profesyonel bilgi işi performansı sunar.
100K tokene kadar istemler için, resmi standart API fiyatları Terra için milyon token başına $1 giriş / $5 çıkış ve Haiku için $0.10 / $0.50’dir. Bu oranlar Haiku’yu token başına %90 daha ucuz yapar, ancak akıl yürütme, yeniden denemeler, önbellekleme ve uzun-bağlam katmanları, tamamlanan bir görevin gerçekte neye mal olduğunu belirler. Tek bir manşet puanı yerine, temsilî bir iş yüküne göre seçim yapın.
Öne Çıkanlar
GPT-6.1 Terra: Otomasyon ve terminal kodlamasında atıf yapılan bağımsız maksimum-çaba karşılaştırmasında önde; bu sonuçlar onu karmaşık ajanlar için faydalı bir aday yapıyor.
Claude Haiku 5.5: Daha düşük standart token fiyatlarını aynı karşılaştırmada AA-Briefcase v1.1’deki üstünlükle birleştirir.
Netlik, kaynak ataması ve güncel API terminolojisi açısından gözden geçirildi.
Uzun bağlam: Terra 1.05M tokeni ve Haiku 1M tokeni destekler; daha yüksek fiyatlandırma katmanları sırasıyla 272K ve 100K giriş tokeninin üzerinde başlar.
Hız: Alıntılanan örnekte Haiku’nun çıktı aktarım hızı daha yüksekken Terra’nın ilk token gecikmesi daha kısadır. Tek başına hiçbir metrik, eksiksiz bir iş akışını öngörmez.
Dağıtım: Kullanmayı planladığınız akıl yürütme ayarlarında başarılı görev maliyetini, kaliteyi, gecikmeyi ve yeniden deneme oranlarını karşılaştırın.
GPT-6.1 Terra vs Claude Haiku 5.5: Hızlı Bakış
Özellik
GPT-6.1 Terra
Claude Haiku 5.5
Model ID
gpt-6.1-terra
claude-haiku-5-5
Bağlam penceresi
1,050,000 tokens
1,000,000 tokens
Maksimum standart çıktı
128,000 tokens
128,000 tokens
Girdi → çıktı
Metin ve görseller → metin
Metin ve görseller → metin
Akıl yürütme
yok, düşük, orta, yüksek, çok yüksek, maksimum
Çaba kontrolüyle uyarlanabilir düşünme
Varsayılan çaba
Orta
Orta
API kullanılabilirliği
OpenAI API; CometAPI
Claude API ve bulut platformları; CometAPI
Temel girdi / çıktı (1M token başına)
$1 / $5
$0.10 / $0.50, 100K tokene kadar istemler
Mimari ve parametre sayısı
Atıf yapılan kaynaklarca doğrulanmış mimari karşılaştırma kurulmamıştır
Atıf yapılan kaynaklarca doğrulanmış mimari karşılaştırma kurulmamıştır
Teknik özellikler, görev kalitesinin sıralaması değil, mevcut yetenekleri tanımlar. Her iki model de görselleri kabul eder, ancak bu, görsel her görevde birinin kazandığını kanıtlamaz. Bağlam sınırı da uzun bir istemdeki her ayrıntının güvenilir kullanımını garanti etmez.
GPT-6.1 Terra: Görsel Çalışmalar ve Yazılım Eylemleri
OpenAI’nin resmi duyurusuna göre (https://openai.com/index/introducing-gpt-6-1-terra/), model selefine kıyasla daha düşük işletim maliyetleriyle daha güçlü görsel anlama, bilgisayar etkileşimi ve doğal yazımı birleştirir.
Terra, yalnızca konuşma zekâsını optimize etmek yerine belgeler, ekranlar ve yazılım uygulamalarını içeren pratik işleri tamamlamak için tasarlanmıştır.
Başlıca yetenekleri şunlardır:
Görsel anlama: Ekran görüntülerini, diyagramları, ürün resimlerini ve teknik çizimleri analiz etme.
Bilgisayar kullanımı: Uygulama arayüzleriyle etkileşime girme ve çok adımlı dijital görevleri tamamlama.
Kodlama ve hata ayıklama: Komut satırı geliştirmeyi, program üretimini ve otomatik yazılım bakımını destekleme.
Profesyonel yazım: Raporlar, tekliflər, yapılandırılmış özetler ve iş yazışmaları üretme.
Yapılandırılabilir akıl yürütme: Geliştiricilerin, farklı kalite ve gecikme gereksinimleri için akıl yürütme derinliğini ayarlamasına izin verme.
Model, hızlı metin üretiminden fazlasına ihtiyaç duyan geliştiriciler için özellikle ilgi çekicidir. Değeri, görsel yorumlama, araç kullanımı ve karar vermeyi tutarlı bir iş akışında birleştirmesinden gelir.
Claude Haiku 5.5: Yüksek Hacimli, Odaklı Görevler
7 Ekim 2026’da yayımlanan Haiku 5.5, büyük sayıda isteği işleyen uygulamalar için yetenekli akıl yürütme modellerini pratik hâle getirmek üzere tasarlanmıştır.
Resmi tanıtımında (https://www.anthropic.com/claude-haiku-5-5), Anthropic sınıflandırma, özetleme, veritabanı sorguları, müşteri desteği, tarayıcı etkileşimleri ve alt ajan iş akışlarını vurgular.
Haiku 5.5 ayrıca Haiku ailesine ayarlanabilir çaba özelliğini getirir. Geliştiriciler, modeli değiştirmeden daha düşük maliyetli yanıtlar ile daha derin akıl yürütme arasında seçim yapabilir.
Güçlü yönleri:
Yüksek verimli işlem: Kısa ve tekrarlı isteklerin büyük hacimlerini verimli biçimde işleme.
Uyarlanabilir düşünme: Görevin karmaşıklığına göre akıl yürütme çabasını ayarlama.
Bilgi işi performansı: Profesyonel belge ve iş görevi değerlendirmelerinde güçlü sonuçlar.
Alt ajan orkestrasyonu: Daha büyük modeller tarafından koordine edilen iş akışları içinde odaklı görevler yürütme.
Uzun-bağlam işleme: Bir milyona kadar token içeren belgeleri ve konuşma geçmişlerini destekleme.
Düşük API maliyetleri: Sınıflandırma, çıkarım, yönlendirme ve benzeri iş yüklerini ticari olarak uygulanabilir kılma.
Anthropic, OSWorld 2.1 çevrimdışı alt kümesinde %72.4 bildirmektedir (https://www.anthropic.com/claude-haiku-5-5#performance). Bu, belirli bir alt küme üzerindeki satıcı değerlendirmesidir; bu yüzden Terra’ya karşı kontrollü bir masaüstü başa baş puanı olarak görülmemelidir.
Bu önemlidir çünkü Haiku 5.5 artık yalnızca basit soruları yanıtlamakla sınırlı değildir. Kompakt bir modelin fiyatlandırma avantajlarını korurken daha sofistike ajan iş akışlarına katılabilir.
Haiku 5.5, Haiku 4.5’ten daha yeni bir belirteçleyici kullanır. Anthropic, aynı metnin selefine kıyasla yaklaşık %30 daha fazla token kullanabileceğini tahmin eder. Geçiş maliyetlerini hesaplarken faturalandırılabilir kullanımı kendi istemlerinizde ölçün.
Otomasyon ve çok adımlı yürütme. Terra, AutomationBench-AA’da 25 puanlık bir farkla öndedir. Bu, birden fazla eylem yürütmeyi, talimatları izlemeyi ve ara zorluklardan kurtulmayı gerektiren iş akışlarını tamamlama becerisinin daha güçlü olduğunu düşündürür. Bir otomasyon sistemi ancak tüm iş akışını tamamladığında kullanışlıdır.
Terminal tabanlı kodlama. Terra, Terminal-Bench 4.0’da %56’ya ulaşırken Haiku %33’tedir. Bu, komut satırı araçları, hata ayıklama ve otonom yazılım geliştirmeyi içeren görevler için anlamlı bir avantajdır. Yine de, daha küçük ve dar kapsamlı istekler, Haiku’nun daha düşük maliyeti ve daha hızlı token üretiminden yararlanabilir.
Profesyonel bilgi işi. Haiku, AA-Briefcase v1.1’de 1,576, Terra ise 1,402 puan alır; bu da belge ve ofis iş akışları için güçlü bir aday olduğunu gösterir.
Genel olgusal akıl yürütme. AA-Omniscience v1.1, Terra’yı 30 ve Haiku’yu 12 olarak puanlar.
Resmi Lansman Kıyasları
Satıcılar, kendi modelleri için faydalı sonuçlar da yayımladılar.
Satıcı tarafından raporlanan değerlendirme
GPT-6.1 Terra
Claude Haiku 5.5
Terminal-Bench 4.0
%50.3
%39.2
OSWorld 2.1
Selefine karşı iyileşme raporlandı
%72.4, çevrimdışı alt küme
Zor-istem olgusal hata oranı
maksimum çabada %4.3
Aynı testte raporlanmadı
Chartography
Aynı testte raporlanmadı
%46.4, araçsız
Humanity’s Last Exam
Aynı testte doğrudan kurulmamıştır
%45.9, araçsız
GPT-6.1 Terra vs Claude Haiku 5.5: Gerçek Görev Performansı
Kodlama ve Yazılım Mühendisliği
Terminal ajanları için Terra’nın performans gerekçesi daha nettir: Terminal-Bench 4.0’da %56’ya karşı Haiku %33, 23 puanlık bir fark. Bilinmeyen depolarda hata ayıklama, bağımlılıkların çözülmesi ve çok adımlı komut satırı iş akışlarını çalıştırmada Terra ile başlayın.
Haiku, odaklı kod açıklamaları, test taslakları ve izole düzenlemeler için pratiktir. Standart kısa-istem oranlarında çıktısı milyon token başına $0.50 iken Terra için $5’tir; bu tasarrufun yeniden denemelerden sağ çıkıp çıkmadığını, kabul edilen yamalar ve geçen testlerle değerlendirin.
Görsel Anlama ve Bilgisayar Kullanımı
Terra, teknik çizimleri yorumlamak, ürün görsellerini eşlemek ve uygulama ekranlarında harekete geçmek için tasarlanmıştır. Bu yetenekler, görsel kanıttan yazılım eylemlerine uzanan iş akışlarına uygundur.
Haiku’nun satıcı-raporlu OSWorld 2.1 çevrimdışı alt-küme puanı %72.4’tür (https://www.anthropic.com/claude-haiku-5-5#performance). Bir tarayıcı veya masaüstü asistanı için tamamlanan eylemleri, başarısız tıklamalardan kurtulmayı ve nihai ekranın doğrulanmasını değerlendirin.
Müşteri Hizmeti ve İş Otomasyonu
Yüksek hacimli destek sınıflandırması, çıkarım ve yanıt taslağı için Haiku’nun daha düşük token fiyatları yararlı bir başlangıç noktası sağlar. İstek başına 2,000 giriş ve 300 çıkış tokeni ile, 10,000 istek, önbellekleme, toplu indirimler, akıl yürütme ek yükü veya araç ücretleri öncesinde, resmi standart oranlarla Haiku’da $3.50, Terra’da $35 tutar.
İş sistemleri arasında eylem yürütmesi gereken iş akışları için, Terra’nın AutomationBench-AA’da %60’a karşı Haiku’nun %35’i, önce Terra’yı test etmeyi destekler. Fatura kontrolleri, mutabakat ve koordine uygulama güncellemeleri, daha yüksek tamamlanma oranının daha yüksek token fiyatını haklı çıkarabileceği örneklerdir.
Uzun Bağlamlı Akıl Yürütme ve Olgusal Güvenilirlik
Terra 1.05M ve Haiku 1M bağlam tokenini destekler. 150,000 giriş ve 2,000 çıkış tokeninde, aşağıdaki resmi standart oran örnekleri sırasıyla $0.160 ve $0.080 tutar. Yalnızca istek maliyetine değil, kanıt getirimi ve kabul edilen yanıtlara göre seçim yapın; SSS, uzun-bağlam değerlendirme yaklaşımını açıklar.
Claude Haiku 5.5, GPT-6.1 Terra’dan Daha Hızlı mı?
Alıntılanan Max karşılaştırmasında Haiku çıktı aktarım hızında öndeyken, Terra yanıt vermeye daha erken başlar. Aşağıdaki tablo, akış hızı, yanıt gecikmesi ve değerlendirme görevlerinin kullandığı tahmini zamanı ayırır.
Üç ayrı metrik önemlidir:
İlk token’a kadar süre: Kullanıcıların çıktı başlamadan önce beklediği süre.
Çıktı aktarım hızı: Çıktı başladıktan sonra token’ların ne kadar hızlı üretildiği.
Uçtan uca görev tamamlama: Modelin akıl yürütme ve araç yürütmesi dahil tüm işi bitirmesinin ne kadar sürdüğü.
Intelligence Index görevi başına akıl yürütme token’leri
39K
173K
Intelligence Index görev çözümleme süresi (TTFT hariç)
654.90 seconds
598.04 seconds
Claude Haiku 5.5, yaklaşık 2.57 kat daha yüksek çıktı aktarım hızı sunarak, çözümleme başladıktan sonra token oluşturmakta daha hızlıdır. Ancak GPT-6.1 Terra’nın ilk token gecikmesinde 93 saniyelik bir avantajı vardır ve 500 token’lık yanıtı yaklaşık 90 saniye daha önce tamamlar.
Fark, akıl yürütme verimliliği dikkate alındığında daha da ilginç hâle gelir. Haiku, Zekâ İndeksi görevi başına, daha hızlı üretim hızına rağmen yaklaşık 4.4 kat daha fazla akıl yürütme token’i tüketir. Ağırlıklandırılmış görev çözümleme süresi biraz daha kısadır, ancak Terra’nın daha düşük başlangıç gecikmesi, 500 token’lık testte daha hızlı yanıta dönüşür.
Karşılaştırma sonucu: Haiku ham üretim hızında kazanırken, Terra ilk token gecikmesi, sabit uzunluklu yanıt süresi ve akıl yürütme token verimliliğinde öndedir. Gecikmeye duyarlı, akıl yürütme yoğun etkileşimlerde Terra daha güçlü bir seçimken, Haiku daha yüksek token aktarım hızı sunar.
Uçtan Uca Görev Tamamlama
Haiku görev başına yaklaşık 173K, Terra ise 39K akıl yürütme token’i kullanır. Bu anlık görüntüde tahmini görev süresi Haiku’da yine de daha düşüktür: 598.04’e karşı 654.90 saniye. Yalnızca aktarım hızı, eksiksiz gecikme profilini açıklamaz.
Gerçek üretim gecikmesi, sağlayıcılar, sunucu yükü, istem boyutu, araç yürütmesi ve akıl yürütme yapılandırmasına bağlıdır. Karar vermeden önce gerçek isteklerde p50 ve p95’i ölçün.
Görev süresi rakamı, token kullanımından ve üretim hızından ağırlıklandırılmış çözümleme süresini tahmin eder; ilk token gecikmesi ve diğer ek yükleri içermez. Yanıt süresi ölçümleri ile değerlendirme-görevi tahminleri farklı iş yüklerini kapsar.
GPT-6.1 Terra vs Claude Haiku 5.5: Maliyet
Fiyatlandırma, iki modelin en dramatik biçimde farklılaştığı alandır.
Standart API Fiyatlandırması
Fiyatlandırma bileşeni
Terra — resmi
Terra API in CometAPI
Haiku — resmi
Haiku API in CometAPI
Temel girdi / 1M token
$1.00
$0.80
$0.10
$0.08
Temel çıktı / 1M token
$5.00
$4.00
$0.50
$0.40
Temel önbellekten okuma / 1M token
$0.05
Ayrı olarak listelenmemiş
$0.01
$0.008
Uzun-istem eşiği
272K giriş tokeninden fazla
Uzun-bağlam katmanı ayrı listelenmemiş
100K istem tokeninden fazla
100K istem tokeninden fazla
Uzun-istem girdi / 1M token
$2.00
Ayrı olarak listelenmemiş
$0.50
$0.40
Uzun-istem çıktı / 1M token
$7.50
Ayrı olarak listelenmemiş
$2.50
$2.00
Toplu indirim
%50
Ayrı olarak listelenmemiş
%50
Ayrı olarak listelenmemiş
USD cinsinden milyon token başına, 28 Ekim 2026’da kontrol edilmiştir. Haiku’nun temel oranları 100K tokene kadar olan istemler için geçerlidir. Listelenen CometAPI temel giriş ve çıkış oranları, her iki model için de ilgili resmi oranlardan %20 düşüktür. Terra’nın CometAPI kataloğu burada ayrı bir uzun-bağlam katmanını veya önbellekten okuma oranını ayrı ayrı listelememektedir; standart indirimin yayımlanmamış bir katmana uygulanacağı varsayılmamalıdır.
Resmi ve CometAPI fiyatlandırmaları ayrı sağlayıcı yollarını tanımlar. Bütçe için, seçilen yolun faturalandırdığı giriş, çıkış, önbellek ve araç kategorilerini kullanın. Aşağıdaki örnekler, varsayımların tutarlı kalması için resmi standart fiyatlandırmayı korur.
Terra’nın resmi uzun-istem oranları 272K giriş tokeninin üzerinde, Haiku’nunkiler ise 100K istem tokeninin üzerinde geçerlidir. Eşik aşıldığında, istek için ilgili daha yüksek katmanı kullanın. Aşağıdaki örnekler, resmi standart API oranlarını kullanır.
100K tokene kadar istemler için, Haiku’nun resmi standart giriş ve çıkış token fiyatları Terra’dan %90 daha düşüktür ($0.10 / $0.50’a karşı $1 / $5 milyon token başına); önbellekleme, toplu indirimler ve diğer ücretler hariç. İstemler uzadıkça, fiyatlandırma eşikleri farklı olduğu için tasarruf değişir.
Örnek: Yüksek Hacimli Sınıflandırma
Günde 10,000 müşteri mesajı işleyen bir uygulamayı düşünün. Her isteğin 2,000 giriş tokeni ve 300 çıkış tokeni kullandığını ve istem önbelleği olmadığını varsayalım.
GPT-6.1 Terra: İstek başına giriş maliyeti $0.0020 ve çıkış maliyeti $0.0015’tir. Toplam, istek başına $0.0035, yani 10,000 istek için $35.00 olur.
Claude Haiku 5.5: İstek başına giriş maliyeti $0.0002 ve çıkış maliyeti $0.00015’tir. Toplam, istek başına $0.00035, yani 10,000 istek için $3.50 olur.
Hesaplama, resmi standart API oranlarını ve aynı faturalandırılabilir token sayılarını kullanır; önbellek isabetleri ve ayrı ücretlendirilen araçlar hariçtir.
Bu iş yükü için Haiku, modellenen API maliyetini %90 azaltır. Her iki model de sınıflandırmayı kabul edilebilir doğrulukla tamamlıyorsa, token başına 10 kat daha fazla ödemek için ekonomik bir gerekçe azdır.
Örnek: Uzun Belge Analizi
İstemler 100K tokeni aştığında hesap değişir. 150,000 giriş ve 2,000 çıkış tokeni olan bir görevi düşünün.
GPT-6.1 Terra: 150,000 giriş tokeni $0.150 ve 2,000 çıkış tokeni $0.010 tutar, toplam istek başına $0.160 olur.
Claude Haiku 5.5: Aynı token sayıları için giriş $0.075 ve çıkış $0.005 tutar, toplam istek başına $0.080 olur. İstem, Haiku’nun 100K-token eşiğini aştığından, daha yüksek uzun-bağlam oranları uygulanır.
Bu toplamlar, önbellekleme veya ayrı ücretlendirilen araçlar olmaksızın resmi standart API oranlarını kullanır.
Haiku daha ucuz kalır, ancak tasarruf %90 yerine %50’ye düşer.
300,000 giriş ve 2,000 çıkış tokeninde, uygulanabilir uzun-bağlam oranları kullanılarak modellenen toplamlar yaklaşık olarak Terra için $0.615 ve Haiku için $0.155 olur.
Bu örnekler, aynı faturalandırılabilir token sayılarını, önbellek isabeti olmadığını ve ek araç ücretleri bulunmadığını varsayar. Gerçek maliyetler, belirteçleme ve akıl yürütme token tüketimi nedeniyle farklı olabilir.
Başarılı Görev Başına Maliyet Neden Token Fiyatından Daha Önemli
Daha ucuz bir model, tüm iş akışı için mutlaka daha ucuz değildir.
Haiku’nun bir kodlama görevini tamamlamak için birkaç yeniden deneme gerektirdiğini, Terra’nın ise ilk denemede başarılı olduğunu varsayalım. Ek model çağrıları, araç yürütmesi ve doğrulama süresi, Haiku’nun fiyatlandırma avantajının bir kısmını ortadan kaldırabilir.
Tersine, her iki model de bir sınıflandırma isteğini ilk denemede doğru şekilde tamamlarsa, Haiku’nun önemli ölçüde daha düşük token oranları belirgin bir ticari avantaj hâline gelir.
Başarılı görev başına maliyet = Toplam API ve araç maliyetleri / Başarıyla tamamlanan görev sayısı.
Bu metrik, otonom ajanlar için modeller seçilirken milyon token başına fiyattan daha anlamlıdır.
Nasıl Seçilmeli
Doğru seçim, modeller temsilî iş yüklerine karşı değerlendirildiğinde netleşir.
Zorlu yazılım ajanları için GPT-6.1 Terra’yı seçin. Daha güçlü bağımsız terminal-kodlama ve otomasyon sonuçları, onu karmaşık kodlama, çok adımlı yazılım işlemleri ve başarısız eylemlerden kurtarma gerektiren otonom iş akışları için daha iyi bir başlangıç adayı yapar.
Odaklı çalışmayı ölçekli yürütmek için Claude Haiku 5.5’i seçin. Müşteri destek sınıflandırması, belge özetleme, yapılandırılmış çıkarım ve yüksek hacimli alt ajan görevleri, model doğruluk gereksinimlerinizi karşıladığında yararlı başlangıç iş yükleridir. Ek yeniden denemeler veya akıl yürütme tasarrufu tüketmediğinde daha düşük token fiyatları en değerlidir.
Profesyonel bilgi işi, görsel arayüzler ve uzun belgeler için her ikisini de test edin. Haiku, atıf yapılan AA-Briefcase değerlendirmesinde öndeyken, Terra’nın görsel yetenekleri ekran tabanlı görevlere uygundur. Bu sonuçların hiçbiri evrensel bir kazanan belirlemez. Ekibinizin kullandığı gerçek belgeler ve uygulamalarda kanıt getirimi, görev tamamlama ve toplam maliyeti karşılaştırın.
GPT-6.1 Terra ve Claude Haiku 5.5’e Nereden Erişebilirsiniz?
GPT-6.1 Terra’ya OpenAI API üzerinden ve Claude Haiku 5.5’e Claude API üzerinden erişebilir veya ortak bir hesap kullanarak CometAPI’de (https://apidoc.cometapi.com/) karşılaştırabilirsiniz. CometAPI, OpenAI uyumlu Chat Completions ve Responses formatlarının yanı sıra Claude için Anthropic Messages formatını sunar. Seçtiğiniz model ve iş akışının desteklediği uç noktayı seçin; akıl yürütme kontrolleri ve araç desteği ilgili arayüzü izler. Üretim trafiğini yönlendirmeden önce model kataloğunda güncel kullanılabilirliği ve faturalandırmayı kontrol edin.
Sonuç
Ana kısıt zorlu otomasyon veya terminal kodlaması olduğunda Terra ile başlayın. Odaklı, yüksek hacimli bir iş yükü daha düşük maliyetle kalite hedefini karşılıyorsa Haiku ile başlayın. Görsel görevler ve profesyonel bilgi işinde, model konumlandırmasından bir kazanan çıkarmak yerine temsilî örneklerde ikisini de test edin.
Bir geri dönüş, başarısız olan her isteği diğer modelde yeniden denemeli mi?
Geçersiz yapılandırılmış çıktı, başarısız bir test veya reddedilen bir araç eylemi gibi net bir hata sinyali kullanın. Geçici ağ hatalarını kalite hatalarından ayrı yeniden deneyin ve hem yeniden deneme sayısını hem de toplam harcamayı sınırlayın. Modelleri değiştirmeden önce, geri dönüşün yeniden denemeden kaldığı yerden devam edebilmesi için özlü bir görev durumu ve doğrulanmış araç sonuçları iletin.
Bir model geçişi mevcut istem önbelleklerini nasıl ele almalı?
Bir önbellek girdisinin veya token sayısının transfer olacağını varsaymak yerine, hedef model için önbelleği yeniden oluşturup ölçün. İstemlerin başında stabil talimatları tutun, ardından önbellek oluşturma, önbellekten okuma ve önbelleksiz girişi ayrı ayrı kaydedin. Çok sayıda tekrarlanan talimat içeren bir iş yükünün, yukarıdaki önbelleksiz örneklerden farklı bir maliyet sıralaması olabilir.
Bir ekip uzun-bağlam güvenilirliğini nasıl değerlendirebilir?
Bilinen cevapları olan görevler oluşturun ve destekleyici kanıtı belge içinde farklı pozisyonlara yerleştirin. Benzer görünen dikkat dağıtıcılar ve uzak pasajları birleştirmeyi gerektiren istekler ekleyin. Kullandığınız bağlam uzunluklarında destekli yanıtları, kaçırılan kanıtları ve uydurulmuş referansları takip edin; ilan edilen bağlam kapasitesi tek başına getirimi veya akıl yürütme doğruluğunu kanıtlamaz.
Eşit bütçeli bir Terra ve Haiku testi neleri içermeli?
Kabul edilen sonuç başına bir dolar bütçesi belirleyin ve akıl yürütme token’lerini, yeniden denemeleri, araç ücretlerini ve doğrulama çağrılarını dahil edin. Her modelin bu bütçeye uyan bir yapılandırma kullanmasına izin verin; ardından aynı ayrılmış görevlerde başarı oranını ve yanıt süresi yüzdeliklerini karşılaştırın. Bu, daha ucuz modeldeki ek akıl yürütmenin, daha pahalı olana tek bir çağrıdan daha faydalı olup olmadığını ortaya çıkarır.
