Kimi K3.1 Pro and Highspeed are now live on CometAPI →
technology/CometAPI зерттеуі

Claude Fable 5.1 бенчмарктері: Ұпайлар маған не айтады

Claude Fable 5.1 бенчмарк көрсеткіштерін, негізгі жетілдірулерін, шектеулерін және Fable 5, Opus 5, GPT-5.6 Sol және GPT-6 Astra-пен салыстыруларын қарастырыңыз.

CometAPI
Mia MarenAI model және API зерттеу тобы
Жаңартылды Sep 17, 2026 12 мин оқу
Claude Fable 5.1 бенчмарктері: Ұпайлар маған не айтады
Осы үлгіні пайдалану

Бірінші API шақыруын жасаңыз.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_COMETAPI_KEY",
    base_url="https://api.cometapi.com/v1",
)

response = client.chat.completions.create(
    model="gpt-5-mini",
    messages=[{"role": "user", "content": "Build this workflow."}],
)

print(response.choices[0].message.content)

TLDR Claude Fable 5.1 негізінен агенттік орындалуды жақсарту. Ең үлкен өсімдер ғылыми зерттеу, бизнес автоматтандыру, терминалдық кодтау және жоспарлау, құралдарды пайдалану, верификация және бірнеше қадам бойы қалпына келтіруді талап ететін басқа да жұмыс ағындарында байқалады. Жабық типті пайымдау мен қысқа IDE-стильді кодтау тапсырмаларында жетілдіру аздау, сондықтан ең дұрыс ендіру шешімі бір ғана негізгі көрсеткіштен гөрі нақты жұмыс жүктемесіне байланысты.

Негізгі түйіндер

  • Fable 5.1 Anthropic бағалауында Terminal-Bench-Science 0.1 бойынша 52.6% көрсетіп, Fable 5-тегі 24.7%-дан екі еседен аса жоғары нәтиже көрсетті.
  • AutomationBench 17.1%-дан 31.4%-ға өсті, бұл толық циклді бизнес жұмыс ағындарында үлкен жақсартуды көрсетеді.
  • CursorBench және құралдармен көмектесілген Humanity’s Last Exam бойынша өсімдер ұстамдырақ, яғни бұл релиз барлық пайымдау түрін бірдей емес, ұзаққа созылатын орындалуды көбірек жақсартады.
  • Fable 5.1 Fable 5-пен бірдей стандартты токен бағаларын сақтайды, ал кэштен оқудың арзандауы контексті ауыр агенттік жұмыс ағындарының тиімді құнын төмендетуі мүмкін.
  • GPT-6 Astra қазір OpenAI-дан өзекті салыстыру болса да, Anthropic-тың 1 қыркүйектегі кестесінде болмаған. Тікелей салыстыру үшін бірдей бағалау қондырғысында бақылаулы сынақ қажет.

Anthropic 2026 жылғы 1 қыркүйекте Claude Fable 5.1-ді күрделі пайымдау, ұзақ көкжиекті агенттер, бағдарламалық инженерия, зерттеу және кәсіби білім жұмыстары үшін шығарды. Claude Fable 5.1 CometAPI арқылы да қолжетімді, бірыңғай эндпоинт арқылы оны басқа алдыңғы қатарлы модельдермен қатар бағалағысы келетін әзірлеушілер үшін.

Негізгі нәтижелер мықты, бірақ өсімдердің таралуы орташа мәннен гөрі мазмұндырақ. Fable 5.1 мақсатты сақтау, құралдармен әрекеттесу, қателерден қалпына келу және соңғы күйді тексеру қажет агенттерде көбірек ұтады. Бұл мақала бенчмарк нәтижелерінің нені білдіретінін, модельдің қай тұста әлі де әлсіз екенін және оны жаңа баламалармен қалай салыстыру керегін талқылайды.

Claude Fable 5.1 қысқаша

Anthropic моделіне арналған құжаттама 1 миллион токендік контекст терезесін, 128K максимум шығысты, мәтін және сурет кірісін, әрқашан қосулы бейімделгіш ойлауды және 2026 жылғы маусым білім шегін көрсетеді. Claude API модель ID: claude-fable-5-1.

Ресми сипаттамаClaude Fable 5.1
ПровайдерAnthropic
Шығарылған күні1 қыркүйек, 2026
Модель IDclaude-fable-5-1
Контекст терезесі1,000,000 tokens
Ең көбірек шығыс128,000 tokens
Кіріс / шығысМәтін және суреттер → мәтін
ОйлауБейімделгіш, әрқашан қосулы
Әдепкі күш жұмсауЖоғары
Білім шегі2026 жылғы маусым
Anthropic кіріс бағасы$10 / MTok
Anthropic шығыс бағасы$50 / MTok
Кэштен оқу$0.25 / MTok
Салыстырмалы кідірісБаяуырақ
Негізгі позициялауКүрделі пайымдау және ұзақ көкжиекті агенттік жұмыс

Стандартты кіріс және шығыс бағалары Fable 5-пен бірдей қалады, ал кэштен оқудың бағасы $0.25 млн токенге дейін төмендеді. Fable 5.1-де тақырыптық кіріс/шығыс токен бағалары төмендемеген. Оның тиімді құны негізінен кэштен оқу бағасының 75% қысқаруы есебінен жақсарады. Anthropic типтік жұмыс жүктемелерінде шамамен 25% және жоғары агенттік жұмыс жүктемелерінде 45%-ға дейін құнның төмендеуін болжайды.

Бұл маңызды, себебі ұзаққа созылатын агент репозиторий контекстін, нұсқауларды, құралдар сипаттамаларын және алдыңғы күйді қайта-қайта пайдаланады. Тапсырмаға шаққандағы құн негізгі кіріс/шығыс бағалары өзгермегеннің өзінде жақсара алады.

Anthropic сонымен қатар Terminal-Bench 4.0 бойынша Claude Mythos 5.1 үшін 60.9% хабарлайды. Mythos 5.1 — қауіпсіздік шектеулері өзгеше бөлек енгізілген нұсқа, сондықтан оны жалпы қолжетімді Fable 5.1 балы ретінде қабылдауға болмайды.

Claude Fable 5.1 бенчмарктары нені көрсетеді?

Төмендегі мәндер Anthropic-тың 2026 жылғы қыркүйектегі бағалауынан алынған. Олар модель мен бағалау қондырғысының конфигурациясын сипаттайды, модельдің өзгермейтін қасиеті емес.

БенчмаркНені өлшейдіFable 5.1Fable 5Opus 5GPT-5.6 Sol
Terminal-Bench-Science 0.1Агенттік ғылыми зерттеу52.6%24.7%29.0%22.4%
Terminal-Bench 4.0Агенттік терминалдық кодтау55.8%42.0%52.3%37.3%
GDPval-AA v2Кәсіби білім жұмысы, Elo1853172318241711
OSWorld 2.0, partialҰзақ көкжиекті компьютерді пайдалану77.9%72.9%75.4%—
OSWorld 2.0, strictКомпьютер тапсырмалары толық аяқталу41.7%36.1%39.6%—
Humanity’s Last Exam, no toolsКөпсалалы эксперттік пайымдау60.9%57.8%56.6%—
Humanity’s Last Exam, with toolsҚұралдармен эксперттік пайымдау65.0%63.8%63.6%—
AutomationBenchТолық циклді бизнес жұмыс ағындары31.4%17.1%26.9%19.6%
CursorBench 3.2.0Агенттік IDE кодтауы73.4%70.5%70.0%67.2%

Fable 5.1 жарияланған тоғыз жолдың бәрінде Fable 5 пен Opus 5-тен озық. Ең үлкен ұрпақтық өсімдер ғылыми зерттеуде, бизнес жұмыс ағындарын автоматтандыруда және терминалдық кодтауда. Humanity’s Last Exam және CursorBench бойынша айырмалар кішілеу, бұл жақсартулардың барлық жұмыс жүктемелерінде біркелкі еместігін көрсетеді.

Claude Fable 5.1 ең көп қайда жақсарды?

Terminal-Bench-Science 0.1: айрықша нәтиже

Fable 5.1 52.6% көрсетсе, Claude Fable 5 — 24.7%, Claude Opus 5 — 29.0%, ал GPT-5.6 Sol — Anthropic іске қосқан жүгіруде 22.4%. 27.9 тармақтық үлкен ұрпақтық алшақтық модельге қатысты есептелген стандартты қателіктен әлдеқайда жоғары, ал шағын айырмалар — мысалы, Terminal-Bench 4.0 бойынша Fable 5.1 мен Opus 5 арасындағы 3.5 тармақ — сақтықпен түсіндірілгені жөн.

Terminal-Bench-Science ғылыми және инженерлік домендердегі толыққанды зерттеу жұмыс ағындарын бағалайды. Агенттер оқшау сұрақтарға жауап беруден гөрі код, талдау, дәлел, симуляциялар немесе деректер өнімдерін шығару керек. Anthropic бір модель үшін шамамен ±3.5–4.5 тармақ стандартты қателік туралы хабарлайды, сондықтан шағын алшақтықтар автоматты түрде мәнді қабілет айырмасы ретінде қабылданбауы тиіс.

Terminal-Bench 4.0: автономды кодтау күшейді

Fable 5.1 55.8%-ға жетіп, Fable 5-тегі 42.0%, Opus 5-тегі 52.3% және GPT-5.6 Sol-дегі 37.3%-дан жоғары. Fable 5-пен салыстырғандағы 13.8 тармақтық өсім елеулі, ал Opus 5-пен салыстырғандағы 3.5 тармақ айырма салыстырмалы түрде тар.

Бұл бенчмарк агенттерді орындалу ортасына орналастырады, сондықтан табыс ортада бағдарлануға, кодты өзгертуге және нәтижелерді валидациялауға тәуелді. Terminal-Bench 4.0 тапсырмалар жиыны алдыңғы релиздерден өзгеше болғандықтан, нәтижелерді тек бірдей нұсқа ішінде салыстырған жөн.

AutomationBench: айтарлықтай өсім әрі әлеует бар

AutomationBench Fable 5-тегі 17.1%-дан Fable 5.1-де 31.4%-ға көтерілді. Бұл 14.3 тармақтық абсолютті өсім немесе шамамен 84% салыстырмалы өсім.

Бенчмарк сату, маркетинг, операциялар, қолдау, қаржы және HR бойынша жұмыс ағындарын соңғы орта күйін тексеру арқылы бағалайды. Бұл агент ұсынылған әрекеттерді ғана емес, шын мәнінде жұмыс ағынын аяқтаған-аяқтамағанын тексеруге мүмкіндік береді. Нәтиже сондай-ақ шектеуді көрсетеді: хабарланған конфигурацияда тапсырмалардың шамамен үштен екісі әлі де аяқталмаған.

CursorBench 3.2.0: кодтауда шағын өсім

Fable 5.1 73.4%-ға жетеді, ал Fable 5 — 70.5%, Opus 5 — 70.0%, GPT-5.6 Sol — 67.2%. Fable 5-пен салыстырғандағы өсім бар болғаны 2.9 тармақ.

Осылайша релиз жоспарлау, орындалу, тексеру және қалпына келтіруді қамтитын ұзағырақ жұмыс ағындарында көбірек өзгеріс әкеледі, қысқа IDE-стильді кодтау тапсырмаларында — азырақ. Бағалау жиындары тек код генерациясының сапасын ғана емес, репозиторий ауқымындағы өзгерістер мен сәтсіз тесттерден қалпына келуді де қамтуы тиіс.

OSWorld 2.0: компьютерді пайдалану әлі де күрделі

Fable 5.1 ішінара бағалау бойынша 77.9% және қатаң аяқталу бойынша 41.7% алады. Opus 5 — 75.4% және 39.6%, ал Fable 5 — 72.9% және 36.1%.

Қатаң көрсеткіш өндірістік сигнал ретінде мәндірек. Тапсырмалардың жартысынан азы толық аяқталды, бұл компьютерді пайдалану саласындағы прогресс бақылау нүктелері, рұқсаттар, мониторинг және қалпына келтіру логикасының қажеттілігін жоққа шығармайтынын көрсетеді.

CursorBench және Humanity’s Last Exam: өсімдер шағындау

Fable 5.1 CursorBench 3.2.0 бойынша 73.4%-ға жетіп, Fable 5-тен бар болғаны 2.9 тармақ жоғары. Humanity’s Last Exam бойынша құралдарсыз 3.1 тармаққа және құралдармен 1.2 тармаққа өсім бар.

Бұл тар алшақтықтар орталық түсіндірмені қолдайды: Fable 5.1 жоспарлау, орындалу, тексеру және қалпына келтіруді қамтитын ұзақ жұмыс ағындарында көбірек, ал қысқа IDE тапсырмаларында немесе жабық типті академиялық пайымдауда азырақ трансформативті.

Claude Fable 5.1 vs Fable 5 vs GPT-6 Astra vs Opus 5

Қысқа жауап: Fable 5.1 — Anthropic жариялаған ұзақ көкжиекті бенчмарк кестесінде ең мықты опция; Opus 5 — өнімділік айырмасы шағын болғанда үнемдірек бастапқы нүкте; Fable 5 — мұралық база; GPT-6 Astra — тікелей рейтинг үшін бірдей қондырғыда салыстырмалы сынақ талап етеді.

Fable 5.1 Anthropic-тың ұзақ көкжиекті агент бенчмарктары бойынша Fable 5-тен айқын ұрпақтық жақсарту көрсетеді. GPT-6 Astra — OpenAI-дың өзекті салыстыруы, бірақ ол Anthropic-тың 1 қыркүйектегі бағалауынан кейін шықты және бірдей бенчмарк қондырғысына кірмеген.

ӨлшемClaude Fable 5.1Claude Fable 5GPT-6 Astra
Контекст терезесі1M tokens1M tokens1.05M tokens
Ең көбірек шығыс128K128K128K
Стандартты кіріс / шығыс$10 / $50 per MTok$10 / $50 per MTok$10 / $50 per MTok
Кэштен оқу$0.25 / MTok$1 / MTokАғымдағы провайдер шарттарын тексеріңіз
Terminal-Bench-Science 0.152.6%24.7%Anthropic-тың іске қосу кестесіне кірмеген
Terminal-Bench 4.055.8%42.0%Anthropic-тың іске қосу кестесіне кірмеген
AutomationBench31.4%17.1%Anthropic-тың іске қосу кестесіне кірмеген
Негізгі позициялауКүрделі пайымдау және ұзақ көкжиекті агенттерАлдыңғы Fable-класс базасыҚиын толық циклді кәсіби жұмыс

Fable 5-пен салыстырғанда Fable 5.1 ғылыми зерттеу, бизнес автоматтандыру және терминалдық кодтау салаларында ең үлкен өлшенген өсім көрсетіп, стандартты токен бағаларын сақтайды. Кэштен оқудың арзандауы қайталанатын контексті бар агенттер экономикасын одан әрі жақсартады.

Таңдау ережесі: Құн басым болса, Opus 5-тен бастаңыз, ұзақ көкжиекті аяқталу мен қалпына келу аса маңызды болғанда Fable 5.1-ге көтеріліңіз, үйлесімділікке сезімтал жұмыс жүктемелері үшін Fable 5-ті ғана сақтаңыз, ал GPT-6 Astra-ны өндірістік қабылдауға дейін бірдей қондырғыда бақылаулы сынақтаңыз.

Жұмыс жүктемелері бойынша бенчмарк нәтижелері қандай?

ҚабілетFable 5.1 нәтижесіFable 5-пен салыстырғандағы өзгерісТүсіндірме
Агенттік ғылыми зерттеу52.6%+27.9 тнтӨте үлкен өсім
Бизнес жұмыс ағындарын авто31.4%+14.3 тнтӨте үлкен өсім
Терминалдық кодтау55.8%+13.8 тнтҮлкен өсім
Компьютерді пайдалану, strict41.7%+5.6 тнтОрташа өсім
Компьютерді пайдалану, partial77.9%+5.0 тнтОрташа өсім
Эксперттік пайымдау, құралсыз60.9%+3.1 тнтШағын өсім
IDE агенттік кодтау73.4%+2.9 тнтШағын өсім
Эксперттік пайымдау, құралдар65.0%+1.2 тнтШағын өсім
Кәсіби білім жұмысы1853 Elo+130 EloКүшті, конфигурацияға сезімтал

Үлгі тұрақты: табыс табандылыққа, жоспарлауға, ортамен әрекеттесуге, құралдарды пайдалануға және уақыт бойынша қалпына келуге тәуелді болғанда ең үлкен жақсартулар байқалады.

Бенчмарктар сізге нені айтпайды?

Бенчмарк кестелері мінез-құлықты бір санға қысып береді. Олар автономды агенттер толық шешілді дегенді дәлелдемейді және барлық өндірістік жұмыс жүктемелерін болжай алмайды.

  • Негізгі салыстыру кестесін вендордың өзі жүргізген.
  • Күш жұмсау параметрлері сапаға, кідіріс пен құнға әсер етеді.
  • Агент бенчмарктары модель, қондырғы, құралдар және рұқсаттардың жиынтық әсерін өлшейді.
  • Өндірістік қауіпсіздік шектеулері Fable 5.1-де қосулы болды және кейбір нәтижелерге әсер етті.
  • Бенчмарк нұсқалары өзгеріп тұрады, сондықтан әртүрлі тапсырма релиздеріндегі мәндерді тікелей салыстыруға келмеуі мүмкін.
  • AutomationBench 31.4%-да, ал OSWorld қатаң аяқталуы 41.7%-да қалды; сәтсіздік көрсеткіштері әлі де елеулі.

Практикалық бағалау алдымен қоғамдық нәтижелер арқылы кандидаттарды қысқартып, бірдей параметрлермен шағын қайта өндіруді жасап, содан кейін нақты өндірістік жұмыс ағынын сынауы тиіс.

Claude Fable 5.1 — Claude моделдерінің ішіндегі ең жақсысы ма?

Ұзаққа созылатын қиын жұмыстарда максимум қабілет қажет болса, Claude Fable 5.1 үшін бенчмарк дәлелі өте мықты. Әрбір жұмыс жүктемесі үшін — жоқ.

Anthropic оның бағасын миллион кіріс токенге $10 және миллион шығыс токенге $50 деп қояды, Opus 5 — $5 және $25. Премиум тек Fable 5.1 жоғары табыстылық, аз қайталап орындау, қабылданған тапсырмаға шақ аз токен немесе адамдық қарап шығу уақытын жеткілікті қысқарту берген жағдайда ғана ақталады.

Кэштен оқудың арзандауы агенттер үшін тиімді құн алшақтығын тарылтуы мүмкін. Сондықтан қабылданған нәтижеге шақ құн — тек токен бағасына қарағанда пайдалырақ метрика.

Claude Fable 5.1-ді қалай бенчмарктаған жөн?

Сіздің бағалауыңыз жоспарланған өндірістік жұмыс жүктемесіне ұқсас болуы керек.

  • Кодтау: Толық мәселелерді тестлеңіз және патч қабылдау үлесін, өткен тесттерді, қайталауларды, құрал шақыруларды, өткен уақытты және адамдық түзету уақытын жазып отырыңыз.
  • Зерттеу: Дереккөз сапасын, фактілік дәлдікті, дәлелдер қамтылуын, ішкі тапсырмалардың орындалуын және ұзақ іске мақсатты сақтауды бағалаңыз.
  • Бизнес агенттері: Жекелеген дұрыс әрекеттерді санаудың орнына соңғы орта күйін бағалаңыз.
  • Компьютерді пайдалану: Қалқып шығатын терезелерден, баяу беттерден, үзіліп қалған сессиялардан және тұрақсыз қолданба күйінен қалпына келуді өлшеңіз.
  • Модель салыстыруы: Промпттарды, қондырғыларды, құралдарды, рұқсаттарды, күш жұмсау параметрлерін және бағалау ережелерін тұрақты ұстаңыз.
  • Экономика: Тек токен құнын емес, қабылданған тапсырмаға шақ құнды өлшеңіз.

Қорытынды

Бенчмарк дәлелі Fable 5.1 ең құнды болатын орын — бір реттік жауаптан гөрі ұзаққа созылатын орындалу қажет тапсырмалар екенін меңзейді. Ең күшті қолдану жағдайлары — ғылыми зерттеу, автономды кодтау, күрделі бизнес автоматтандыру және қайталанатын тексеру мен қалпына келтіруді қажет ететін жұмыс ағындары.

Дәлелдер әмбебап үстемдікті растамайды. Бірнеше бенчмарк бойынша айырмалардың шағын болуы, қатаң компьютерді пайдалану тапсырмаларында сәтсіздік деңгейінің мәнді болуы және Anthropic кестесінде GPT-6 Astra-ның болмауы — барлығы жұмыс жүктемесіне тән тесттеудің қажет екенін күшейтеді.

CometAPI қолданушылары үшін практикалық енгізу ережесі: ұзақ көкжиекті табыс премиум инференсті ақтай алатын жерлерде Fable 5.1-ді сынап, содан соң Opus 5, GPT-5.6 Sol және GPT-6 Astra-мен бірдей репрезентатив тапсырмаларда салыстырып, содан кейін ғана өндірістік бағытты таңдаңыз.

Жиі қойылатын сұрақтар

Claude Fable 5.1-дің ең жоғары бенчмарк балы қандай?

Anthropic хабарлаған пайыздық метрикалар арасында Fable 5.1 OSWorld 2.0 бойынша ішінара бағалауда 77.9% және CursorBench 3.2.0 бойынша 73.4%-ға жетеді. Оның ең үлкен ұрпақтық өсімі Terminal-Bench-Science — 52.6%, Fable 5-тегі 24.7%-бен салыстырғанда.

Claude Fable 5.1 Fable 5-тен қаншалық жақсы?

Өсім жұмыс жүктемесіне қарай қатты өзгереді: Terminal-Bench-Science-та 27.9 тармақ, AutomationBench-та 14.3 және Terminal-Bench 4.0-де 13.8, бірақ CursorBench-та 2.9 және құралдармен Humanity’s Last Exam-да 1.2 ғана.

Claude Fable 5.1 Claude Opus 5-тен жақсы ма?

Anthropic кестесінде барлық жолдарда жоғары ұпай жинайды, бірақ айырмалардың көбі шағын. Anthropic алдымен Opus 5-тен бастап, қосымша ұзақ көкжиекті қабілет қажет болғанда Fable 5.1-ге көтерілуге кеңес береді.

Claude Fable 5.1 GPT-5.6 Sol-дан оза ма?

Anthropic ортақ бес метрика бойынша Fable 5.1-дің жоғары ұпайларын хабарлайды. Дегенмен бұл вендор жүргізген бәсекелес бағалаулар және конфигурациялар әртүрлі болғандықтан, қауіпсіз қорытынды — Fable 5.1 өте бәсекеге қабілетті, бірақ әмбебап түрде үстем емес.

Нәтижелер тәуелсіз расталған ба?

Толық емес. Бірқатар бенчмарктардың қоғамдық көшбасшылар тақталары бар, бірақ күш жұмсау, қондырғы, фолбэк мінез-құлқы және тапсырма нұсқалары Anthropic іске қосу нәтижелерімен тікелей салыстыру үшін теңестірілуі тиіс.

Claude Fable 5.1 не үшін ең қолайлы?

Бенчмарк профилі ұзаққа созылатын ғылыми зерттеу, автономды кодтау, күрделі агент жұмыс ағындары, бизнес автоматтандыру және жоспарлау, құралдар, тексеру мен қалпына келтіруді қажет ететін тапсырмаларда ең күшті.

Claude Fable 5.1-ге қалай қол жеткізуге болады?

Claude Fable 5.1 CometAPI-де тізімделген және модель ID claude-fable-5-1. Бірыңғай эндпоинт өндірістік бағытты таңдауға дейін бірдей бағалау жұмыс жүктемесін бірнеше модельде іске қосуды ыңғайлы етеді.

Оқуды жалғастыру

Осы мақаланы келесі шешіммен байланыстырыңыз.

Барлық тақырыптарды көру
Жарияланды Sep 17, 2026
Соңғы жаңарту Sep 17, 2026
35 көрілім
Түсініктілік, дереккөзге сілтеме және ағымдағы API терминологиясы бойынша тексерілді.

Толығырақ оқу