Benchmarki GPT-6 Astra: Co tak naprawdę mówią liczby

Podsumowanie

GPT-6 Astra osiąga wyjątkowe wyniki w nagłówkach. Największe zyski pojawiają się tam, gdzie rozumowanie musi zostać przekształcone w działanie: operacje w terminalu, korzystanie z oprogramowania, automatyzacja, przywoływanie informacji z długiego kontekstu, przepływy naukowe i cyberbezpieczeństwo. W już nasyconych testach akademickich poprawa względem poprzedniej generacji OpenAI bywa dużo mniejsza.

Model łączy okno kontekstowe o 1 050 000 tokenach z szeroką obsługą narzędzi. Opublikowane przez OpenAI benchmarki wykonania sugerują, że praktyczna poprawa jest najsilniejsza w pracy o długim horyzoncie, ale konstrukcja harnessu, wysiłek rozumowania, opóźnienie i dostęp do narzędzi w istotny sposób wpływają na wynik.

Kluczowe wnioski

• Najbardziej wyraźne zyski Astry dotyczą agentowego wykonania, a nie każdej formy odpowiadania na pytania.
• Wyniki Terminal-Bench, AutomationBench, computer-use i migracji baz danych pokazują znacznie większy ruch niż GPQA czy DeepSWE.
• Wynik ARC-AGI-3 pokazuje, że stan modelu, zarządzanie kontekstem i harness ewaluacyjny mogą zdominować wynik końcowy.
• Duże okno kontekstowe ma znaczenie tylko wtedy, gdy informacje pozostają możliwe do odzyskania blisko limitu; MRCR jest bardziej informatywny niż sama reklamowana pojemność.
• Wyższe ceny za token nie muszą oznaczać wyższych kosztów zadania, jeśli model potrzebuje mniej tokenów, tur, ponowień lub poprawek przez człowieka.
• Decyzje produkcyjne powinny jednocześnie porównać współczynnik sukcesu, czas wykonania, łączny koszt, niezawodność narzędzi i ciężar korekt.

GPT-6 Astra w skrócie

OpenAI określa do 128 000 tokenów wyjściowych, wejście tekstowe i obrazowe, wyjście tekstowe oraz wysiłek rozumowania od low do max. Te specyfikacje umożliwiają duże, wieloetapowe przepływy, ale nie dowodzą, że model przywoła właściwe dowody ani rzetelnie ukończy zadanie.

Limit kontekstu mierzy pojemność, nie użyteczną pamięć. Lista narzędzi mierzy dostępność, nie udane wykonanie. Potrzebne są benchmarki, aby sprawdzić, czy te specyfikacje przekładają się na ukończoną pracę.

Co pokazują wyniki benchmarków GPT-6 Astra?

Portfolio wykazuje nierówny wzorzec. Astra ledwie wyprzedza Sol w niektórych testach akademickich i rozumowania oprogramowania, a jednocześnie uzyskuje dwucyfrowe zyski w pracy terminalowej, automatyzacji, migracji baz danych, interakcji wizualnej, przywoływaniu z długiego kontekstu i matematyce zaawansowanej.

Wyłaniają się trzy klastry. Po pierwsze, różnice 1.4 punktu w DeepSWE i GPQA wskazują na ograniczony ruch inkrementalny w zadaniach, gdzie mocne modele już wypadają dobrze. Po drugie, zyski powyżej 20 punktów w Terminal-Bench, AutomationBench, migracji baz danych i przywoływaniu przy milionie tokenów pokazują dużo większą zmianę w wykonaniu. Po trzecie, ARC-AGI-3 to przypadek odstający, którego interpretacja zależy od harnessu.

Wyniki niezależnych testów

Artificial Analysis raportuje Astrę i Sol na poziomie około 61 w Intelligence Index, przy wyraźniejszym wzroście w Coding Agent Index. To niezależnie wzmacnia wzorzec z danych OpenAI: największa poprawa koncentruje się na agentowym wykonaniu.

Przy max effort w harnessie Codex Astra podobno używa około jednej trzeciej tokenów względem Sol w Coding Agent Index. Zużycie tokenów w Intelligence Index spada tylko o około 10%. Ponieważ stawka za token Astry jest wyższa, te dwa profile efektywności tworzą różną ekonomię.

Żaden niezależny benchmark nie certyfikuje produkcyjnej faktualności ani bezpieczeństwa. Zespoły powinny osobno oceniać poprawne odpowiedzi, uzasadnioną niepewność, niepoparte twierdzenia i naruszenia ograniczeń źródłowych.

Dlaczego Astra lepiej nadaje się do długohoryzontowej pracy agentowej?

GPT-6 Astra dodaje trzy sterowania zaprojektowane do pracy, która ulega zmianie w trakcie wykonywania. Niezawodność długotrwałego działania zależy także od całego systemu kontekstu: okno kontekstowe określa pojemność; kompaktowanie kontroluje kondensację starszego materiału; utrwalone rozumowanie przenosi istotny stan modelu; przywoływanie utrzymuje wcześniejsze dowody w zasięgu wyszukiwania; a aplikacja musi zachować ważne wyjścia narzędzi, wyniki testów, nieudane podejścia i wymagania użytkownika. Te mechanizmy należy testować razem z harnessami agenta.

• Async tool calling: Astra może kontynuować niezależne rozumowanie lub wywoływać inne narzędzia, gdy aplikacja wykonuje długo działające narzędzie.
• Mid-turn steering: aplikacja może wysłać korektę lub nowe wymaganie przez WebSocket bez odrzucania ukończonej pracy.
• Mid-conversation reasoning adjustment: aktualizacja konfiguracji może podnieść lub obniżyć wysiłek rozumowania przy zachowaniu zcache’owanego prefiksu promptu.

Gdzie GPT-6 Astra faktycznie się poprawia

Kodowanie agentowe: praca w terminalu to większy skok

Terminal-Bench 4.0 ocenia, czy agent potrafi przejść przez trudne zadania terminalowe, a nie tylko wygenerować izolowaną odpowiedź kodową. Astra osiąga 57.9%, o 20.6 punktu procentowego więcej niż Sol i o 2.1 punktu więcej niż Fable. To znaczna poprawa między generacjami dla OpenAI, ale dużo węższa przewaga nad innym systemem agentowym z czołówki.

DeepSWE opowiada inną historię: 74.1% dla Astry i 72.7% dla Sol. Różnica 1.4 punktu przestrzega przed uogólnianiem z jednego benchmarku kodowania. Astra wydaje się zyskiwać najbardziej, gdy kodowanie wymaga interakcji ze środowiskiem, iteracji, zachowania stanu i weryfikacji.

Database Migration Tasks wzmacnia tę interpretację. Wynik 63.9% jest o 21.2 punktu wyższy niż Sol i o 6.1 punktu wyższy niż Fable. Prace migracyjne łączą rozumienie kodu, korzystanie z narzędzi, sekwencjonowanie i osąd operacyjny—rodzaj złożonego przepływu, w którym niewielkie ulepszenia rozumowania mogą akumulować się w znacznie większe zyski w ukończeniu.

Dla agentów kodujących oceniaj model i harness razem. Instrukcje repozytorium, narzędzia terminalowe, zachowanie ponowień, zachowanie kontekstu i wykonanie testów wszystkie wpływają na mierzony wynik.

Użycie komputera: liczą się i skuteczność, i czas wykonania

W Agents’ Last Exam GPT-6 Astra uzyskuje 59.3%, w porównaniu z 53.6% dla GPT-5.6 Sol: wzrost o 5.7 punktu procentowego. To dodaje szerszy wynik zadania agentowego do wyników OSWorld 2.0 i ScreenSpot-Pro w przeglądzie benchmarków powyżej.

Poza dokładnością, porównanie czasu wykonania w OSWorld dodaje kolejny praktyczny wymiar: OpenAI raportuje około 40 minut na zadanie dla Astra wobec około 75 minut dla Sol, czyli ~47% mniej czasu całkowitego przy jednoczesnym wzroście sukcesu zadań.

Agent, który nieco częściej odnosi sukces i kończy dużo szybciej, może zapewnić duże zwiększenie przepustowości. Testy zakupowe powinny więc raportować współczynnik sukcesu, czas wykonania, wywołania narzędzi, ponowienia i interwencje ludzi—nie tylko dokładność.

Automatyzacja i praca profesjonalna

AutomationBench wzrasta z 18.1% do 41.4%, zysk o 23.3 punktu. Bezwzględny wynik jest wciąż daleki od ideału, ale zmiana profilu błędów jest bardziej znacząca niż ruch o punkt w pobliżu nasycenia. W BenchCAD Astra osiąga 95.9%, prowadząc nad Sol o 12.6 punktu i nad Fable o 11.6 punktu.

Te wyniki wspierają konkretną tezę: Astra lepiej przekształca instrukcje w sekwencje zwalidowanych działań. Nie dowodzą równych zysków dla każdego przepływu biznesowego. Proces produkcyjny może wprowadzić kroki uwierzytelniania, własne interfejsy, niejednoznaczne polityki lub formaty danych nieobecne w benchmarku.

Nauka

Nauka to jeden z najbardziej wyraźnych zysków zdolności Astry. W FrontierMath Tier 4 v2 Astra osiąga 97.6%, w porównaniu z 83.0% dla Sol i 87.8% dla Fable. Przewaga 14.6 punktu nad Sol jest znaczna, choć benchmark obejmuje wybrany rozkład zadań, a nie pełen przepływ prac naukowych.

Cyberbezpieczeństwo

Cyberbezpieczeństwo to drugi duży zysk, o większej wadze niż zwykłe przesunięcie na tabeli wyników. W ExploitBench obejmującym czerwiec–sierpień 2026 Astra uzyskuje 39.0% względem 5.5% Sol. OpenAI raportuje, że ten nowszy zestaw celuje w podatności z trzech poprzednich miesięcy, aby ograniczyć ekspozycję historyczną. W ocenie cyberbezpieczeństwa OpenAI Astra wykazała zdolność do odkrycia i wykorzystania dwóch wcześniej nieznanych podatności dnia zerowego podczas kontrolowanych testów. Jest to ważne, ponieważ ocena została zaprojektowana wokół niedawno ujawnionych podatności, a nie dawnych problemów bezpieczeństwa, co ogranicza możliwość, że wynik był po prostu efektem zapamiętanych przykładów. Wynik przyczynił się do osiągnięcia przez Astrę poziomu krytycznej zdolności cyberbezpieczeństwa w OpenAI i w konsekwencji zmienia wymagane zabezpieczenia przy wdrożeniu. Znaczenie polega nie na tym, że Astra może autonomicznie prowadzić nieograniczone operacje cyber, lecz że jej poziom zdolności zmienia wymagania wobec zabezpieczeń wdrożeniowych. Systemy o silniejszej zdolności wykrywania i eksploatacji podatności wymagają ostrzejszych kontroli dostępu, monitorowania, sandboxingu i mechanizmów przeglądu przez człowieka.

Zadania długotrwałe: okno kontekstowe to nie cała historia

Okno kontekstowe Astry o 1,050,000 tokenach opisuje pojemność, nie ciągłość. Wydajność przy długim działaniu zależy również od kompaktowania, utrwalonego stanu, możliwości przywoływania wcześniejszego kontekstu, zachowania stanu rozumowania oraz zachowania wyjść narzędzi. W MRCR v2 Astra uzyskuje 100.0% przy 256K–512K i 96.3% przy 512K–1M, podczas gdy Sol notuje 91.5% i 73.8%. Różnica 22.5 punktu w najdłuższym zakresie pokazuje, że użyteczne przywoływanie blisko limitu liczy się bardziej niż sama reklamowana pojemność.

MRCR pozostaje syntetycznym testem przywoływania, więc ewaluacja produkcyjna powinna zachowywać dowody, które streszczenia często tracą: dlaczego wcześniejsza poprawka się nie powiodła, zachowanie konkretnego komponentu, wyniki testów, historyczne wymagania i szczegóły ukryte w wyjściach narzędzi. Repozytoria i archiwa badawcze należy też testować pod kątem zduplikowanych nazw, odniesień krzyżowych, nieaktualnych polityk, sprzecznych źródeł i długich odcinków rozpraszających. To rozdziela surową pojemność kontekstu od zachowania zachowania kontekstu i przywoływania, którego faktycznie potrzebuje agent długohoryzontowy.

Preservacja kontekstu: dlaczego Astra różni się od tradycyjnych systemów z długim kontekstem

Tradycyjne przepływy z długim kontekstem zwykle podążają schematem:

context → compaction → summary → continue

To podejście zmniejsza użycie tokenów, ale wprowadza krytyczne ryzyko: ważne informacje pośrednie mogą zniknąć podczas streszczania.

Utracone informacje często nie są samą odpowiedzią końcową, lecz operacyjnymi szczegółami wymaganymi w przyszłych decyzjach:

• dlaczego poprzednia poprawka się nie powiodła;
• który komponent wykazywał nieprawidłowe działanie;
• który wynik testu zmienił kierunek implementacji;
• które wymaganie użytkownika dodano później;
• który wynik narzędzia zawierał ważny dowód.

GPT-6 Astra adresuje to ograniczenie, łącząc mechanizmy zachowania kontekstu i przywoływania wewnątrz długotrwałych przepływów agentowych.

Zamiast polegać wyłącznie na skompresowanych streszczeniach, system może zachowywać ważne notatki, przywoływać wcześniejsze informacje, gdy są potrzebne, i utrzymywać ciągłość między wieloma interakcjami z narzędziami.

Dla agentów kodujących takich jak Codex oznacza to, że długie zadanie debugowania może zachować:

• poprzednie nieudane eksperymenty;
• zmiany w repozytorium;
• wyjścia testów;
• decyzje architektoniczne;
• nierozwiązane problemy.

Dlatego wartość okna kontekstowego Astry o 1M tokenów to nie tylko ilość informacji, którą może przyjąć, ale to, czy system potrafi zachować i odzyskać właściwe informacje po godzinach interakcji.

Rozumowanie i interpretacja

ARC-AGI-3: szkielet ewaluacyjny jest częścią wyniku

ARC-AGI-3 dostarcza najjaśniejszej demonstracji, że czołowy benchmark może mierzyć system, a nie izolowany model. ARC Prize raportuje 62.7% ze Standard Harness przy max effort i 99.9% z Provider Adapter przy high effort.

Porównanie ARC Prize sprawności działań Astry w różnych harnessach ewaluacyjnych

Polityka provider-neutral harness wymaga, aby model zachowywał ważne informacje w widocznym stanie. Provider Adapter zachowuje dodatkowy stan rozumowania i korzysta z zarządzania kontekstem specyficznego dla dostawcy. W parach wspólnie rozwiązanych gier-rozumowania ARC Prize raportuje 3.66× szybsze wykonanie i 49% mniej tokenów łącznie z adapterem.

Wynik 99.9% mierzy konkretny system model–provider–adapter i nie powinien być traktowany jako niezależna od harnessu miara surowej inteligencji modelu. Architektura kontekstu jest częścią systemu poddanego benchmarkowi.

Wysiłek rozumowania nie skaluje się liniowo

Tabela ARC pokazuje także, że maksymalny wysiłek nie zawsze daje najwyższy wynik. High effort osiąga 99.9% z Provider Adapter, podczas gdy max osiąga 98.6%. W Standard Harness najlepsze jest max.

OpenAI zauważa, że liczby w tabeli premierowej zwykle używają najlepiej zaobserwowanego ustawienia wysiłku rozumowania. To podejście szacuje pułap wydajności, ale nie identyfikuje najlepszej konfiguracji produkcyjnej. Zespoły powinny przetestować kilka poziomów wysiłku i obliczyć marginalny przyrost jakości na każdą dodatkową sekundę i dolara.

Matematyka i rozumowanie akademickie

FrontierMath Tier 4 v2 wzrasta z 83.0% do 97.6%, zysk o 14.6 punktu. To duża poprawa w benchmarku, ale nie dowód, że matematyka na froncie została rozwiązana. Ewaluacja obejmuje wybrany rozkład zadań i nie mierzy każdego etapu badań matematycznych, w tym wyboru problemów, formalnej weryfikacji dowodów, długoterminowego rozwoju programu czy adwersarialnej recenzji.

GPQA Diamond daje odwrotny wzorzec: 96.0% dla Astry, 94.6% dla Sol, 93.7% dla Fable i 95.3% dla Gemini 3.8 Flash. Modele skupiają się blisko sufitu. Raportowanie różnicy 1.4 punktu Astra–Sol jest poprawne, ale nazwanie tego szeroką rewolucją inteligencji byłoby nadinterpretacją.

Zdolność krytyczna + zabezpieczenia

OpenAI utworzyło ExploitBench (June–August 2026) z podatności ujawnionych w ciągu trzech poprzednich miesięcy, ograniczając szansę, że ekspozycja historyczna zawyży wynik. Astra osiąga 39.0% na tym zbiorze wobec 5.5% Sol, a OpenAI raportuje, że Astra znalazła i wykorzystała dwie wcześniej nieznane podatności dnia zerowego. Te wyniki przyczyniły się do tego, że Astra stała się pierwszym szeroko wdrożonym modelem OpenAI, który osiągnął próg krytycznej zdolności cyberbezpieczeństwa, co bezpośrednio wpłynęło na zabezpieczenia i politykę dostępu.

Jak czytać wyniki blisko nasycenia

Wyniki powyżej 90% wymagają bardziej ostrożnego języka niż wyniki ze środka skali. Przejście z 50% do 60% rozwiązuje dziesięć dodatkowych zadań na sto. Przejście z 95% do 96% rozwiązuje tylko jedno dodatkowe zadanie na sto, choć redukuje pozostałą liczbę błędów z pięciu do czterech—o 20%. Oba opisy są matematycznie poprawne, ale wspierają bardzo różne nagłówki.

Odwrotna ostrożność dotyczy benchmarków o niskich wynikach. Wzrost z 18.1% do 41.4% pozostaje daleko od niezawodnej autonomicznej pracy, ale ponad dwukrotnie zwiększa liczbę udanych przypadków i może przekształcić nadzorowany przepływ. Bezwzględny wynik decyduje, czy system jest gotowy; rozmiar poprawy wskazuje, jak szybko zmienia się zdolność. Decyzje produkcyjne potrzebują obu.

Porównanie wielowymiarowe

Wynik jest zależny od obciążenia. Astra jest najbardziej przekonująca, gdy zadanie wymaga utrzymanej interakcji z narzędziami i środowiskami, odtworzenia po porażce lub niezawodnego przywoływania w bardzo dużych kontekstach. Sol może pozostać bardziej ekonomiczny dla ograniczonej pracy z umiarkowanym kontekstem i niewielką iteracją. Fable jest bliskim konkurentem w pracy terminalowej i prowadzi w niektórych zewnętrznych ewaluacjach akademickich, więc benchmark na poziomie aplikacji jest bardziej użyteczny niż wniosek na poziomie dostawcy.

Kto powinien używać GPT-6 Astra?

Czy wzrost wydajności GPT-6 Astra uzasadnia wyższą cenę?

GPT-6 Astra jest istotnie droższa niż GPT-5.6 Sol, ale poprawy w benchmarkach nie rozkładają się równomiernie między obciążeniami. Pytania o ceny nie da się więc rozstrzygnąć przez samo porównanie stawek za token.

W stawkach OpenAI Standard GPT-6 Astra kosztuje $10 za milion tokenów wejścia, $1 za milion tokenów wejścia z cache, $12.50 za milion tokenów zapisów do cache i $50 za milion tokenów wyjścia. Standardowe stawki wejścia i wyjścia są 2.5× względem $4 i $20 dla GPT-5.6 Sol. Gdy żądanie przekracza 272K tokenów wejściowych, stawki wejścia i cache Astry podwajają się, a stawka wyjścia rośnie o 1.5× dla całego żądania.

Premia cenowa najczyściej pokrywa się z pracą agentową. Astra zyskuje ponad 20 punktów w Terminal-Bench, AutomationBench, migracji baz danych i najdłuższym zakresie MRCR; niezależne testy raportują także około jedną trzecią zużycia tokenów Sol w Coding Agent Index. Dopasowanie jest słabsze w szerokim rozumowaniu, gdzie Intelligence Index jest niemal remisowy, a zużycie tokenów spada tylko o około 10%. Decyzja zakupowa powinna więc porównać koszt na udane zadanie, uwzględniając wyjście, aktywność cache, użycie narzędzi, czas wykonania, ponowienia, porażki i korekty przez człowieka.

Koszt na udane zadanie

Koszt na udane zadanie = (Koszt wejścia + Koszt wyjścia + Koszt narzędzi + Koszt ponowień + Koszt przeglądu przez człowieka) / Udane zadania

Oczekiwany koszt biznesowy

Oczekiwany koszt biznesowy = Koszt API + Koszt narzędzi + Koszt ponowień + Koszt przeglądu przez człowieka + Koszt porażek

Metryka decyzyjna powinna być całkowity koszt podzielony przez udane zadania, oceniony na akceptowalnym progu jakości—nie cena katalogowa za milion tokenów.

Jak deweloperzy powinni benchmarkować Astrę

Publiczne listy rankingowe powinny wskazywać, co warto testować, a nie decydować o ostatecznym wdrożeniu. Zbuduj reprezentatywny zestaw zadań z przypadkami rutynowymi, trudnymi, brakującym kontekstem, awariami narzędzi i instrukcjami adwersarialnymi. Używaj tego samego promptu produkcyjnego, uprawnień, plików źródłowych, budżetu czasu i kryteriów ukończenia dla każdego modelu.

API Astry w CometAPI używa ID modelu gpt-6-astra. Wielomodelowe API ułatwia uruchomienie tej samej ewaluacji dla Astry, Sol, Fable i Gemini bez przeprojektowywania benchmarku pod tabelę wyników jednego dostawcy. Kieruj wymagające zadania agentowe do modelu, który zasługuje na swoją premię, a tańsze modele stosuj tam, gdzie mierzalna przewaga zanika.

Wnioski

Arkusz benchmarków Astry jest imponujący, ale najbardziej spektakularne wyniki nie są automatycznie najbardziej użyteczne. ARC-AGI-3 pokazuje potencjał dostawco-specyficznego harnessu agenta; wynik w Standard Harness pokazuje, jak silnie infrastruktura się liczy. GPQA i niezależny Intelligence Index pokazują, że zwyczajne zyski w rozumowaniu mogą być skromne. Praca terminalowa, automatyzacja, użycie komputera, przywoływanie z długiego kontekstu, przepływy naukowe i cyberbezpieczeństwo opowiadają ważniejszą historię.

Premiera dotyczy mniej czatu-bota, który proporcjonalnie mądrzeje przy każdym pytaniu, a bardziej inteligencji z czołówki, która lepiej kończy pracę. To, czy warto za tę poprawę zapłacić, zależy od całej konfiguracji systemu modelowego i ekonomii udanych zadań produkcyjnych.