GPT-5.5 vs Claude Sonnet 4.6 vs Gemini 3.1 Pro: Hvad ingen benchmark fortæller dig

Der er en særlig slags møde, der finder sted i alle teams, der bygger oven på frontier-LLM’er. En deler den seneste benchmark-rangliste. En anden påpeger, at placeringerne har byttet rundt siden sidste måned. En tredje bemærker, at den model, teamet lige nu bruger, er faldet to pladser på en metrik, ingen af dem havde hørt om for tre uger siden. Ved slutningen af mødet er ingen sikre på, om de skal migrere, og samtalen bliver booket igen til næste kvartal.

Problemet med det møde er ikke menneskerne i det. Det er, at benchmarks måler syntetiske opgaver, og jeres produkt er ikke en syntetisk opgave. Ranglisten fortæller dig, hvordan en model præsterer på MMLU, på SWE-bench Verified, på GPQA Diamond — tests designet af forskere til at være målbare på tværs af modeller. Ingen af de tests ligner de prompts, din applikation faktisk sender i produktion. Ingen af dem fanger, hvordan en model håndterer den specifikke slags rodede, domænespecifikke input, som dine brugere genererer.

Denne artikel går trin for trin gennem netop den øvelse, som benchmarks ikke kan. Tre konkrete prompts, designet til at blive sendt til GPT-5.5, Claude Sonnet 4.6 og Gemini 3.1 Pro via samme OpenAI-kompatible endpoint, med samme temperature-indstillinger og uden ekstra prompting. Prompterne dækker tre kategorier, der berører de fleste produktionsarbejdsbelastninger: struktureret ekstraktion fra et rodet dokument, en planlægningsopgave med tung ræsonnering og kodegenerering under begrænsninger. Observationerne nedenfor er de adfærdsmønstre, som teams, der kører denne slags sammenligning, konsekvent rapporterer — de mønstre, du selv vil se, hvis du kører disse prompts på din egen opsætning.

På ranglisterne ligger disse tre modeller inden for 0,8 procentpoint af hinanden på SWE-bench Verified. I praksis opfører de sig meget forskelligt. Valget mellem dem handler ikke om, hvem der scorer højest på benchmarks — men om hvilket adfærdsmønster der passer til din arbejdsbelastning.

Hvad benchmarks måler, og hvad de overser

Benchmarks findes, fordi de er nødvendige. Modeludbydere har brug for standardiserede tests til at underbygge kapabilitets-udsagn, forskere har brug for dem til at publicere sammenligninger, og vi andre har brug for dem som objektivt udgangspunkt for at evaluere modeller. De er nyttige. De er også ufuldstændige på måder, der betyder noget i produktion.

Tre specifikke begrænsninger er værd at være eksplicit omkring, for hver af dem dukker op i prompt-eksemplerne nedenfor.

• Benchmarks måler isolerede kapabiliteter, ikke adfærdsmønstre. SWE-bench Verified fortæller dig, om en model kan løse en bestemt slags GitHub-issue. Den fortæller dig ikke, om modellen har tendens til at over-engineere simple problemer, om den stiller afklarende spørgsmål, når prompten er tvetydig, eller om den leverer output, der matcher den struktur, du bad om, i første forsøg. Det er de ting, du dagligt vil observere i produktion.
• Benchmarks bliver tunet til. Når en modeludgivelse fremhæver sin score på et bestemt benchmark, er det et signal om, at modellen i det mindste delvist er blevet optimeret til det benchmark. Performance i virkeligheden og på benchmarks kan afvige — nogle gange betydeligt — når modellen forlader de betingelser, benchmarken er designet til.
• Benchmarks aggregerer. En forskel på 0,8 procentpoint i SWE-bench Verified-score kan skjule, at Model A er meget bedre på én specifik opgavekategori og dårligere på en anden, mens Model B er jævn hele vejen. Aggregering kollapser den information, du behøver for at træffe en beslutning.

Øvelsen nedenfor er designet til at synliggøre netop den slags information, benchmarks aggregerer væk. Pointen er ikke at kåre en vinder — men at vise dig de spørgsmål, du bør stille, når du kører den samme øvelse på dine egne prompts.

Opsætningen

Tre prompts, valgt fordi de matcher kategorier, som de fleste produktionsarbejdsbelastninger rammer. Opsætningen: hver prompt sendes til alle tre modeller med identiske parametre (temperature 0,3, ingen overskrivning af systemprompt, standard responsformat), tilgået via et enkelt OpenAI-kompatibelt endpoint, så sammenligningen forbliver lige-for-lige — ingen udbyderspecifikke SDK-særheder, ingen forskellige parametermappinger, ingen risiko for, at én model får særbehandling pga. måden forespørgslen er konstrueret på.

Prompterne selv er nedenfor som kodeblokke, du kan kopiere og køre. Adfærdsbeskrivelserne, der følger efter hver, er de mønstre, teams konsekvent rapporterer, når de kører denne slags sammenligning — mønstre dokumenteret på tværs af flere tredjepartsstudier i 2026, og den slags, du bør forvente at se selv, når du kører disse prompts på din egen opsætning. At køre det selv er pointen; artiklen giver dig rammen og startprompterne til at gøre det.

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["COMET_API_KEY"],  # or replace with your API key
    base_url="https://api.cometapi.com/v1",  # one endpoint, multiple models
)

MODELS = [
    "gpt-5.5",
    "claude-sonnet-4-6",
    "gemini-3.1-pro",
]


def run_comparison(prompt: str, temperature: float = 0.3) -> dict[str, str]:
    """
    Send the same prompt to all three models and return their responses.
    """
    responses = {}

    for model in MODELS:
        result = client.chat.completions.create(
            model=model,
            messages=[
                {
                    "role": "user",
                    "content": prompt,
                }
            ],
            temperature=temperature,
        )

        responses[model] = result.choices[0].message.content

    return responses


# Example usage
if __name__ == "__main__":
    prompt = "Summarise the key risks in this contract."

    outputs = run_comparison(prompt)

    for model, response in outputs.items():
        print(f"\n--- {model} ---")
        print(response)

Prompt 1: Struktureret ekstraktion fra et rodet dokument

Dette er basisopgaven for halvdelen af de LLM-funktioner, der blev sendt i 2026. Tag et ustruktureret input — en e-mail, en supportticket, et mødereferat, en scannet formular — og udtræk specifikke felter i et struktureret objekt. Prompten nedenfor beder hver model om at udtrække syv felter fra en bevidst rodet kundesupport-e-mail med delvis information, modstridende signaler og ét felt, der slet ikke findes i kildeteksten.

Prompten

You are processing customer support emails. Extract the followingseven fields from the email below into a JSON object with exactlythese keys: - customer_name (string)- order_id (string)- issue_type (one of: "shipping", "product_quality", "billing",  "returns", "other")- urgency (one of: "low", "medium", "high")- requested_action (string)- affected_product (string)- escalation_history (any prior contact about this issue, if mentioned) 

Email:---Hi there, I'm writing about order #FT-2289334 from last Tuesday. The Cascadehiking boots I received are NOT the size 11 I ordered — they'reclearly size 10 (I can see the label inside). I have a guided trekbooked in 5 days and I genuinely don't know what to do. I've beena customer for years and this is the first time something likethis has happened. Can you sort this out urgently? I'd prefer a same-day exchange ifat all possible. I'm in Manchester. Margaret W.--- Return only the JSON object. No commentary, no markdown code fences.

Hvad du skal holde øje med

Tre ting. For det første om modellen overholder det ønskede JSON-skema uden at opfinde noget. For det andet hvordan modellen håndterer feltet, der ikke findes i kilden (escalation_history — kunden nævner ingen tidligere kontakt om dette specifikke problem) — indrømmer den fravær, eller fabrikerer den noget plausibelt? For det tredje om modellen producerer yderligere kommentarer uden for JSON, hvilket kræver nedstrøms parsing for at strippe wrapperen. Feltet for urgency er også værd at notere: “5 dage” er ikke øjeblikkeligt, men kunden er tydeligt bekymret, hvilket giver plads til fortolkning.

Hvad teams, der kører dette, konsekvent rapporterer

GPT-5.5. Leverer typisk ren JSON i første forsøg. Skemaoverholdelsen er stærk; hvert ønsket felt er til stede, og formatet kan parses uden forbehandling. For manglende felter returnerer GPT-5.5 ofte en eksplicit null. Den omslutter som regel ikke JSON i markdown-kodeblokke og inkluderer ikke forklarende prosa, hvilket gør nedstrøms parsing triviel. Ved tvetydige fortolkningsvalg som vurdering af urgency her, er GPT-5.5 ofte mere konservativ end de to andre — hvor Claude og Gemini måske vurderer ticketen som “high” baseret på kundens følelsesmæssige tone, forankrer GPT-5.5 ofte i de konkrete 5 dage og lander på “medium”.

Claude Sonnet 4.6. Producerer også ren JSON og er typisk den mest præcise af de tre i at følge det ønskede skema. Hvor GPT-5.5 lader et manglende felt være null, tilføjer Claude ofte uanmodede felter, der flagger datakvalitetsproblemer — en “notes”- eller “data_quality_notes”-nøgle, som ikke blev bedt om, men som indeholder reelt nyttig information. Det ekstra felt er nyttigt for menneskelige reviewere, men forårsager fejl, hvis din nedstrøms parser er streng omkring skemaet. Dette er et tilbagevendende mønster med Claude: høj kvalitet, men nogle gange mere grundig end prompten bad om, hvilket kræver eksplicitte prompt-instruktioner for at begrænse.

Gemini 3.1 Pro. Leverer typisk det mest økonomiske output af de tre. Alle ønskede felter, ingen ekstra felter, ingen omgivende prosa. Skemaoverholdelsen er præcis som anmodet. Den ene særhed, der er værd at kende: For manglende felter returnerer Gemini ofte en tom streng i stedet for null. Strenge JSON-parsere, der skelner mellem disse, vil fange forskellen; løse parsere vil ikke. Adfærden er tilstrækkelig konsistent på tværs af kørsler til, at det ligner en modelpræference frem for en artefakt.

Hvad dette fortæller dig

Alle tre modeller kan lave struktureret ekstraktion. Forskellene ligger i adfærds-margenen omkring det ønskede skema. Hvis dit nedstrøms system er strengt omkring skemaet og behand­ler ekstra felter som fejl, er Gemini 3.1 Pro og GPT-5.5 de sikrere valg. Hvis du vil have, at modellen selv fremhæver datakvalitetsproblemer uden at blive bedt om det, er Claude Sonnet 4.6 mere hjælpsom. Intet af dette fremgår af et benchmark.

Prompt 2: En planlægningsopgave med tung ræsonnering

Denne prompt beder modellerne planlægge en flertrins undersøgelse: et forskningsspørgsmål med tre implicitte begrænsninger, som en omhyggelig model bør identificere, før arbejdet sekvenseres. Den slags opgave, en agentisk applikation ville delegere til en LLM som planlægningsskridt, før der overhovedet bruges værktøjer.

Prompten

I'm trying to answer this research question for my team: "Is our customer churn rate higher among users who haven't usedfeature X in the last 30 days?" Produce a plan for how to investigate this. The plan should:- Identify the steps required- Sequence them with dependencies- Be actionable for a data analyst on my team Return the plan in clear, structured form.

De implicitte begrænsninger, der er værd at holde øje med: Spørgsmålet definerer aldrig, hvad “churn” betyder (kontolukning? ingen logins? ingen køb?), det specificerer ikke, hvordan der skal kontrolleres for confoundere (brugere med lavt engagement churner af mange grunde, som ikke relaterer sig til feature X), og det etablerer ikke en baseline-sammenligningsgruppe. En omhyggelig planlægger bør synliggøre alle tre, før den producerer trinene.

Hvad du skal holde øje med

Om modellen reelt ræsonnerer sig gennem problemet eller producerer en plausibel trinsekvens, som ikke hænger sammen ved nærmere eftersyn. Om den identificerer de implicitte begrænsninger uden at få dem fortalt. Og om afhængighederne mellem trinene er korrekte — en plan, der ser fin ud, men har trin tre afhængig af et resultat, som trin fem først ville producere, er ubrugelig i praksis.

Hvad teams, der kører dette, konsekvent rapporterer

GPT-5.5. Leverer typisk den mest operationelt anvendelige plan. Ræsonneringen er synlig — GPT-5.5 oplister sine antagelser om de implicitte begrænsninger (churn-definition, kontrolgruppe, confoundere), før den lægger trinene frem, hvilket gør det let at se, hvor dens fortolkning afviger fra det intenderede. Trinafhængigheder identificeres og mærkes pålideligt. Outputtet inkluderer ofte en sektion, der markerer, hvilke trin der kan paralleliseres, hvilket ikke blev bedt om, men tilfører reel værdi. Det er den slags opgave, hvor GPT-5.5’s værktøjsbrug og agentiske træning træder frem — planlægningsadfærden formes af antagelsen om, at nedstrøms eksekvering følger.

Claude Sonnet 4.6. Leverer typisk den mest eftertænksomme plan i bogstavelig forstand — Claude inkluderer ofte overvejelser, som de to andre ikke nævner. Ved et spørgsmål som dette vil Claude sandsynligvis påpege metodiske forhold som korrelation vs. kausalitet, notere at “har ikke brugt feature X” i sig selv kan være et symptom på churn snarere end en årsag, og eksplicit identificere begrænsninger, der ikke blev gjort eksplicitte, men som en omhyggelig analytiker bør spotte. Ulempen: Planen kan være længere end nødvendigt, og enkelte trin er nogle gange over-engineerede i forhold til det faktiske spørgsmål. Mønsteret er konsistent med Claudes adfærd andre steder — ekspertmæssig omhu, nogle gange mere end opgaven kræver.

Gemini 3.1 Pro. Leverer typisk den mest klart strukturerede plan med det tydeligste afhængighedsgraf. Ræsonneringskvaliteten er høj — Gemini identificerer pålideligt de implicitte begrænsninger, dekomponerer problemet i en forsvarlig sekvens og producerer trin-for-trin-instruktioner, der faktisk kan eksekveres. Ulempen: Planen kan læses som lidt mekanisk. Den løser opgaven, men tenderer ikke mod at synliggøre de metodologiske finesser, Claude rejser, eller de paralleliseringsindsigter, GPT-5.5 inkluderer. Det matcher Geminis bredere mønster — stærk på ræsonneringskvalitet, mere håndværksmæssig på de omgivende skøn.

Hvad dette fortæller dig

Ræsonneringskvaliteten på denne opgave er høj på tværs af alle tre modeller. Forskellene ligger i den omgivende adfærd — hvad modellen tilføjer ud over den bogstavelige anmodning. GPT-5.5 tilføjer operationel pragmatik (parallelisering, eksekveringshint). Claude tilføjer ekspertmæssig omhu (metodologi, edge cases, statistiske nuancer). Gemini tilføjer klarhed og koncision. Ingen af disse er forkerte valg. Hvilken der passer til din applikation, afhænger af, hvad du vil have modellen til at gøre, når den er færdig med den opgave, du bad om.

Prompt 3: Kodegenerering med specifikke begrænsninger

Denne prompt beder modellerne implementere en lille, men ikke-triviel funktion: en Python-funktion, der tager en liste af tidsstemplede events og returnerer det længste gap mellem på hinanden følgende events i sekunder, med håndtering af fire kanttilfælde. Begrænsningerne er eksplicitte; hensigten er at teste kodegenerering under begrænsninger snarere end kapabilitetsloft — alle modeller kan skrive denne funktion. Det, der varierer, er, hvordan de håndterer begrænsningerne.

Prompten

Write a Python function that takes a list of timestamped events andreturns the longest gap (in seconds) between consecutive events. Requirements:- Function signature: longest_gap(events: list[datetime]) -> float- Handle these edge cases:  1. Empty list (return 0.0 or raise — your choice, but be consistent)  2. Single event  3. Duplicate timestamps  4. Unsorted input- Use only the standard library- Include type hints- Return just the function. No tests or usage examples.

Hvad du skal holde øje med

Om modellen adresserer alle fire kanttilfælde eller tavst dropper nogle. Om type hints er præcise eller boilerplate. Om implementeringen vælger en forsvarlig algoritme (sortér, så scan) eller noget eksotisk. Og om modellen respekterer “ingen tests, ingen eksempler”-begrænsningen i slutningen af prompten — dette er den slags sen-prompt-instruktion, som modeller med stærk instruktionsfølgning vil efterleve, mens svagere stille og roligt overtræder den.

Hvad teams, der kører dette, konsekvent rapporterer

GPT-5.5. Leverer typisk den mest gennem-engineerede kode. Alle fire kanttilfælde håndteres med eksplicitte grene, type hints er præcise (ofte inkl. Optional eller Union for returnværdier i kanttilfælde), og en docstring med eksempelkald. Implementeringen vælger normalt den oplagte algoritme — sortér, scan, hold styr på max-gap — og er korrekt. Værd at vide: GPT-5.5 inkluderer ofte unit tests eller brugseksempler, selv når prompten eksplicit beder om kun funktionen. Det er trade-off’et med operationelt-pragmatiske modeller — de tilføjer det, de tror, du får brug for, selv når du beder dem lade være.

Claude Sonnet 4.6. Leverer typisk den mest læsbare kode. Funktionen er kortfattet, kanttilfælde håndteres med et rent guard‑clause‑mønster i toppen, type hints er præcise og minimale. Claude inkluderer ofte en eftertænksom kommentar, der forklarer et skøn, prompten overlod åbent — f.eks. at behandle duplikerede tidsstempler som nul-lange gaps og forklare hvorfor, hvilket er et forsvarligt valg, prompten ikke specificerede. Claude respekterer tendentielt “ingen tests”-begrænsningen mere pålideligt end GPT-5.5. Selve funktionen er den mest vedligeholdelige af de tre. Konsistent med Claudes ry for kodekvalitet: ren, idiomatisk, ekspertagtig.

Gemini 3.1 Pro. Leverer typisk den mest økonomiske kode af de tre. Funktionen er korrekt, kanttilfælde håndteres, implementeringen er den korteste. Docstring er som regel én linje. Type hints er til stede og korrekte. Geminis løsning inkluderer sjældent tests eller omfattende kommentarer og over-engineerer ikke — præcis det, prompten bad om. For en udvikler, der vil have en fungerende funktion og selv vil tilføje tests, er dette den mest direkte vej. For en udvikler, der vil have modellen til også at lave det omgivende arbejde, tilføjer de to andre mere (hvad enten du bad om det eller ej).

Hvad dette fortæller dig

Alle tre modeller kan skrive funktionen. Adfærdsforskellen ligger i, hvor meget omgivende arbejde hver model gør ud over den bogstavelige anmodning — og hvor godt hver respekterer eksplicitte “tilføj ikke X”-instruktioner. GPT-5.5 hælder mod grundighed, selv når grundigheden var fravalgt i prompten. Claude hælder mod håndværk (læsbar kode, eftertænksomme kommentarer om skøn). Gemini hælder mod økonomi (gør præcis det, der blev bedt om, ikke mere). For agentiske workflows, hvor modellens output går direkte ind i en produktionskodebase, afhænger den ønskede adfærd af, hvad din nedstrøms reviewproces forventer — og hvor strengt du behøver, at negative instruktioner følges.

De mønstre, der træder frem

På tværs af de tre prompts ovenfor fremkommer tre konsistente adfærdsmønstre fra sammenligningsstudierne og udviklerrapporterne, der blev publiceret i 2026. Dette er ikke kapabilitets-udsagn — hver model håndterer hver opgave på et højt niveau. Det er tendenser, den slags, man kun ser, når teams ser den samme model håndtere dusinvis af prompts. Kør prompterne ovenfor på din egen opsætning, og du vil se de samme mønstre; artiklen eksisterer for at give dig rammen for at genkende, hvad du ser på, når du gør det.

En vigtig bemærkning. Disse mønstre er tendenser, ikke regler. Hver model kan styres mod nogen af disse adfærdsmønstre med passende prompting — en tilstrækkelig detaljeret systemprompt får Gemini til at tilføje tests, eller begrænser Claude til minimumsoutput, eller får GPT-5.5 til at springe unit tests over. Pointen er, hvad hver model gør som standard, før du begynder at styre den. Standardadfærden er det, du lever med i produktion, medmindre du aktivt prompt’er imod den.

Sådan tester du på din egen arbejdsbelastning

Øvelsen ovenfor kan reproduceres på enhver arbejdsbelastning, og det bør den. Benchmark-scorer er nyttige som første filter, men de modeladfærdsmønstre, der betyder noget for din specifikke applikation, er kun synlige, når du ser modellerne håndtere dine specifikke prompts.

En praktisk guide til at køre øvelsen på din egen trafik:

1. Vælg tre repræsentative promptkategorier. Ikke tre tilfældige prompts — tre kategorier, der spænder over din arbejdsbelastning. De fleste produktionssystemer kan dekomponeres i en håndfuld prompttyper (ekstraktion, klassifikation, generering, ræsonnering, kode, opsummering). Vælg de kategorier, der står for størstedelen af din trafik.
2. Kuratér 20–30 eksempler pr. kategori. Helst fra reel trafik. Anonymisér hvor nødvendigt. Pointen er, at prompterne skal ligne det, din applikation faktisk ser — ikke benchmarkspørgsmål. Tyve eksempler pr. kategori er nok til at se mønstre; tredive er nok til at være sikker.
3. Kør dem gennem ét endpoint, alle modeller. Et OpenAI-kompatibelt aggregator-endpoint gør dette dramatisk hurtigere end at køre hver model gennem sin egen SDK. Koden øverst i denne artikel er hele opsætningen. Samme temperature, samme parametre, samme prompt — forskellene i output er modelforskellene.
4. Bedøm kvalitativt før kvantitativt. Se outputs igennem først. Adfærdsmønstrene er normalt tydelige inden for de første dusin prompts. Når du har en hypotese om, hvordan hver model opfører sig på din arbejdsbelastning, kan du konstruere en rubric at bedømme imod — men hypotesen kommer af observation, ikke af en præbygget bedømmelsesskabelon.
5. Vær opmærksom på, hvad modellen tilføjer. Benchmark-spørgsmålet er, om modellen finder det rigtige svar. Adfærdsspørgsmålet er, hvad modellen ellers gør. Tilføjer den tests? Forklarer den sin ræsonnering? Rejser den bekymringer? Producerer den ekstra felter, du ikke bad om? Det er her, modelforskellene lever.
6. Vælg den model, der matcher dit nedstrømsmønster. Hvis din nedstrøms proces er automatiseret, vil du have en model, hvis standardadfærd producerer rent, parsebart output. Hvis din nedstrøms proces er menneskelig review, vil du have en model, hvis standardadfærd tilføjer den slags omgivende skøn, en menneskelig reviewer vil se. Det rigtige svar afhænger af, hvad der kommer efter modellen.

Konklusion

Valget mellem GPT-5.5, Claude Sonnet 4.6 og Gemini 3.1 Pro handler ikke om, hvilken model der er bedst. Det handler om, hvilken model der passer til formen på din arbejdsbelastning — og den form er noget, benchmarks ikke kan se. Øvelsen ovenfor kan gennemføres på en eftermiddag, hvis du har prompterne kurateret; værdien ved at gøre det er, at du stopper med at gætte og begynder at observere.

For teams, der kører øvelsen selv: den nemmeste opsætning er et enkelt OpenAI-kompatibelt endpoint, der eksponerer alle tre modeller bag én credential. CometAPI er en mulighed; du peger din eksisterende OpenAI SDK mod en anden base-URL, og model-parameteren bliver variablen.

Benchmarks fortæller dig, hvad en model kan gøre. Adfærdsmønstre fortæller dig, hvad en model vil gøre, som standard, på dine prompts. Det første svar er publiceret. Det andet må du observere selv. Tyve prompts pr. kategori, én eftermiddag, og du har et svar, som ingen rangliste nogensinde vil producere.

Klar til at integrere pålideligt? Gå til CometAPI og API doc for gnidningsfri adgang til Claude Fable 5 side om side med andre frontier-modeller, samlet fakturering og enterprise-grade pålidelighed. Tilmeld dig i dag og kom i gang med generøse credits til nye brugere — dit næste gennembrudsprojekt venter.