Prising av bufret inndata for GPT 5.6 og Gemini 3.6 Flash: Hva det koster

DR

Prising av bufrede inndata kan vesentlig redusere kostnadene for arbeidslaster som sender et stort, uendret prompt-prefiks på nytt, men besparelsene avhenger av modellspesifikke regler for cache-lesing, cache-skriving, lagring, ruting og retensjon. En generell "caching støttes"-etikett er ikke nok til å anslå kostnad; bruk den gjeldende prisen som er publisert for den eksakte modellen og ruten.

TL;DR

• GPT-5.6 Terra har eksplisitte cache-lese- og cache-skrivepriser fra OpenAI, CometAPI og OpenRouter, selv om gateway-ruter og langkontekst-nivåer kan endre beløpet.
• Google publiserer en Standard-sats for kontekstbufring på $0.15 per 1M token for Gemini 3.6 Flash pluss en lagringsavgift; CometAPI publiserer for øyeblikket modellens standard priser for inndata og utdata uten en egen linje for bufrede inndata.
• Den relevante sammenligningen er ikke bare standard inndata versus cache-lesing. Den omfatter også første cache-skriving, eventuell lagringskostnad, cache-levetid, rutekonsistens og antallet senere cache-treff.

Key messages

• Sjekk priser på modell- og tjenestenivå i stedet for å bruke en gateway-omfattende multiplikator.
• Hold cache-lesing, cache-skriving, lagring og responsbufring adskilt i kostnadsberegninger.
• Verifiser faktisk cache-bruk i API-responsens metadata før du prognostiserer besparelser fra den publiserte satsen.

En forespørsel som gjentar et stort, uendret prefiks — en systemprompt, et sett med verktøyskjemaer, et langt referansedokument — behøver ikke å faktureres til full inndata-sats ved hver kall. De fleste modeller i dagens generasjon støtter en form for prising av bufrede inndata: en redusert sats for den delen av en prompt en leverandør gjenkjenner som allerede behandlet. Mekanismen, rabattens størrelse og hvor tydelig den publiseres varierer mellom leverandører og mellom gateways, og den variasjonen er verdt å være spesifikk om i stedet for å behandle "caching støttes" som én ensartet funksjon.

What cached input pricing is, and isn't

Prising av bufrede inndata gir rabatt på input-tokenene i en forespørsel som matcher et tidligere sendt prefiks. Den rabatterer ikke utdata-token, og den er ikke det samme som at en gateway dedupliserer to helt identiske forespørsler og returnerer ett svar gratis — det er en annen mekanisme som noen gateways tilbyr separat. Prising av bufrede inndata handler spesifikt om å betale mindre for den delen av en prompt en modellleverandør nylig har sett, ikke om å hoppe over generering helt.

Det er heller ikke gratis å opprette. OpenAIs GPT-5.6-prisnotater sier at cache-skrivinger faktureres til 1,25 ganger ukachet inndata-sats, mens cache-lesinger får 90 % rabatt. Dette påslaget for første skriving påvirker break-even-punktet og er lett å overse hvis en sammenligning bare viser den rabatterte leseprisen. Andre leverandører kan bruke lagringsbaserte avgifter i stedet for samme skrive­modell, så skrive- og lagringskostnader bør sjekkes separat.

I praksis er den fakturerbare cache-enheten som regel et gjenbrukbart prompt-prefiks snarere enn en vilkårlig samling gjentatte setninger. Leverandører tokeniserer og matcher innhold i rekkefølge, så gjenbrukbart materiale må komme før den forespørselsspesifikke halen. Stabile systeminstruksjoner, verktøydefinisjoner, policyer og referansemateriale hører hjemme i begynnelsen; en skiftende brukermelding, tidsstempel, forespørsels-ID eller hentet snutt hører senere. Selv en semantisk harmløs endring nær fronten kan endre tokeniseringen eller bryte matchen for alt som følger.

Kvalifiseringsregler er også modellspesifikke. En leverandør kan kreve en minimums-lengde på prompten, bare gjenkjenne dokumenterte brytpunkter eller eksponere et eksplisitt cache-control-felt. Et cache-innslag kan utløpe mellom kall, og en gateway kan måtte holde relaterte forespørsler på en kompatibel upstream-rute. Det betyr at en utrulling bør behandle et cache-treff som et observert utfall, ikke som en antakelse basert på prompts likhet. En godt strukturert prompt øker sannsynligheten for gjenbruk, men respons-metadata og faktura avgjør om den rabatterte satsen faktisk ble brukt.

What's actually published, by model and by gateway

Tabellen nedenfor er et prissnapshot sjekket 29. juli 2026. Prisene er i amerikanske dollar per 1 million token med mindre en annen enhet er angitt. Radene sammenligner gjeldende offentlig informasjon for GPT-5.6 Terra og Gemini 3.6 Flash hos modellleverandøren, CometAPI og OpenRouter; de bør ikke behandles som en permanent tariff.

Les tabellen som et modell- og rutespesifikt øyeblikksbilde. CometAPIs GPT-5.6-modellsiden spesifiserer GPT-5.6 Terra til $2.00 standard inndata, $0.20 bufret inndata og $2.50 cache-skriving per 1 million token. Deres Gemini 3.6 Flash-modellsiden publiserer for øyeblikket $1.20 for inndata og $6.00 for utdata, men viser ikke en egen prislinje for bufret inndata eller cache-lagring. Googles Gemini Developer API-priser lister Standard-nivået til $1.50 for inndata, $0.15 for kontekstbufring og $1.00 per 1 million token per time for lagring. OpenRouter eksponerer nå modellspesifikke cache-felter via sin Models API: GPT-5.6 Terras standardrute inkluderer lavere kampanjeprising og et eget høyere langkontekst-nivå, mens Gemini 3.6 Flash-oppføringen viser ulike Standard-, Flex- og Priority-verdier. Dette er mer presist enn å bruke én generell cache-multiplikator for hver modell.

Why gateway and provider prices can diverge

En gateway-pris er ikke nødvendigvis et påslag på én uforanderlig upstream-listepris. Den kan gjenspeile forhandlet kapasitet, en midlertidig kampanje, et annet tjenestenivå eller en rutespesifikk kommersiell avtale. Et modellnavn kan også peke til flere upstream-varianter hvis priser endres med kontekstlengde eller latensgarantier. OpenRouters GPT-5.6 Terra-oppføring publiserer for eksempel en standardrute og et høyere priset alternativ når inndata når sin langkontekst-grense. Google skiller mellom Standard-, Batch-, Flex- og Priority-priser for Gemini 3.6 Flash. En enkelt sammenligningsrad trenger derfor dato, rute, nivå og kontekstantakelse for å forbli meningsfull.

Det motsatte er også viktig: hvis en gateway-side ikke publiserer en egen cache-lese-linje, bør ikke fraværet tolkes som enten "caching er utilgjengelig" eller "leverandørens direkte rabatt gjelder automatisk". Gatewayen kan videreføre en upstream-funksjon uten å spesifisere den, eksponere den bare på visse ruter, eller fakturere forespørselen under sin normale inndata-sats. En forsvarlig tilnærming er å bruke gatewayens egen oppdaterte modellsider for planlegging, og deretter bekrefte faktisk sats fra bruks- eller faktureringsdata. Leverandørdokumentasjon er fortsatt nyttig for å forstå mekanismen, men etablerer i seg selv ikke de kommersielle vilkårene for en mellommann.

Where the discount actually matters

Scenarioet der dette påvirker reell kostnad meningsfylt er et stort, statisk prefiks sammen med en liten, variabel forespørsel — en systemprompt eller et sett verktøyskjemaer sendt på nytt ved hvert kall i en agent-loop, et langt referansedokument spurt gjentatte ganger med ulike spørsmål, eller samtalehistorikk sendt på nytt ved hver chatbot-tur. For en slik arbeidslast forstørres gapet mellom å betale full inndata-pris for hele prefikset hver gang og å betale skrivepåslaget én gang med rabatterte lesepriser etterpå med antall kall. Det gjør ingenting for arbeidslaster som ikke gjentar et prefiks — en engangsforespørsel har ikke bufret innhold å rabattere i utgangspunktet.

En praktisk break-even-beregning sammenligner ukachet kostnad for det gjentatte prefikset på tvers av alle kall med cache-skrive- eller lagringskostnad pluss rabatterte cache-lesinger på senere kall. Resultatet avhenger av prefiksstørrelse, antallet vellykkede cache-treff, cache-utløp og om gatewayen holder forespørsler på en kompatibel leverandørrute. Hvis disse forholdene er ustabile, kan rabatten på papiret overdrive de besparelsene som realiseres i produksjon.

A simple cost model for a repeated prefix

La P være antall token i det stabile prefikset og N antall kall som gjenbruker det. Hvis U er ukachet inndata-pris per token, koster prefikset N × P × U uten caching. Et forenklet bufret anslag er P × W + (N − 1) × P × R + S, der W er cache-skriveprisen, R er cache-leseprisen, og S er eventuell lagringskostnad over perioden. Formelen antar at første kall oppretter cachen og at hvert senere kall er et vellykket treff. Den ekskluderer den variable halen i hver forespørsel, utdata-token, retries og enhver ruteendring som forårsaker et miss.

Vurder et illustrativt prefiks på 100 000 token gjenbrukt for 20 kall med den offisielle GPT-5.6 Terra-satsen. Ved $2.50 per 1 million ukachede inndata-token vil gjentatt prosessering av det prefikset koste $5.00. Med den publiserte skriveprisen på 1,25 ganger og 90 % rabattert lesepris vil én 100 000-token-skriving koste omtrent $0.3125 og nitten lesinger koste omtrent $0.475, for en kombinert prefikskostnad på om lag $0.7875. Differansen er omtrent $4.21 før variable inndata- og utdata-kostnader. Dette er en illustrasjon, ikke et tilbud: den gjelder bare hvis alle nitten senere kall treffer samme gyldige cache og ingen ekstra lagrings- eller rutingskostnad påløper.

Break-even-punktet følger direkte av samme modell. Et skrivepåslag er bare berettiget når nok rabatterte lesinger skjer før utløp. For en arbeidslast med korte økter, hyppige promptendringer eller svak ruteaffinitet kan cachen bli gjenskapt oftere enn forventet. For en langlivet agent-loop eller gjentatt dokumentanalyse med et stabilt prefiks kan antallet treff være mye høyere. Prognoser bør derfor bruke et observert treff-rate-område i stedet for å anta en perfekt sekvens etter første kall.

Implementation patterns that improve cache reuse

Prompt-konstruksjon har større effekt på treffraten enn mange regneark antyder. Legg det mest stabile materialet først og hold serialiseringen deterministisk: systeminstruksjoner, verktøyskjemaer, policytekst og delt referansekontekst bør beholde samme rekkefølge, mellomrom og feltrepresentasjon på tvers av relaterte kall. Legg volatilt innhold etterpå. Unngå å injisere tidsstempler, tilfeldige identifikatorer, kontinuerlig skiftende tellere eller forespørsels­spesifikke hente-resultater i det gjenbrukbare prefikset med mindre de virkelig må være der.

Versjoner stabilt materiale bevisst. Hvis et verktøyskjema eller en policy endres, tilordne den nye versjonen konsekvent i stedet for å la flere nesten identiske varianter sirkulere. For samtale- eller agentiske arbeidslaster, gjenbruk en stabil session-identifier eller cache-nøkkel når API-et støtter det, og unngå å bytte leverandør innenfor samme cache-avhengige sekvens. OpenRouter dokumenterer leverandør-sticky ruting for prompt-caching og eksponerer kontroller som session_id og prompt_cache_key; disse kontrollene kan forbedre kontinuitet, men de garanterer ikke et treff når upstream-cachen er kald eller utløpt.

Applikasjoner bør også degradere rent ved miss. Caching er en kostnads- og latensoptimalisering, ikke en korrekthetsavhengighet. Forespørselen må fortsatt gi samme gyldige resultat når cachen er utilgjengelig, og retry-logikk bør ikke blindt opprette gjentatte skrivinger. Den separasjonen gjør det tryggere å sammenligne ruter: team kan endre cache-policy eller gateway-konfigurasjon uten å endre applikasjonens semantiske atferd.

How to verify cache economics in production

Start med per-forespørsel-telemetri i stedet for månedlig faktura. Logg eksakt modellidentifikator, gateway-rute eller leverandør når eksponert, tjenestenivå, totalt antall inndata-token, cache-lese-token, cache-skrive-token, utdata-token, latens og fakturert kostnad. OpenRouters usage-objekt inkluderer cached_tokens og cache_write_tokens; andre leverandører eksponerer tilsvarende detaljer under andre feltnavn. Bevar rå bruksfelt slik at en senere prisendring ikke sletter bevisene som trengs for å rekonstruere kostnad.

Aggreger data etter promptversjon og arbeidslast, ikke bare etter modell. Nyttige mål inkluderer andelen kvalifiserte forespørsler som treffer cache, andelen inndata-token fakturert til lesepris, skrivinger per vellykket lesing, tid mellom skriving og siste treff, og realisert kostnad per forespørsel. En høy treffrate på forespørselnivå kan likevel gi liten verdi hvis det bufrede prefikset er lite, mens en lavere treffrate på et svært stort prefiks kan spare mer. Par disse målene med latens-percentiler, fordi en billigere rute som gjentatte ganger misser eller rutes om kan være operasjonelt dårligere.

Til slutt, gjennomgå avvik i stedet for å jevne dem ut. Et plutselig fall i bufrede token kan indikere en promptversjonsutrulling, ustabil serialisering, utløpte innslag, en langkontekst-grense eller en gateway-ruteendring. Sammenlign de berørte forespørslene med gjeldende modellsider og leverandørdokumentasjon, og verifiser deretter fakturert sats. Dette lukker gapet mellom en publisert rabatt og de besparelsene applikasjonen faktisk realiserer.

What to check before assuming a rate applies

Bekreft fem elementer før du bruker en publisert sats i et budsjett: den eksakte modellen og tjenestenivået, minimum gjenbrukbart prefiks eller eksplisitte cache-brytpunkter, første skrive- eller lagringskostnad, cache-levetid, og bevis på at forespørsler faktisk treffer cachen. OpenAI oppgir for tiden en minimum cache-levetid på 30 minutter for GPT-5.6, men det er ikke en universell retensjonsregel. Google publiserer ulike satser for Standard-, Batch-, Flex- og Priority-tjenestenivåer. Gateways kan også rute mellom leverandører eller nivåer, så valgt rute er viktig. OpenRouters prompt-caching-dokumentasjon anbefaler å sjekke responsens bruksfelter som cached_tokens og cache_write_tokens. For enhver produksjonsestimering, sammenlign gjeldende modellsider med faktisk fakturering og bruksmetadata i stedet for å stole kun på en generell "caching støttes"-etikett.