DR
Cachet input-prissætning kan væsentligt reducere omkostningerne for workloads, der gensender et stort, uændret prompt-præfiks, men besparelserne afhænger af modelspecifikke regler for cache-læsning, cache-skrivning, lagring, routing og retention. Et generelt “caching supported”-mærke er ikke nok til at estimere omkostninger; brug den aktuelle pris, der er publiceret for den præcise model og rute.
TL;DR
- GPT-5.6 Terra har eksplicitte priser for cache-læsning og cache-skrivning fra OpenAI, CometAPI og OpenRouter, selv om gateway-ruter og lange kontekst-tier kan ændre beløbet.
- Google offentliggør en $0.15 per 1M-token Standard-kontekstcaching-sats for Gemini 3.6 Flash plus et lagringsgebyr; CometAPI offentliggør aktuelt modellens standard input- og outputpriser uden en separat linje for cachet input.
- Den relevante sammenligning er ikke kun standardinput versus cache-læsning. Den omfatter også den første cache-skrivning, eventuelle lagringsgebyrer, cache-livstid, rutekonsistens og antallet af senere cache-hits.
Nøglebudskaber
- Tjek priser på model- og serviceniveau frem for at anvende en gateway-bred multiplikator.
- Hold cache-læsning, cache-skrivning, lagring og svarcaching adskilt i omkostningsberegninger.
- Verificer faktisk cache-brug i API-svarts metadata før du forudsiger besparelser ud fra den publicerede sats.
En forespørgsel, der gentager et stort, uændret præfiks — en systemprompt, et sæt værktøjsskemaer, et langt referencedokument — behøver ikke blive faktureret til fuld input-sats ved hver kald. De fleste modeller i den nuværende generation understøtter en form for cachet input-prissætning: en reduceret sats for den del af en prompt, som en udbyder genkender som allerede behandlet. Mekanismen, rabatstørrelsen og hvor tydeligt den publiceres varierer efter udbyder og gateway, og den variation er værd at være specifik om i stedet for at behandle “caching is supported” som én ensartet funktion.
Hvad cachet input-prissætning er, og ikke er
Cachet input-prissætning giver rabat på de input-tokens i en forespørgsel, der matcher et tidligere sendt præfiks. Den giver ikke rabat på output-tokens, og det er ikke det samme som at en gateway deduplikerer to helt identiske forespørgsler og returnerer ét svar gratis — det er en anden mekanisme, som nogle gateways tilbyder separat. Cachet input-prissætning handler specifikt om at betale mindre for den del af en prompt, som en modeludbyder for nylig har set, ikke om at springe genereringen helt over.
Det er heller ikke gratis at oprette. OpenAI’s GPT-5.6-prisnoter angiver, at cache-skrivninger faktureres til 1,25 gange den ikke-cachede input-sats, mens cache-læsninger får 90% rabat. Denne præmie på første skrivning påvirker break-even-punktet og er let at overse, hvis en sammenligning kun viser den rabatterede læsesats. Andre udbydere kan bruge lagerbaserede gebyrer i stedet for samme skrivemodel, så skrive- og lagringsomkostninger bør tjekkes separat.
I praksis er den fakturerbare cache-enhed normalt et genanvendeligt prompt-præfiks snarere end en vilkårlig samling af gentagne sætninger. Udbydere tokeniserer og matcher indhold i rækkefølge, så det genanvendelige materiale skal optræde før den forespørgsels-specifikke hale. Stabile systeminstruktioner, værktøjsdefinitioner, politikker og referencemateriale hører hjemme tidligt; en skiftende brugermeddelelse, tidsstempel, forespørgsels-ID eller hentet snippet hører til senere. Selv en semantisk harmløs ændring tidligt kan skifte tokenisering eller bryde matchningen for alt, der følger.
Kvalifikationsregler er også modelspecifikke. En udbyder kan kræve en minimum prompt-længde, kun genkende dokumenterede breakpoints eller eksponere et eksplicit cache-control-felt. En cache-indgang kan udløbe mellem kald, og en gateway kan være nødt til at holde relaterede forespørgsler på en kompatibel upstream-rute. Det betyder, at en udrulning bør behandle et cache-hit som et observeret udfald, ikke som en antagelse ud fra prompts lighed. En velstruktureret prompt forbedrer sandsynligheden for genbrug, men svarmetadata og faktura afgør, om den rabatterede sats faktisk blev anvendt.
Hvad der faktisk er publiceret, efter model og gateway
Tabellen nedenfor er et prissnapshot tjekket den 29. juli 2026. Priser er i amerikanske dollars per 1 million tokens, medmindre en anden enhed er angivet. Rækkerne sammenligner nuværende offentlige oplysninger for GPT-5.6 Terra og Gemini 3.6 Flash på tværs af modeludbyderen, CometAPI og OpenRouter; de bør ikke behandles som en permanent takst.
| Model | Gateway | Standard input | Cached input (read) | Cache write | Discount disclosed? |
|---|---|---|---|---|---|
| GPT-5.6 Terra | Official OpenAI rate | $2.50 / 1M | $0.25 / 1M | $3.13 / 1M | Ja — 90% rabat, angivet direkte |
| GPT-5.6 Terra | CometAPI | $2.00 / 1M | $0.20 / 1M | $2.50 / 1M | Ja — opført på CometAPI’s egen prisside |
| GPT-5.6 Terra | OpenRouter | $2.50 / 1M | Ikke opført som en specifik sats | Ikke opført | Nej — beskrevet kun som "60–80% billigere" i aggregat, ingen modelspecifik figur |
| Gemini 3.6 Flash | Official Google rate | $1.50 / 1M | $0.15 / 1M (ifølge Googles egen meddelelse) | Ikke oplyst | Ja, ved lancering — via Googles modeldokumentation |
| Gemini 3.6 Flash | CometAPI | $1.20 / 1M | Ikke opført som en specifik sats | Ikke oplyst | Nej — CometAPI’s side markerer "Caching" som en understøttet funktion men publicerer ikke en rabatteret cachet figur for denne specifikke model på skrivende tidspunkt |
| Gemini 3.6 Flash | OpenRouter | $1.50 / 1M | Ikke opført som en specifik sats | Ikke oplyst | Nej — OpenRouter’s egen dokumentation beskriver Googles cache-multiplikator generisk (0,25x listeinput) i stedet for at bekræfte denne models specifikke sats |
Læs tabellen som et model- og rutespecifikt snapshot. CometAPI GPT-5.6-modelsiden specificerer GPT-5.6 Terra til $2.00 standardinput, $0.20 cachet input og $2.50 cache-skrivning per 1 million tokens. Dens Gemini 3.6 Flash-modelside publicerer aktuelt $1.20 input og $6.00 output, men viser ikke en separat pris for cachet input eller cache-lagring. Googles Gemini Developer API-priser angiver Standard-tier til $1.50 input, $0.15 kontekstcaching og $1.00 per 1 million tokens per time for lagring. OpenRouter eksponerer nu modelspecifikke cachefelter via sin Models API: GPT-5.6 Terras standardrute omfatter lavere kampagnepriser og et separat højere lang-kontekst-tier, mens dens Gemini 3.6 Flash-post eksponerer forskellige Standard-, Flex- og Priority-værdier. Dette er mere præcist end at anvende én generisk cache-multiplikator på hver model.
Hvorfor gateway- og udbyderpriser kan divergere
En gateway-pris er ikke nødvendigvis et påslag på én uforanderlig upstream-listepris. Den kan afspejle forhandlet kapacitet, en midlertidig kampagne, et andet serviceniveau eller en rutespecifik kommerciel aftale. Et modelnavn kan også mappe til flere upstream-varianter, hvis priser ændrer sig med kontekstlængde eller latenstgarantier. OpenRouter’s GPT-5.6 Terra-post publicerer for eksempel en standardrute og en højere prissat alternativ rute, når input når dens lang-kontekst-tærskel. Google adskiller Standard-, Batch-, Flex- og Priority-prissætning for Gemini 3.6 Flash. En enkelt sammenligningsrække har derfor brug for en dato, rute, tier og kontekstantagelse for at forblive meningsfuld.
Det omvendte er også vigtigt: Hvis en gateway-side ikke publicerer en separat cache-læselinje, bør det fravær ikke omdannes til enten “caching er ikke tilgængelig” eller “udbyderens direkte rabat gælder automatisk.” Gatewayen kan passere en upstream-funktion igennem uden at opdele den, eksponere den kun på visse ruter eller fakturere forespørgslen under sin normale input-sats. Den forsvarlige tilgang er at bruge gatewayens egen aktuelle modelsiden til planlægning og derefter bekræfte den faktiske sats ud fra forbrugsoptegnelser eller faktureringsdata. Udbyderdokumentation er fortsat nyttig til at forstå mekanismen, men den fastlægger ikke i sig selv de kommercielle vilkår for en mellemmand.
Hvor rabatten faktisk betyder noget
Scenariet, hvor dette ændrer de reelle omkostninger meningsfuldt, er et stort, statisk præfiks parret med en lille, variabel forespørgsel — en systemprompt eller et sæt værktøjsskemaer, der gensendes på hvert kald i en agentløkke, et langt referencedokument der forespørges gentagne gange med forskellige spørgsmål, eller konversationshistorik der gensendes ved hver chatbot-tur. For en sådan workload forstærkes forskellen mellem at betale fuld inputpris på hele præfikset hver gang versus at betale skrivepræmien én gang og den rabatterede læsesats bagefter med kaldvolumen. Det gør intet for workloads, der ikke gentager et præfiks — en engangskald har ikke noget cachet indhold at give rabat på i første omgang.
En praktisk break-even-beregning sammenligner den ikke-cachede omkostning for det gentagne præfiks på tværs af alle kald med cache-skrive- eller lagringsomkostningen plus rabatterede cache-læsninger på senere kald. Resultatet afhænger af præfiksstørrelse, antallet af vellykkede cache-hits, cache-udløb og om gatewayen holder forespørgsler på en kompatibel udbyderrute. Hvis de betingelser er ustabile, kan overskriftsrabatten overvurdere de besparelser, der realiseres i produktion.
En simpel omkostningsmodel for et gentaget præfiks
Lad P være antallet af tokens i det stabile præfiks og N antallet af kald, der genbruger det. Hvis U er den ikke-cachede inputpris per token, koster præfikset N × P × U uden caching. Et forenklet cachet estimat er P × W + (N − 1) × P × R + S, hvor W er cache-skriveprisen, R er cache-læseprisen, og S er ethvert lagringsgebyr over perioden. Formlen antager, at første kald opretter cachen, og at alle senere kald er et vellykket hit. Den udelukker den variable hale af hver forespørgsel, output-tokens, retries og enhver ruteændring, der forårsager et miss.
Overvej et illustrativt 100.000-token-præfiks genbrugt til 20 kald på den officielle GPT-5.6 Terra-sats. Ved $2.50 per 1 million ikke-cachede input-tokens ville gentagen behandling af det præfiks koste $5.00. Ved at bruge den publicerede 1,25-gange skrivepris og 90% rabatteret læsepris vil én 100.000-token-skrivning koste omkring $0.3125 og nitten læsninger koste omkring $0.475, for en samlet præfiksomkostning på cirka $0.7875. Forskellen er omkring $4.21 før variable input- og outputomkostninger. Dette er en illustration, ikke et tilbud: det gælder kun, hvis alle nitten senere kald rammer den samme gyldige cache, og der ikke pålægges yderligere lager- eller routinggebyrer.
Break-even-punktet følger direkte af samme model. En skrivepræmie er kun berettiget, når der sker nok rabatterede læsninger før udløb. For en workload med korte sessioner, hyppige prompt-redigeringer eller svag ruteaffinitet kan cachen blive genskabt oftere end forventet. For en langlivet agentløkke eller gentagen dokumentanalyse med et stabilt præfiks kan antallet af hits være meget højere. Prognoser bør derfor bruge et observeret hit-rate-interval i stedet for at antage en perfekt sekvens efter første kald.
Implementeringsmønstre, der forbedrer cache-genbrug
Prompt-konstruktion har en større effekt på hit-rate end mange prisskemaer antyder. Placer det mest stabile materiale først og hold dets serialisering deterministisk: systeminstruktioner, værktøjsskemaer, policy-tekst og delt referencekontekst bør bevare samme rækkefølge, blanktegn og feltrepræsentation på tværs af relaterede kald. Tilføj flygtigt indhold bagefter. Undgå at indsætte tidsstempler, tilfældige identifikatorer, løbende tællere eller forespørgsels-specifikke retrieval-resultater i det genanvendelige præfiks, medmindre de er reelt påkrævet der.
Versionér stabilt materiale bevidst. Hvis et værktøjsskema eller en politik ændres, tildel den nye version konsekvent i stedet for at lade flere næsten identiske varianter cirkulere. For konverserende eller agentiske workloads, genbrug en stabil sessionsidentifikator eller cache-nøgle, når API’et understøtter en, og undgå at skifte udbydere inden for samme cache-afhængige sekvens. OpenRouter dokumenterer udbyder-fast routing for prompt-caching og eksponerer kontroller såsom session_id og prompt_cache_key; disse kontroller kan forbedre kontinuitet, men de garanterer ikke et hit, når upstream-cachen er kold eller udløbet.
Applikationer bør også degradere rent ved et miss. Caching er en omkostnings- og latenstoptimering, ikke en korrekthedsafhængighed. Forespørgslen skal stadig give samme gyldige resultat, når cachen er utilgængelig, og retry-logik bør ikke ukritisk skabe gentagne skrivninger. Den adskillelse gør det sikrere at sammenligne ruter: teams kan ændre caching-politik eller gateway-konfiguration uden at ændre applikationens semantiske opførsel.
Sådan verificeres cache-økonomi i produktion
Start med telemetri per forespørgsel frem for den månedlige faktura. Log det præcise modelidentifikator, gateway-rute eller udbyder hvor det er eksponeret, serviceniveau, samlede input-tokens, cache-læste tokens, cache-skrivnings-tokens, output-tokens, latenstid og faktureret omkostning. OpenRouter’s usage-objekt omfatter cached_tokens og cache_write_tokens; andre udbydere eksponerer tilsvarende detaljer under andre feltnavne. Bevar rå forbrugsfelter, så en senere prisændring ikke sletter det bevis, der er nødvendigt for at rekonstruere omkostningen.
Aggregér dataene efter prompt-version og workload, ikke kun efter model. Nyttige mål omfatter andelen af kvalificerede forespørgsler, der rammer en cache, andelen af input-tokens faktureret til læsesatsen, skrivninger per vellykket læsning, tid mellem skrivning og sidste hit og realiseret omkostning per forespørgsel. En høj hit-rate på forespørgselsniveau kan stadig levere lille værdi, hvis det cachede præfiks er lille, mens en lavere hit-rate på et meget stort præfiks kan spare mere. Par disse mål med latenspercentiler, fordi en billigere rute, der gentagne gange misser eller rerouter, kan være operationelt dårligere.
Gennemgå endelig anomalier i stedet for at udglatte dem. Et pludseligt fald i cachede tokens kan indikere en udrulning af prompt-version, ustabil serialisering, udløbne poster, en lang-kontekst-tier-grænse eller en gateway-ruteændring. Sammenlign de berørte forespørgsler med den aktuelle modelsiden og udbyderdokumentation, og verificer derefter den fakturerede sats. Dette lukker kløften mellem en publiceret rabat og de besparelser, applikationen faktisk realiserer.
Hvad du skal tjekke, før du antager, at en sats gælder
Bekræft fem punkter, før du bruger en publiceret sats i et budget: den præcise model og serviceniveau, det minimale genanvendelige præfiks eller eksplicitte cache-breakpoints, skrive- eller lagringsgebyret ved første gang, cache-livstiden og bevis for, at forespørgsler faktisk rammer cachen. OpenAI angiver aktuelt en minimum cache-livstid på 30 minutter for GPT-5.6, men det er ikke en universel opbevaringsregel. Google publicerer forskellige satser for Standard, Batch, Flex og Priority-serviceniveauer. Gateways kan også route blandt udbydere eller niveauer, så den valgte rute betyder noget. OpenRouters dokumentation om prompt-caching anbefaler at tjekke svarforbrugsfelter som cached_tokens og cache_write_tokens. For ethvert produktionsestimat bør du sammenligne den aktuelle modelsiden med faktisk fakturering og forbrugsmetadata frem for kun at stole på et generelt “caching supported”-mærke.