DR
Penetapan harga input cache dapat secara signifikan mengurangi biaya beban kerja yang mengirim ulang prefiks prompt besar yang tidak berubah, tetapi penghematannya bergantung pada aturan baca-cache, tulis-cache, penyimpanan, perutean, dan retensi yang spesifik model. Label umum “caching didukung” tidak cukup untuk memperkirakan biaya; gunakan harga terkini yang dipublikasikan untuk model dan rute yang tepat.
TL;DR
- GPT-5.6 Terra memiliki harga baca-cache dan tulis-cache eksplisit dari OpenAI, CometAPI, dan OpenRouter, meskipun rute gateway dan tier konteks panjang dapat mengubah jumlahnya.
- Google memublikasikan tarif caching konteks Standard sebesar $0.15 per 1M token untuk Gemini 3.6 Flash plus biaya penyimpanan; CometAPI saat ini memublikasikan harga input dan output standar model tersebut tanpa baris terpisah untuk input yang di-cache.
- Perbandingan yang relevan bukan hanya input standar versus baca cache. Ini juga mencakup penulisan cache pertama, biaya penyimpanan apa pun, masa berlaku cache, konsistensi rute, dan jumlah hit cache di kemudian hari.
Pesan utama
- Periksa harga pada level model dan tier layanan alih-alih menerapkan pengali seluruh gateway.
- Pisahkan baca cache, tulis cache, penyimpanan, dan caching respons dalam perhitungan biaya.
- Verifikasi penggunaan cache aktual di metadata respons API sebelum memperkirakan penghematan dari tarif yang dipublikasikan.
Permintaan yang mengulangi prefiks besar yang tidak berubah — prompt sistem, sekumpulan skema alat, dokumen referensi panjang — tidak harus ditagih pada tarif input penuh di setiap panggilan. Sebagian besar model generasi terkini mendukung semacam penetapan harga input yang di-cache: tarif yang dikurangi untuk bagian prompt yang dikenali penyedia sebagai sudah diproses. Mekanisme, besaran diskon, dan seberapa jelas dipublikasikan semuanya bervariasi menurut penyedia dan gateway, dan variasi itu layak diperlakukan secara spesifik alih-alih menganggap “caching didukung” sebagai satu fitur yang seragam.
Apa itu penetapan harga input yang di-cache, dan apa yang bukan
Penetapan harga input yang di-cache mendiskon token input dalam permintaan yang cocok dengan prefiks yang sebelumnya dikirim. Ini tidak mendiskon token output, dan ini bukan hal yang sama dengan gateway yang melakukan deduplikasi dua permintaan yang sepenuhnya identik dan mengembalikan satu respons secara gratis — itu mekanisme berbeda yang ditawarkan beberapa gateway secara terpisah. Penetapan harga input yang di-cache secara khusus tentang membayar lebih sedikit untuk bagian prompt yang sudah dilihat penyedia model baru-baru ini, bukan tentang melewatkan generasi sepenuhnya.
Ini juga tidak gratis untuk dibuat. Catatan harga OpenAI’s GPT-5.6 menyatakan bahwa penulisan cache ditagih 1,25 kali tarif input tanpa cache, sementara pembacaan cache menerima diskon 90%. Premi penulisan pertama itu memengaruhi titik impas dan mudah terlewat jika perbandingan hanya menampilkan tarif baca yang didiskon. Penyedia lain mungkin menggunakan biaya berbasis penyimpanan alih-alih model penulisan yang sama, sehingga biaya penulisan dan penyimpanan harus diperiksa secara terpisah.
Dalam praktiknya, unit cache yang dapat ditagih biasanya berupa prefiks prompt yang dapat digunakan ulang, bukan kumpulan kalimat berulang yang sewenang-wenang. Penyedia melakukan tokenisasi dan mencocokkan konten secara berurutan, sehingga materi yang dapat digunakan ulang perlu muncul sebelum ekor khusus permintaan. Instruksi sistem yang stabil, definisi alat, kebijakan, dan materi referensi berada di dekat awal; pesan pengguna yang berubah, stempel waktu, ID permintaan, atau potongan hasil pengambilan ditempatkan belakangan. Bahkan perubahan yang tampaknya tidak merusak makna di dekat bagian depan dapat menggeser tokenisasi atau memutus kecocokan untuk semua yang mengikuti.
Aturan kelayakan juga spesifik model. Penyedia dapat mensyaratkan panjang prompt minimum, hanya mengenali breakpoint yang terdokumentasi, atau mengekspos field cache-control eksplisit. Entri cache dapat kedaluwarsa antar panggilan, dan sebuah gateway mungkin perlu menjaga permintaan terkait pada rute upstream yang kompatibel. Artinya, sebuah penerapan harus memperlakukan hit cache sebagai hasil yang diamati, bukan asumsi dari kemiripan prompt. Prompt yang terstruktur dengan baik meningkatkan probabilitas penggunaan ulang, tetapi metadata respons dan tagihan menentukan apakah tarif diskon benar-benar diterapkan.
Apa yang sebenarnya dipublikasikan, menurut model dan gateway
Tabel di bawah ini adalah cuplikan harga yang diperiksa pada 29 Juli 2026. Harga dalam dolar AS per 1 juta token kecuali dinyatakan lain. Baris-baris membandingkan informasi publik terkini untuk GPT-5.6 Terra dan Gemini 3.6 Flash di tingkat penyedia model, CometAPI, dan OpenRouter; baris-baris ini tidak boleh diperlakukan sebagai tarif permanen.
| Model | Gateway | Standard input | Cached input (read) | Cache write | Diskon diungkapkan? |
|---|---|---|---|---|---|
| GPT-5.6 Terra | Official OpenAI rate | $2.50 / 1M | $0.25 / 1M | $3.13 / 1M | Ya — diskon 90%, dinyatakan langsung |
| GPT-5.6 Terra | CometAPI | $2.00 / 1M | $0.20 / 1M | $2.50 / 1M | Ya — tercantum di halaman harga CometAPI sendiri |
| GPT-5.6 Terra | OpenRouter | $2.50 / 1M | Tidak dicantumkan sebagai tarif spesifik | Tidak dicantumkan | Tidak — hanya dideskripsikan sebagai "60–80% lebih murah" secara agregat, tidak ada angka per model |
| Gemini 3.6 Flash | Official Google rate | $1.50 / 1M | $0.15 / 1M (sesuai pengumuman Google) | Tidak diungkapkan | Ya, saat peluncuran — melalui dokumentasi model Google |
| Gemini 3.6 Flash | CometAPI | $1.20 / 1M | Tidak dicantumkan sebagai tarif spesifik | Tidak diungkapkan | Tidak — halaman CometAPI menandai "Caching" sebagai fitur yang didukung tetapi tidak memublikasikan angka diskon input cache untuk model ini saat ini |
| Gemini 3.6 Flash | OpenRouter | $1.50 / 1M | Tidak dicantumkan sebagai tarif spesifik | Tidak diungkapkan | Tidak — dokumentasi OpenRouter sendiri mendeskripsikan pengali cache Google secara generik (0,25x input daftar) alih-alih mengonfirmasi tarif spesifik model ini |
Bacalah tabel sebagai cuplikan spesifik model dan rute. Halaman model CometAPI GPT-5.6 merinci GPT-5.6 Terra pada $2.00 input standar, $0.20 input cache, dan $2.50 penulisan cache per 1 juta token. Halaman model Gemini 3.6 Flash CometAPI saat ini memublikasikan $1.20 input dan $6.00 output, tetapi tidak menampilkan harga input cache atau penyimpanan cache terpisah. Pricing Gemini Developer API Google mencantumkan tier Standard pada $1.50 input, $0.15 caching konteks, dan $1.00 per 1 juta token per jam untuk penyimpanan. OpenRouter kini mengekspos field cache spesifik model melalui Models API: entri GPT-5.6 Terra memiliki rute default dengan harga promosi yang lebih rendah dan tier konteks panjang terpisah yang lebih tinggi, sementara entri Gemini 3.6 Flash mengekspos nilai Standard, Flex, dan Priority yang berbeda. Ini lebih presisi daripada menerapkan satu pengali cache generik ke setiap model.
Mengapa harga gateway dan penyedia bisa berbeda
Harga gateway tidak harus berupa markup atas satu harga daftar upstream yang tak berubah. Itu bisa mencerminkan kapasitas yang dinegosiasikan, promosi sementara, tier layanan yang berbeda, atau pengaturan komersial khusus rute. Nama model juga dapat memetakan ke beberapa varian upstream yang harganya berubah sesuai panjang konteks atau jaminan latensi. Entri GPT-5.6 Terra OpenRouter, misalnya, memublikasikan rute default dan penggantian harga yang lebih tinggi begitu input mencapai ambang konteks panjangnya. Google memisahkan harga Standard, Batch, Flex, dan Priority untuk Gemini 3.6 Flash. Satu baris perbandingan oleh karena itu memerlukan tanggal, rute, tier, dan asumsi konteks agar tetap bermakna.
Kebalikannya juga penting: jika halaman gateway tidak memublikasikan baris baca-cache terpisah, ketiadaan itu tidak boleh diubah menjadi “caching tidak tersedia” atau “diskon langsung penyedia otomatis berlaku.” Gateway dapat meneruskan fitur upstream tanpa merincinya, mengeksposnya hanya pada rute tertentu, atau menagih permintaan di bawah tarif input normalnya. Pendekatan yang dapat dipertanggungjawabkan adalah menggunakan halaman model terkini milik gateway untuk perencanaan, kemudian mengonfirmasi tarif aktual dari catatan penggunaan atau data penagihan. Dokumentasi penyedia tetap berguna untuk memahami mekanismenya, tetapi tidak dengan sendirinya menetapkan ketentuan komersial dari perantara.
Di mana diskon benar-benar berarti
Skenario di mana ini mengubah biaya nyata secara bermakna adalah prefiks besar dan statis dipasangkan dengan permintaan kecil dan variabel — prompt sistem atau set skema alat yang dikirim ulang di setiap panggilan dalam loop agen, dokumen referensi panjang yang ditanyakan berulang dengan pertanyaan berbeda, atau riwayat percakapan yang dikirim ulang di setiap giliran chatbot. Untuk beban kerja seperti itu, selisih antara membayar harga input penuh pada seluruh prefiks setiap saat versus membayar premi penulisan sekali dan tarif baca yang didiskon sesudahnya akan terakumulasi seiring volume panggilan. Ini tidak berdampak pada beban kerja yang tidak mengulang prefiks — permintaan satu kali tidak memiliki konten cache untuk didiskon sejak awal.
Perhitungan titik impas yang praktis membandingkan biaya tanpa cache dari prefiks yang diulang di seluruh panggilan dengan biaya penulisan cache atau penyimpanan ditambah pembacaan cache yang didiskon pada panggilan berikutnya. Hasilnya bergantung pada ukuran prefiks, jumlah hit cache yang berhasil, kedaluwarsa cache, dan apakah gateway menjaga permintaan pada rute penyedia yang kompatibel. Jika kondisi tersebut tidak stabil, diskon utama dapat melebih-lebihkan penghematan yang direalisasikan di produksi.
Model biaya sederhana untuk prefiks berulang
Biarkan P sebagai jumlah token dalam prefiks yang stabil dan N sebagai jumlah panggilan yang menggunakannya kembali. Jika U adalah harga input tanpa cache per token, prefiks berbiaya N × P × U tanpa caching. Estimasi cache yang disederhanakan adalah P × W + (N − 1) × P × R + S, di mana W adalah harga tulis cache, R adalah harga baca cache, dan S adalah biaya penyimpanan selama periode tersebut. Rumus ini mengasumsikan panggilan pertama membuat cache dan setiap panggilan berikutnya adalah hit yang berhasil. Rumus ini mengecualikan ekor variabel dari setiap permintaan, token output, retry, dan perubahan rute apa pun yang menyebabkan miss.
Pertimbangkan ilustrasi prefiks 100,000-token yang digunakan kembali untuk 20 panggilan pada tarif resmi GPT-5.6 Terra. Pada $2.50 per 1 juta token input tanpa cache, memproses prefiks itu berulang kali akan berbiaya $5.00. Menggunakan tarif penulisan 1,25 kali dan tarif baca yang didiskon 90% yang dipublikasikan, satu penulisan 100,000-token akan berbiaya sekitar $0.3125 dan sembilan belas pembacaan akan berbiaya sekitar $0.475, untuk biaya prefiks gabungan sekitar $0.7875. Selisihnya sekitar $4.21 sebelum biaya input dan output variabel. Ini adalah ilustrasi, bukan kutipan: ini berlaku hanya jika semua sembilan belas panggilan berikutnya mengenai cache yang sama dan valid serta tidak ada biaya penyimpanan atau perutean tambahan yang berlaku.
Titik impas mengikuti langsung dari model yang sama. Premi penulisan dibenarkan hanya ketika cukup banyak pembacaan yang didiskon terjadi sebelum kedaluwarsa. Untuk beban kerja dengan sesi pendek, suntingan prompt yang sering, atau afinitas rute yang lemah, cache mungkin dibuat ulang lebih sering daripada yang diperkirakan. Untuk loop agen yang berumur panjang atau analisis dokumen berulang dengan prefiks stabil, jumlah hit bisa jauh lebih tinggi. Perkiraan oleh karena itu harus menggunakan rentang tingkat hit yang diamati alih-alih mengasumsikan urutan sempurna setelah panggilan pertama.
Pola implementasi yang meningkatkan penggunaan ulang cache
Konstruksi prompt memiliki efek lebih besar pada tingkat hit daripada yang diisyaratkan banyak spreadsheet harga. Letakkan materi yang paling stabil terlebih dahulu dan jaga serialisasinya deterministik: instruksi sistem, skema alat, teks kebijakan, dan konteks referensi bersama sebaiknya mempertahankan urutan, spasi kosong, dan representasi field yang sama di seluruh panggilan terkait. Tambahkan konten volatil setelahnya. Hindari menyuntikkan stempel waktu, pengidentifikasi acak, penghitung yang terus berubah, atau hasil pengambilan khusus permintaan ke dalam prefiks yang dapat digunakan ulang kecuali benar-benar diperlukan di sana.
Versikan materi yang stabil secara sengaja. Jika skema alat atau kebijakan berubah, tetapkan versi baru secara konsisten alih-alih membiarkan beberapa varian yang hampir identik beredar. Untuk beban kerja percakapan atau agentik, gunakan kembali pengenal sesi yang stabil atau kunci cache saat API mendukungnya, dan hindari berpindah penyedia dalam urutan yang bergantung pada cache yang sama. OpenRouter mendokumentasikan perutean yang melekat pada penyedia untuk caching prompt dan mengekspos kontrol seperti session_id dan prompt_cache_key; kontrol tersebut dapat meningkatkan kontinuitas, tetapi tidak menjamin hit saat cache upstream dingin atau kedaluwarsa.
Aplikasi juga harus menurun dengan mulus saat terjadi miss. Caching adalah optimasi biaya dan latensi, bukan dependensi pada kebenaran. Permintaan harus tetap menghasilkan hasil yang valid ketika cache tidak tersedia, dan logika retry tidak boleh membabi buta membuat penulisan berulang. Pemisahan itu membuat perbandingan rute lebih aman: tim dapat mengubah kebijakan caching atau konfigurasi gateway tanpa mengubah perilaku semantik aplikasi.
Cara memverifikasi ekonomi cache di produksi
Mulailah dengan telemetri per permintaan, bukan tagihan bulanan. Catat pengenal model yang tepat, rute gateway atau penyedia ketika diekspos, tier layanan, total token input, token baca-cache, token tulis-cache, token output, latensi, dan biaya yang ditagihkan. Objek penggunaan OpenRouter menyertakan cached_tokens dan cache_write_tokens; penyedia lain mengekspos detail setara di bawah nama field yang berbeda. Pertahankan field penggunaan mentah sehingga perubahan harga di kemudian hari tidak menghapus bukti yang diperlukan untuk merekonstruksi biaya.
Agregasikan data berdasarkan versi prompt dan beban kerja, bukan hanya berdasarkan model. Ukuran yang berguna mencakup pangsa permintaan yang memenuhi syarat yang mengenai cache, pangsa token input yang ditagih pada tarif baca, penulisan per pembacaan yang berhasil, waktu antara penulisan dan hit terakhir, dan biaya yang direalisasikan per permintaan. Tingkat hit pada level permintaan yang tinggi masih bisa memberikan nilai kecil jika prefiks yang di-cache kecil, sementara tingkat hit yang lebih rendah pada prefiks yang sangat besar mungkin menghemat lebih banyak. Pasangkan ukuran-ukuran itu dengan persentil latensi, karena rute yang lebih murah yang berulang kali miss atau berubah rute bisa lebih buruk secara operasional.
Akhirnya, tinjau anomali alih-alih menghaluskannya. Penurunan mendadak dalam token yang di-cache dapat mengindikasikan peluncuran versi prompt, serialisasi yang tidak stabil, entri kedaluwarsa, batas tier konteks panjang, atau perubahan rute gateway. Bandingkan permintaan yang terpengaruh dengan halaman model saat ini dan dokumentasi penyedia, lalu verifikasi tarif yang ditagihkan. Ini menutup celah antara diskon yang dipublikasikan dan penghematan yang benar-benar direalisasikan aplikasi.
Apa yang perlu diperiksa sebelum menganggap suatu tarif berlaku
Konfirmasikan lima item sebelum menggunakan tarif yang dipublikasikan dalam anggaran: model dan tier layanan yang tepat, prefiks yang dapat digunakan ulang minimum atau breakpoint cache eksplisit, biaya penulisan pertama atau penyimpanan, masa berlaku cache, dan bukti bahwa permintaan benar-benar mengenai cache. OpenAI saat ini menyatakan masa hidup cache minimum 30 menit untuk GPT-5.6, tetapi itu bukan aturan retensi universal. Google memublikasikan tarif berbeda untuk tier layanan Standard, Batch, Flex, dan Priority. Gateway juga dapat merutekan di antara penyedia atau tier, sehingga rute yang dipilih penting. Dokumentasi prompt-caching OpenRouter merekomendasikan memeriksa field penggunaan respons seperti cached_tokens dan cache_write_tokens. Untuk estimasi produksi apa pun, bandingkan halaman model saat ini dengan penagihan dan metadata penggunaan aktual alih-alih hanya mengandalkan label umum “caching didukung”.