Cara Mengurangi Biaya Token Agen AI di Lingkungan Produksi

TL;DR

Biaya token agen AI meningkat ketika setiap langkah berulang kali memproses instruksi, riwayat percakapan, hasil alat, dan status perantara.

Kurangi volume token dengan anggaran tingkat run, pemfilteran hasil alat, pemadatan konteks, batas retry, dan penalaran terkontrol. Gunakan prompt caching untuk input berulang yang stabil, tetapi optimalkan loop agen sebelum beralih ke model yang lebih murah.

Metrik produksi paling berguna adalah biaya per tugas yang berhasil, diukur sepanjang keseluruhan run—bukan harga per permintaan atau ukuran konteks pada panggilan terakhir.

Panduan ini berfokus khusus pada agen AI multi-langkah. Ini menjelaskan bagaimana konteks yang diulang-ulang bertambah sepanjang run, cara mengidentifikasi sumber pemborosan terbesar, dan kontrol mana yang diterapkan terlebih dahulu.

Introduction

Sebuah chatbot mungkin membuat satu permintaan model per pesan pengguna. Sebuah agen AI dapat melakukan 10, 20, atau lebih panggilan sebelum menyelesaikan satu tugas.

Setiap langkah mungkin mengirim ulang instruksi, riwayat percakapan, hasil alat, dan status perantara. Retry, penalaran, dan subagen menambah penggunaan, sehingga jawaban akhir yang singkat pun tetap dapat mengonsumsi banyak token.

Seiring skala penggunaan, biaya ini menjadi lebih sulit diprediksi dan dapat dengan cepat mengurangi margin produk. Menurunkannya memerlukan optimalisasi seluruh loop agen—bukan sekadar beralih ke model yang lebih murah.

Artikel ini berfokus pada biaya spesifik Agen. Untuk panduan yang lebih luas mencakup prompt caching, exact response caching, semantic caching, perutean model, dan manajemen biaya API umum, lihat How to Reduce AI API Costs.

Why Do AI Agent Token Costs Compound?

Dalam agen multi-langkah, biaya satu tugas adalah jumlah dari setiap panggilan model—bukan hanya respons akhir.

Sumber utama penggunaan Token Agen adalah:

Ada dua cara berbeda untuk mengurangi tagihan:

1. Memproses lebih sedikit token melalui penyaringan, pemadatan, batas output, dan kontrol loop.
2. Mengurangi harga efektif token yang diperlukan melalui prompt caching atau pemilihan model.

Perbedaan kunci: Prompt caching menurunkan biaya input berulang. Pemadatan konteks mengurangi input berulang itu sendiri.

How Can a 12-Step Agent Process 147,000 Tokens?

Pertimbangkan agen dukungan hipotetis dengan:

• Prefiks stabil 4.000 token
• 1.500 token baru ditambahkan setelah setiap langkah
• Riwayat yang terakumulasi lengkap dikirim ulang pada setiap permintaan
• Total 12 panggilan model

Input pada langkah n adalah:

Input at step n = 4,000 + 1,500 × (n - 1)

Input kumulatif di 12 panggilan adalah:

Total input
= 4,000 × 12 + 1,500 × (0 + 1 + ... + 11)
= 48,000 + 99,000
= 147,000 input tokens

Panggilan terakhir hanya berisi 20.500 token input, tetapi seluruh run memproses 147.000 token input kumulatif.

Sekarang terapkan dua kontrol:

1. Cache prefiks stabil 4.000 token setelah panggilan pertama.
2. Padatkan riwayat setelah langkah enam menjadi ringkasan status 2.500 token.

Ini adalah perhitungan perencanaan, bukan tolok ukur penyedia.

Asumsinya setiap permintaan menyertakan riwayat terakumulasi lengkap. Agen yang secara selektif menyusun status, meringkas pesan lama, atau hanya mengambil informasi relevan dapat mengikuti kurva biaya yang berbeda.

Aturan pertumbuhan biaya: Ukur input kumulatif di seluruh run. Ukuran konteks akhir tidak mewakili total jumlah token yang diproses.

Which Metrics Reveal Agent Token Waste?

Jangan mulai dengan mengubah model. Identifikasi dulu di mana alur kerja menghabiskan token tanpa meningkatkan hasil.

Catat field berikut untuk setiap langkah Agen:

Metrik utama sebaiknya:

cost per successful task
= total workflow cost
/ accepted tasks

Run yang lebih murah bukanlah perbaikan jika menyebabkan lebih banyak tugas gagal, alat diulang, atau koreksi manusia.

Empat metrik khusus Agen membantu menemukan masalah.

Context Amplification

context amplification
= cumulative input tokens
/ final-step input tokens

Nilai tinggi menunjukkan konteks awal telah diproses berulang kali.

Tool Retention Ratio

tool retention ratio
= tool-result tokens retained in context
/ tokens originally returned by tools

Rasio tinggi dapat mengindikasikan Agen membawa terlalu banyak bukti mentah antar langkah.

Retry Tax

retry tax
= retry and repair cost
/ total workflow cost

Reasoning Share

reasoning share
= reasoning-token cost
/ total model cost

Ukur setiap jenis beban kerja secara terpisah. Agen riset, pemrograman, browser, dan dukungan pelanggan sebaiknya tidak berbagi satu garis dasar global.

Six Ways to Reduce AI Agent Token Costs

1. Set a Budget for the Complete Run

Batas output per permintaan tidak mengendalikan Agen multi-langkah.

Tetapkan batas tingkat run untuk:

• Total langkah model
• Input dan output kumulatif
• Panggilan alat dan ukuran hasil alat
• Retry berdasarkan jenis kegagalan
• Subagen
• Total waktu berlalu atau biaya estimasi

Contoh Python netral penyedia berikut mengevaluasi run sebelum setiap panggilan model:

from dataclasses import dataclass
from enum import Enum


class Action(str, Enum):
    CONTINUE = "continue"
    COMPACT = "compact"
    STOP = "stop"


@dataclass(frozen=True)
class Budget:
    max_steps: int = 12
    max_input_tokens: int = 120_000
    max_output_tokens: int = 18_000
    compact_at: float = 0.80


@dataclass
class Usage:
    steps: int = 0
    input_tokens: int = 0
    output_tokens: int = 0


def evaluate_budget(usage: Usage, budget: Budget) -> Action:
    if (
        usage.steps >= budget.max_steps
        or usage.input_tokens >= budget.max_input_tokens
        or usage.output_tokens >= budget.max_output_tokens
    ):
        return Action.STOP

    input_ratio = usage.input_tokens / budget.max_input_tokens

    if input_ratio >= budget.compact_at:
        return Action.COMPACT

    return Action.CONTINUE

Jalankan pemeriksaan sebelum setiap permintaan model dan perbarui Usage dari data token yang dilaporkan penyedia.

Pada 80% dari anggaran input, padatkan status atau persempit kueri alat berikutnya. Pada 100%, hentikan dengan alasan terstruktur.

Kesalahan umum: Membatasi setiap respons sambil membiarkan langkah, alat, dan retry tanpa batas.

2. Filter Tool Results Before They Enter the Transcript

Kembalikan hanya bukti yang diperlukan untuk keputusan berikutnya dari Agen.

Jangan lampirkan seluruh:

• Halaman web
• Berkas log
• Pohon repositori
• Respons database
• Sesi terminal
• Payload API

ketika langkah berikutnya hanya membutuhkan beberapa field.

Sebuah alat pencarian mungkin mengembalikan:

{
  "source_id": "search_17",
  "title": "Relevant page title",
  "url": "https://example.com/page",
  "relevant_passage": "A short evidence block"
}

Simpan artefak lengkap di luar prompt dan ambil bagian yang lebih sempit nanti.

Aturan pemfilteran alat: Kembalikan field yang diperlukan untuk keputusan berikutnya—bukan setiap field yang mungkin berguna nanti.

Kesalahan umum: Memotong 1.000 karakter pertama dari payload JSON. Ini dapat merusak struktur atau menghapus catatan yang sebenarnya dibutuhkan Agen.

Parse payload terlebih dahulu, pilih field secara struktural, batasi array, lalu serialkan JSON yang valid.

3. Compact Operational State, Not Just Conversation Text

Pemadatan harus mempertahankan informasi yang diperlukan untuk melanjutkan tugas sambil menghapus riwayat yang tidak lagi memengaruhi tindakan berikutnya.

Status yang dipadatkan dengan baik berisi:

• Tujuan pengguna dan kriteria keberhasilan
• Keputusan yang sudah dibuat
• Fakta terverifikasi dan ID sumber
• Berkas atau catatan yang diubah
• Pendekatan yang gagal
• Pertanyaan terbuka
• Aksi berikutnya
• Batasan keamanan dan output

Status tidak boleh menceritakan ulang percakapan penuh.

OpenAI mendokumentasikan pemadatan untuk interaksi Responses API jangka panjang. Anthropic menyediakan kontrol manajemen konteks untuk menghapus atau meringkas konten lama. Implementasinya berbeda, jadi verifikasi field penyedia saat ini sebelum integrasi.

Aturan pemadatan: Pertahankan keputusan dan pekerjaan yang belum terselesaikan. Hapus narasi dan bukti yang dapat diambil kembali.

Kesalahan umum: Menghapus ID sumber, nama berkas yang diubah, pendekatan yang ditolak, atau batasan yang belum terselesaikan.

Setelah menambahkan pemadatan, ukur apakah Agen mengulang pencarian atau panggilan alat. Prompt yang lebih pendek tidak lebih murah jika Agen harus membangun kembali status yang hilang.

4. Keep the Reusable Prefix Stable

Prompt Agen sering berisi blok yang dapat digunakan ulang dalam jumlah besar:

• Instruksi sistem
• Skema alat
• Kebijakan keamanan
• Format output
• Materi referensi bersama
• Instruksi repositori atau produk

Tempatkan elemen stabil ini sebelum data spesifik permintaan:

1. System instructions
2. Policies and constraints
3. Tool definitions
4. Stable examples
5. Shared reference material
6. Request-specific data

Hindari menempatkan cap waktu, ID permintaan, data sesi, atau nilai yang sering berubah di dekat awal.

Caching paling berguna ketika prefiks panjang, stabil, dan digunakan kembali. Ini mungkin tidak menghemat biaya untuk sesi pendek atau prompt yang sering berubah.

Kesalahan umum: Mengoptimalkan tingkat hit cache tanpa mengukur biaya penulisan, pembacaan, atau penyimpanan cache.

Untuk perbandingan lebih luas tentang prompt caching, exact response caching, dan semantic caching, lihat How to Reduce AI API Costs.

5. Prevent Retries From Replaying the Same Context

Retry adalah langkah Agen lain, sering kali dengan prompt besar yang sama.

Jangan mengulang permintaan yang gagal tanpa mengubah penyebab kegagalan.

Gunakan kunci idempoten untuk operasi yang menimbulkan efek samping seperti pembayaran, email, deployment, dan penulisan database.

Kesalahan umum: Mengulang model yang terkena rate limit beberapa kali sambil mengirim ulang seluruh konteks Agen pada setiap percobaan.

Lacak pajak retry berdasarkan jenis kegagalan sehingga tim dapat memperbaiki loop terbesar terlebih dahulu.

6. Limit Reasoning and Subagents to Steps That Need Them

Tidak setiap langkah Agen memerlukan penalaran mendalam.

Ekstraksi, pemformatan, klasifikasi, validasi, dan pemilihan alat rutin sering kali dapat menggunakan upaya penalaran yang lebih rendah dan output terstruktur yang ringkas.

Simpan upaya penalaran yang lebih tinggi untuk tugas seperti:

• Perencanaan yang kompleks
• Pemrograman yang sulit
• Sintesis multi-dokumen
• Keputusan ambigu
• Pemulihan dari eksekusi yang gagal

Aturan penalaran: Gunakan upaya penalaran serendah mungkin yang tetap mempertahankan tingkat tugas diterima.

Subagen juga memerlukan batas yang jelas. Berikan setiap pekerja:

• Tugas yang sempit
• Irisan konteks khusus tugas
• Daftar izin alat
• Anggaran token
• Skema output yang ringkas

Agen akar biasanya membutuhkan temuan, ID bukti, tingkat keyakinan, dan masalah yang belum terselesaikan—bukan transkrip penuh pekerja.

Aturan subagen: Paralelkan pekerjaan yang independen, bukan konteks yang diduplikasi.

Kesalahan umum: Mengirim riwayat Agen akar lengkap ke setiap pekerja sebelum memberikan tugas sempit.

Which Optimization Should You Apply First?

Gunakan telemetri Agen untuk memilih intervensi pertama.

Ambang di bawah ini adalah pemicu investigasi, bukan standar universal.

Urutan implementasi yang aman:

1. Ukur input kumulatif, retensi alat, retry, dan penalaran.
2. Tambahkan batas keras untuk langkah, alat, retry, dan total token.
3. Saring hasil alat yang besar.
4. Padatkan status lama pada ambang yang terukur.
5. Stabilkan prefiks prompt yang dapat digunakan ulang.
6. Bandingkan rute model hanya setelah loop Agen bersih.

Ubah satu variabel besar pada satu waktu dan putar ulang set evaluasi yang sama.

Bandingkan:

• Tingkat penerimaan tugas
• Biaya per tugas yang berhasil
• Input kumulatif
• Jumlah panggilan alat
• Pajak retry
• Porsi penalaran
• p50 dan p95 latensi
• Waktu tinjauan manusia

Kembalikan perubahan yang menghemat token dengan mengurangi kualitas tugas atau menghapus bukti yang diperlukan.

Test Agent Workflows With CometAPI

Sebelum menjalankan evaluasi multi-model, gunakan halaman harga CometAPI dan panduan estimasi biaya untuk memperkirakan biaya input, output, token di-cache, dan penalaran.

Lalu gunakan katalog model untuk mengidentifikasi rute yang memenuhi syarat dan Quickstart untuk mengonfigurasi klien yang kompatibel dengan OpenAI.

Untuk fallback produksi, ikuti panduan fallback model CometAPI untuk beralih rute tanpa mengulang panggilan alat yang sudah selesai atau membuang status yang telah divalidasi.

Akses terpadu menyederhanakan perbandingan model dan integrasi fallback. Anggaran token, pemadatan, validasi, pemfilteran alat, batas retry, dan kriteria penerimaan tetap berada di tingkat aplikasi.

FAQ

Mengapa agen AI menggunakan lebih banyak token daripada chatbot?

Agen melakukan banyak panggilan model dan mungkin mengirim ulang pesan sebelumnya, hasil alat, instruksi, dan status perantara pada setiap langkah. Ini menyebabkan konteks awal diproses berulang kali.

Apakah prompt caching mengurangi penggunaan context window?

Tidak. Prompt caching dapat menurunkan harga efektif atau latensi input berulang, tetapi token yang di-cache tetap menjadi bagian dari konteks yang diproses. Gunakan pemadatan, penyaringan, atau pengambilan selektif untuk mengurangi ukuran prompt.

Kapan agen AI harus memadatkan konteksnya?

Padatkan sebelum pertumbuhan konteks mulai memengaruhi biaya, latensi, atau ruang output yang tersedia. Verifikasi bahwa status yang dipadatkan mempertahankan keputusan, ID bukti, berkas yang diubah, pertanyaan terbuka, dan batasan keamanan.

Apakah subagen mengurangi biaya token?

Tidak secara otomatis. Mereka dapat mengurangi waktu berlalu atau meningkatkan cakupan untuk pekerjaan yang independen, tetapi konteks yang diduplikasi dan analisis yang tumpang tindih sering kali meningkatkan penggunaan Token total.

Apa metrik terbaik untuk optimisasi biaya agen AI?

Gunakan biaya per tugas yang berhasil sebagai metrik utama. Diagnosis dengan input kumulatif, amplifikasi konteks, retensi alat, pajak retry, porsi penalaran, latensi, dan waktu tinjauan manusia.