پروڈکشن میں AI ایجنٹ کے ٹوکن اخراجات کیسے کم کریں

TL;DR

AI ایجنٹ کے ٹوکن اخراجات اس وقت بڑھتے ہیں جب ہر مرحلہ ہدایات، گفتگو کی تاریخ، ٹول کے نتائج، اور درمیانی حالت کو بار بار پروسیس کرتا ہے۔

رن سطح کے بجٹ، ٹول نتائج کی فلٹرنگ، سیاق و سباق کی کمپیکشن، ریٹری حدود، اور کنٹرولڈ ریزننگ کے ذریعے ٹوکن کی مقدار کم کریں۔ مستحکم دہرائے جانے والے ان پٹ کے لیے پرومپٹ کیشنگ استعمال کریں، لیکن سستے ماڈل پر جانے سے پہلے ایجنٹ لوپ کو بہتر بنائیں۔

سب سے مفید پروڈکشن میٹرک پوری رَن کے دوران ناپی گئی ہر کامیاب ٹاسک کی لاگت ہے—not فی ریکویسٹ قیمت یا آخری کال کے کانٹیکسٹ کا سائز۔

یہ گائیڈ خاص طور پر ملٹی اسٹیپ AI ایجنٹس پر مرکوز ہے۔ یہ بتاتا ہے کہ دہرایا گیا کانٹیکسٹ پوری رَن میں کیسے جمع ہوتا ہے، ضیاع کے سب سے بڑے منبع کی شناخت کیسے کریں، اور پہلے کون سے کنٹرولز نافذ کیے جائیں۔

Introduction

ایک چیٹ بوٹ ممکن ہے کہ ہر صارف پیغام پر ایک ماڈل ریکویسٹ کرے۔ ایک AI ایجنٹ ایک ٹاسک مکمل کرنے سے پہلے 10، 20، یا اس سے زیادہ کالز کر سکتا ہے۔

ہر مرحلہ ہدایات، گفتگو کی تاریخ، ٹول کے نتائج، اور درمیانی حالت کو دوبارہ بھیج سکتا ہے۔ ریٹریز، ریزننگ، اور سب ایجنٹس مزید استعمال بڑھاتے ہیں، اس لیے ایک مختصر آخری جواب بھی بڑی تعداد میں ٹوکن استعمال کر سکتا ہے۔

جیسے جیسے استعمال بڑھتا ہے، یہ اخراجات پیش‌بینی کرنا مشکل ہو جاتے ہیں اور جلدی سے پروڈکٹ مارجن کم کر سکتے ہیں۔ انہیں کم کرنے کے لیے پورے ایجنٹ لوپ کو بہتر بنانا ضروری ہے—صرف سستے ماڈل پر منتقل ہونا کافی نہیں۔

یہ مضمون ایجنٹ سے متعلق خاص اخراجات پر توجہ دیتا ہے۔ پرومپٹ کیشنگ، ایکزیکٹ ریسپانس کیشنگ، سیمنٹک کیشنگ، ماڈل راؤٹنگ، اور عام API لاگت مینجمنٹ کے لیے وسیع گائیڈ کے لیے یہ دیکھیں: AI API اخراجات کیسے کم کریں۔

Why Do AI Agent Token Costs Compound?

ملٹی اسٹیپ ایجنٹ میں، ایک ٹاسک کی لاگت ہر ماڈل کال کے مجموعے کے برابر ہوتی ہے—صرف آخری ریسپانس نہیں۔

ایجنٹ ٹوکن استعمال کے اہم ذرائع یہ ہیں:

بل کم کرنے کے دو واضح طریقے ہیں:

1. فلٹرنگ، کمپیکشن، آؤٹ پٹ حدود، اور لوپ کنٹرولز کے ذریعے کم ٹوکن پروسیس کریں۔
2. ضروری ٹوکن کی مؤثر قیمت کم کریں—پرومپٹ کیشنگ یا ماڈل کے انتخاب کے ذریعے۔

اہم فرق: پرومپٹ کیشنگ دہرائے جانے والے ان پٹ کی قیمت کم کرتی ہے۔ کانٹیکسٹ کمپیکشن خود اس دہرائے جانے والے ان پٹ کو کم کرتی ہے۔

How Can a 12-Step Agent Process 147,000 Tokens?

ایک فرضی سپورٹ ایجنٹ کو تصور کریں جس میں:

• 4,000 ٹوکن پر مشتمل ایک مستحکم سابقہ
• ہر مرحلے کے بعد 1,500 نئے ٹوکن شامل ہوتے ہیں
• ہر درخواست میں پوری جمع شدہ تاریخ دوبارہ بھیجی جاتی ہے
• کل 12 ماڈل کالز

مرحلہ n پر ان پٹ یہ ہے:

Input at step n = 4,000 + 1,500 × (n - 1)

12 کالز میں مجموعی ان پٹ:

Total input
= 4,000 × 12 + 1,500 × (0 + 1 + ... + 11)
= 48,000 + 99,000
= 147,000 input tokens

آخری کال میں صرف 20,500 ان پٹ ٹوکنز ہوتے ہیں، لیکن پوری رَن میں 147,000 مجموعی ان پٹ ٹوکنز پروسیس ہوتے ہیں۔

اب دو کنٹرولز لگائیں:

1. پہلی کال کے بعد مستحکم 4,000 ٹوکن والا سابقہ کیش کریں۔
2. چھٹے مرحلے کے بعد تاریخ کو 2,500 ٹوکنز کی اسٹیٹ سمری میں کمپیکٹ کریں۔

یہ منصوبہ بندی کا حساب ہے، کسی پرووائیڈر کا بینچ مارک نہیں۔

یہ فرض کرتا ہے کہ ہر درخواست میں مکمل جمع شدہ تاریخ شامل ہے۔ جو ایجنٹس ریاست کو منتخب طور پر بناتے، پرانے پیغامات کو خلاصہ کرتے، یا صرف متعلقہ معلومات بازیافت کرتے ہیں، ان کی لاگت کا منحنیہ مختلف ہو سکتا ہے۔

لاگت بڑھنے کا اصول: پوری رَن میں مجموعی ان پٹ ناپیں۔ آخری کانٹیکسٹ سائز پروسیس کیے گئے کل ٹوکنز کی نمائندگی نہیں کرتا۔

Which Metrics Reveal Agent Token Waste?

ماڈلز بدلنے سے شروع نہ کریں۔ پہلے شناخت کریں کہ ورک فلو کہاں ٹوکنز خرچ کر رہا ہے بغیر نتیجہ بہتر کیے۔

ہر ایجنٹ مرحلے کے لیے یہ فیلڈز ریکارڈ کریں:

بنیادی میٹرک یہ ہونا چاہیے:

cost per successful task
= total workflow cost
/ accepted tasks

ایک سستا رَن بہتری نہیں جب وہ زیادہ ناکام ٹاسکس، دہرائے گئے ٹولز، یا انسانی تصحیح کا باعث بنے۔

چار ایجنٹ مخصوص میٹرکس مسئلہ کی جگہ بتاتے ہیں۔

Context Amplification

context amplification
= cumulative input tokens
/ final-step input tokens

زیادہ قدر اس بات کی طرف اشارہ کرتی ہے کہ پہلے کا کانٹیکسٹ بار بار پروسیس ہوا ہے۔

Tool Retention Ratio

tool retention ratio
= tool-result tokens retained in context
/ tokens originally returned by tools

زیادہ تناسب اس امر کی علامت ہے کہ ایجنٹ بہت زیادہ خام شہادت مراحل کے درمیان اٹھا رہا ہے۔

Retry Tax

retry tax
= retry and repair cost
/ total workflow cost

Reasoning Share

reasoning share
= reasoning-token cost
/ total model cost

ہر ورک لوڈ کو الگ سے ناپیں۔ ریسرچ، کوڈنگ، براؤزر، اور کسٹمر سپورٹ ایجنٹس کے لیے ایک مشترک عالمی بیس لائن نہ رکھیں۔

Six Ways to Reduce AI Agent Token Costs

1. Set a Budget for the Complete Run

فی ریکویسٹ آؤٹ پٹ حد ایک ملٹی اسٹیپ ایجنٹ کو کنٹرول نہیں کرتی۔

رَن سطح پر حدود مقرر کریں برائے:

• کل ماڈل مراحل
• مجموعی ان پٹ اور آؤٹ پٹ
• ٹول کالز اور ٹول نتائج کا سائز
• ناکامی کی قسم کے مطابق ریٹریز
• سب ایجنٹس
• کل گزرا ہوا وقت یا اندازاً لاگت

ذیل کی پرووائیڈر نیوٹرل Python مثال ہر ماڈل کال سے پہلے رَن کا جائزہ لیتی ہے:

from dataclasses import dataclass
from enum import Enum


class Action(str, Enum):
    CONTINUE = "continue"
    COMPACT = "compact"
    STOP = "stop"


@dataclass(frozen=True)
class Budget:
    max_steps: int = 12
    max_input_tokens: int = 120_000
    max_output_tokens: int = 18_000
    compact_at: float = 0.80


@dataclass
class Usage:
    steps: int = 0
    input_tokens: int = 0
    output_tokens: int = 0


def evaluate_budget(usage: Usage, budget: Budget) -> Action:
    if (
        usage.steps >= budget.max_steps
        or usage.input_tokens >= budget.max_input_tokens
        or usage.output_tokens >= budget.max_output_tokens
    ):
        return Action.STOP

    input_ratio = usage.input_tokens / budget.max_input_tokens

    if input_ratio >= budget.compact_at:
        return Action.COMPACT

    return Action.CONTINUE

ہر ماڈل ریکویسٹ سے پہلے چیک چلائیں اور Usage کو پرووائیڈر کی رپورٹ کردہ ٹوکن ڈیٹا سے اپڈیٹ کریں۔

ان پٹ بجٹ کے 80% پر، حالت کو کمپیکٹ کریں یا اگلی ٹول کوئری کو محدود کریں۔ 100% پر، ساختہ وجہ کے ساتھ رُک جائیں۔

عام غلطی: ہر جواب کو محدود کرنا لیکن مراحل، ٹولز، اور ریٹریز کو لامحدود چھوڑ دینا۔

2. Filter Tool Results Before They Enter the Transcript

صرف وہ شہادت واپس کریں جو ایجنٹ کے اگلے فیصلے کے لیے درکار ہے۔

ایک مکمل:

• ویب صفحہ
• لاگ فائل
• ریپوزٹری ٹری
• ڈیٹا بیس ریسپانس
• ٹرمینل سیشن
• API پے لوڈ

مت شامل کریں جب اگلے مرحلے کو صرف چند فیلڈز درکار ہوں۔

سرچ ٹول یہ لوٹا سکتا ہے:

{
  "source_id": "search_17",
  "title": "Relevant page title",
  "url": "https://example.com/page",
  "relevant_passage": "A short evidence block"
}

پورا آرٹی فیکٹ پرامپٹ کے باہر ذخیرہ کریں اور بعد میں محدود سیکشن بازیافت کریں۔

ٹول فلٹرنگ اصول: اگلے فیصلے کے لیے درکار فیلڈز لوٹائیں—وہ نہیں جو شاید بعد میں مفید ہوں۔

عام غلطی: JSON پے لوڈ کے پہلے 1,000 حروف کو تراشنا۔ اس سے ساخت ٹوٹ سکتی ہے یا وہ ریکارڈ حذف ہو سکتے ہیں جن کی ایجنٹ کو ضرورت ہے۔

پے لوڈ کو پہلے پارس کریں، فیلڈز کو ساختی طور پر منتخب کریں، ارییز محدود کریں، پھر درست JSON سیریلائز کریں۔

3. Compact Operational State, Not Just Conversation Text

کمپیکشن کو وہ معلومات برقرار رکھنی چاہیے جو ٹاسک جاری رکھنے کے لیے ضروری ہے جبکہ وہ تاریخ حذف کرنی چاہیے جو اگلے عمل پر اثر انداز نہیں ہوتی۔

ایک مفید کمپیکٹڈ اسٹیٹ میں شامل ہو:

• صارف کا مقصد اور کامیابی کے معیارات
• کیے گئے فیصلے
• تصدیق شدہ حقائق اور سورس IDs
• بدلے گئے فائلیں یا ریکارڈز
• ناکام طریقے
• کھلے سوالات
• اگلا ایکشن
• سیفٹی اور آؤٹ پٹ پابندیاں

اسے پوری گفتگو کا احوال دوبارہ نہیں بتانا چاہیے۔

OpenAI طویل عرصہ چلنے والی Responses API انٹرایکشنز کے لیے کمپیکشن دستاویز کرتا ہے۔ Anthropic پرانے مواد کو صاف یا خلاصہ کرنے کے لیے کانٹیکسٹ مینجمنٹ کنٹرولز فراہم کرتا ہے۔ یہ نفاذ مختلف ہیں، اس لیے انضمام سے پہلے موجودہ پرووائیڈر فیلڈز کی توثیق کریں۔

کمپیکشن اصول: فیصلے اور نامکمل کام محفوظ رکھیں۔ وہ بیان اور شہادتیں ہٹائیں جو دوبارہ بازیافت ہو سکتی ہیں۔

عام غلطی: سورس IDs، بدلے گئے فائل نام، مسترد شدہ طریقے، یا نامکمل پابندیاں گرا دینا۔

کمپیکشن شامل کرنے کے بعد ناپیں کہ آیا ایجنٹ تلاشیں یا ٹول کالز دہرا رہا ہے۔ پرامپٹ چھوٹا ہونا سستا نہیں جب ایجنٹ کھویا ہوا اسٹیٹ دوبارہ بنانا پڑے۔

4. Keep the Reusable Prefix Stable

ایجنٹ پرامپٹس میں اکثر بڑے، دوبارہ قابلِ استعمال بلاکس ہوتے ہیں:

• سسٹم ہدایات
• ٹول اسکیمائیں
• سیفٹی پالیسیاں
• آؤٹ پٹ فارمیٹس
• مشترکہ حوالہ مواد
• ریپوزٹری یا پروڈکٹ ہدایات

ان مستحکم عناصر کو ریکویسٹ مخصوص ڈیٹا سے پہلے رکھیں:

1. System instructions
2. Policies and constraints
3. Tool definitions
4. Stable examples
5. Shared reference material
6. Request-specific data

ٹائم اسٹیمپس، ریکویسٹ IDs، سیشن ڈیٹا، یا وہ اقدار جو اکثر بدلتی ہیں، آغاز کے قریب مت رکھیں۔

کیشنگ اسی وقت زیادہ مفید ہے جب سابقہ لمبا، مستحکم، اور دوبارہ استعمال ہو۔ مختصر سیشنز یا بار بار بدلتے پرامپٹس میں شاید فائدہ نہ دے۔

عام غلطی: کیش ہِٹ ریٹ کو بہتر بنانا بغیر کیش لکھنے، پڑھنے، یا اسٹوریج لاگت ناپے۔

پرومپٹ کیشنگ، ایکزیکٹ ریسپانس کیشنگ، اور سیمنٹک کیشنگ کے وسیع موازنہ کے لیے دیکھیں: AI API اخراجات کیسے کم کریں۔

5. Prevent Retries From Replaying the Same Context

ریٹری ایک اور ایجنٹ مرحلہ ہے، اکثر اسی بڑے پرامپٹ کے ساتھ۔

خرابی کی وجہ بدلے بغیر ناکام ریکویسٹ کو دہرائیں نہیں۔

ادائیگیاں، ای میلز، ڈپلائمنٹس، اور ڈیٹا بیس رائٹس جیسے سائیڈ ایفیکٹ والے آپریشنز کے لیے idempotency keys استعمال کریں۔

عام غلطی: ریٹ لمٹ شدہ ماڈل کو کئی بار ریٹری کرنا اور ہر کوشش میں پورا ایجنٹ کانٹیکسٹ دوبارہ بھیجنا۔

ناکامی کی قسم کے مطابق ری ٹرائی ٹیکس ٹریک کریں تاکہ ٹیم سب سے بڑے لوپ کو پہلے ٹھیک کرے۔

6. Limit Reasoning and Subagents to Steps That Need Them

ہر ایجنٹ مرحلے کو گہری ریزننگ کی ضرورت نہیں۔

Extraction، فارمیٹنگ، کلاسیفیکیشن، ویلیڈیشن، اور معمول کی ٹول سیلیکشن اکثر کم ریزننگ اور کمپیکٹ ساختہ آؤٹ پٹ کے ساتھ ہو سکتی ہے۔

زیادہ ریزننگ ان کاموں کے لیے محفوظ رکھیں جیسے:

• پیچیدہ منصوبہ بندی
• مشکل کوڈنگ
• کثیر دستاویزی خلاصہ
• مبہم فیصلے
• ناکام نفاذ سے ریکوری

ریزننگ اصول: کم از کم وہ ریزننگ استعمال کریں جو قبول شدہ ٹاسک کی شرح برقرار رکھے۔

سب ایجنٹس کے لیے بھی واضح سرحد درکار ہے۔ ہر ورکر کو دیں:

• محدود ٹاسک
• ٹاسک مخصوص سیاق کا حصہ
• ٹول اجازت نامہ (allowlist)
• ٹوکن بجٹ
• کمپیکٹ آؤٹ پٹ اسکیما

روٹ ایجنٹ کو عموماً نتائج، شہادت IDs، اعتماد، اور نامکمل مسائل چاہئیں—ورکر کی مکمل ٹرانسکرپٹ نہیں۔

سب ایجنٹ اصول: آزاد کام کو متوازی کریں، دہرایا گیا کانٹیکسٹ نہیں۔

عام غلطی: روٹ ایجنٹ کی پوری تاریخ ہر ورکر کو اس سے پہلے بھیج دینا کہ اسے محدود ٹاسک دیا جائے۔

Which Optimization Should You Apply First?

ایجنٹ ٹیلی میٹری استعمال کر کے پہلی مداخلت منتخب کریں۔

ذیل کی حدیں تحقیق کے ٹرگر ہیں، عالمی معیارات نہیں۔

محفوظ نفاذ کی ترتیب یہ ہے:

1. مجموعی ان پٹ، ٹول برقرار رکھنا، ریٹریز، اور ریزننگ ناپیں۔
2. مراحل، ٹولز، ریٹریز، اور کل ٹوکنز پر سخت حدود لگائیں۔
3. بڑے ٹول نتائج فلٹر کریں۔
4. ماپی گئی حد پر پرانی حالت کمپیکٹ کریں۔
5. دوبارہ قابلِ استعمال پرامپٹ سابقہ مستحکم کریں۔
6. صرف ایجنٹ لوپ صاف ہونے کے بعد ماڈل روٹس کا موازنہ کریں۔

ایک وقت میں ایک بڑا متغیر بدلیں اور وہی ایویلوایشن سیٹ دوبارہ چلائیں۔

موازنہ کریں:

• ٹاسک قبولیت کی شرح
• ہر کامیاب ٹاسک کی لاگت
• مجموعی ان پٹ
• ٹول کال گنتی
• ری ٹرائی ٹیکس
• ریزننگ شیئر
• p50 اور p95 لیٹنسی
• انسانی جائزے کا وقت

وہ تبدیلیاں واپس لائیں جو ٹوکنز بچا کر ٹاسک کے معیار کو کم کرتی ہیں یا ضروری شہادت نکال دیتی ہیں۔

Test Agent Workflows With CometAPI

ملٹی ماڈل ایویلوایشن چلانے سے پہلے، CometAPI کے قیمت صفحہ اور لاگت کے تخمینے کی گائیڈ سے ان پٹ، آؤٹ پٹ، کیشڈ ٹوکن، اور ریزننگ لاگت کا اندازہ لگائیں۔

پھر ماڈل کیٹلاگ سے موزوں روٹس شناخت کریں اور Quickstart سے OpenAI مطابقت رکھنے والا کلائنٹ کنفیگر کریں۔

پروڈکشن fallback کے لیے، CometAPI ماڈل fallback گائیڈ پر عمل کریں تاکہ مکمل ہو چکے ٹول کالز کو دہرائے بغیر یا ویلیڈیٹڈ اسٹیٹ کو چھوڑے بغیر روٹس بدل سکیں۔

یونائیٹڈ ایکسیس ماڈل موازنے اور fallback انضمام کو آسان بناتا ہے۔ ٹوکن بجٹ، کمپیکشن، ویلیڈیشن، ٹول فلٹرنگ، ریٹری حدود، اور قبولیت کے معیارات پھر بھی ایپلیکیشن سطح پر ہونے چاہئیں۔

FAQ

AI ایجنٹس چیٹ بوٹس کی نسبت زیادہ ٹوکن کیوں استعمال کرتے ہیں؟

ایجنٹس متعدد ماڈل کالز کرتے ہیں اور ہر مرحلے میں پچھلے پیغامات، ٹول نتائج، ہدایات، اور درمیانی حالت کو دوبارہ بھیج سکتے ہیں۔ اس سے پہلے کا کانٹیکسٹ بار بار پروسیس ہوتا ہے۔

کیا پرومپٹ کیشنگ کانٹیکسٹ ونڈو کے استعمال کو کم کرتی ہے؟

نہیں۔ پرومپٹ کیشنگ دہرائے گئے ان پٹ کی مؤثر قیمت یا لیٹنسی کم کر سکتی ہے، لیکن کیشڈ ٹوکن پھر بھی پروسیسڈ کانٹیکسٹ کا حصہ ہوتے ہیں۔ پرامپٹ سائز کم کرنے کے لیے کمپیکشن، فلٹرنگ، یا منتخب بازیافت استعمال کریں۔

AI ایجنٹ کو اپنے کانٹیکسٹ کو کب کمپیکٹ کرنا چاہیے؟

اس سے پہلے کہ کانٹیکسٹ کی نمو لاگت، لیٹنسی، یا دستیاب آؤٹ پٹ اسپیس پر اثر انداز ہو۔ تصدیق کریں کہ کمپیکٹڈ اسٹیٹ فیصلے، سورس IDs، بدلی گئی فائلیں، کھلے سوالات، اور سیفٹی پابندیاں محفوظ رکھتا ہے۔

کیا سب ایجنٹس ٹوکن لاگت کم کرتے ہیں؟

ضروری نہیں۔ وہ آزاد کام کے لیے گزرا ہوا وقت کم یا کوریج بہتر کر سکتے ہیں، لیکن دہرایا گیا کانٹیکسٹ اور اوورلیپنگ تجزیہ اکثر کل ٹوکن استعمال بڑھاتے ہیں۔

AI ایجنٹ لاگت کی اصلاح کے لیے بہترین میٹرک کیا ہے؟

ہر کامیاب ٹاسک کی لاگت کو بنیادی میٹرک بنائیں۔ اسے مجموعی ان پٹ، سیاق کے اضافے، ٹول برقرار رکھنے، ری ٹرائی ٹیکس، ریزننگ شیئر، لیٹنسی، اور انسانی جائزے کے وقت سے تشخیص کریں۔