Сенімді AI API үшін көпмодельді fallback playbook

Негізгі тұжырымдар

Бір маршрутты тек timeout, 429 жауаптары сияқты уақытша қателер үшін ғана қайта әрекетке қосыңыз.

Сол capability және output-contract талаптарын қанағаттандыратын model-ге failover жасаңыз.

Әр әрекет үшін емес, бүкіл сұрау үшін ең жоғары cost және latency бюджеттерін орнатыңыз.

Әр сұрау үшін provider, model, error class, retry count және final route мәндерін журналға жазыңыз.

Retry мен fallback-ты бөліңіз

Retry сұрауды сол маршрутқа қайта жібереді, өйткені қате уақытша болуы мүмкін. Fallback provider немесе model-ді өзгертеді, өйткені бастапқы маршрут қолжетімсіз немесе жарамсыз.

Осы екі әрекетті бір жалпы retry циклі ретінде қарастыру инциденттерді талдауды қиындатады және сәттілік деңгейін жақсартпай-ақ шығынды көбейте алады.

Retry: timeout, connection reset, 429 немесе уақытша 5xx response.
Fallback: провайдердің қайталанған істен шығуы, model capacity мәселесі немесе policy шектеуі.
Тоқау: жарамсыз сұрау, қолдау көрсетілмейтін параметр немесе output validation сәтсіздігі.

Capability-мен үйлесімді route table құрыңыз

Fallback model-дер бренд бойынша емес, capability бойынша топтастырылуы керек. Vision сұрауы text-only model-ге fallback жасай алмайды, ал қатаң JSON workflow схеманы жиі бұзатын model-ге бағытталмауы тиіс.

Қажетті input және output modality-лері.
Ең аз context және output ұзындығы.
Tool calling және structured-output қолдауы.
Рұқсат етілетін ең жоғары price және latency.

Бір request-level бюджет қолданыңыз

Request бюджеті әр retry және fallback әрекетін қамтуы тиіс. Келесі әрекетті бастамас бұрын, қалған latency және cost бюджеті оны қолдай алатынын тексеріңіз.

const routePolicy = {
  maxAttempts: 3,
  maxLatencyMs: 18_000,
  maxEstimatedCost: 0.12,
  retryOn: [408, 429, 500, 502, 503, 504],
  fallbackModels: ['primary-model', 'quality-fallback', 'fast-fallback'],
};

Тек availability емес, fallback сапасын да өлшеңіз

Сәтті қайтқан сұрау да өнімдік сәтсіздік болуы мүмкін. Fallback оқиғасынан кейін output validation, пайдаланушы түзетуі және task completion көрсеткіштерін қадағалаңыз.

Ұсынылатын dashboard: route success, fallback rate, p95 latency, estimated cost, validation pass rate және model бойынша quality score.

Жиі қойылатын сұрақтар

Әр failed AI request fallback model қолдануы керек пе?

Жоқ. Жарамсыз параметрлер, қолдау көрсетілмейтін input-тер және failed safety checks бірден тоқтауы тиіс. Fallback басқа үйлесімді маршрут сол task-ты шынайы аяқтай алатын кезде ғана орынды.

AI request қанша fallback әрекетіне рұқсат беруі керек?

Көпшілік interactive workflow-тер жалпы санды екі немесе үш әрекетпен шектегені дұрыс. Дұрыс шек қалған latency бюджетіне, task құнына және estimated cost-қа байланысты.