Produkcja AI / Przykład
Playbook fallbacku wielomodelowego dla niezawodnych API AI
Praktyczna architektura do ponawiania prób u dostawców, przełączania modeli i ochrony jakości bez tworzenia niekontrolowanego łańcucha fallbacków.
Ponawiaj tę samą trasę tylko w przypadku przejściowych awarii, takich jak timeouty i odpowiedzi 429.
Przełączaj się na model, który spełnia te same wymagania dotyczące możliwości i kontraktu wyjściowego.
Ustal maksymalny budżet kosztu i opóźnienia dla całego żądania, a nie dla każdej próby.
Rejestruj dostawcę, model, klasę błędu, liczbę ponowień i ostateczną trasę dla każdego żądania.