Productie-AI / Voorbeeld
Fallback-playbook voor meerdere modellen voor betrouwbare AI API
Een praktische architectuur voor het opnieuw proberen van providers, het wisselen van modellen en het beschermen van kwaliteit zonder een onbeheersbare fallback-keten te creรซren.
Probeer alleen dezelfde route opnieuw bij tijdelijke fouten zoals time-outs en 429-responses.
Schakel over naar een model dat voldoet aan dezelfde vereisten voor mogelijkheden en outputcontract.
Stel een maximaal kosten- en latentiebudget in voor het volledige verzoek, niet voor elke poging.
Log provider, model, foutklasse, aantal retries en uiteindelijke route voor elk verzoek.