Produktions-AI / Eksempel
Multi-Model Fallback-Playbook til pรฅlidelige AI API'er
En praktisk arkitektur til at genprรธve providers, skifte modeller og beskytte kvaliteten uden at skabe en ukontrolleret fallback-kรฆde.
Retry den samme rute kun ved midlertidige fejl som timeout og 429-svar.
Fail over til en model, der opfylder de samme krav til kapabilitet og output-kontrakt.
Sรฆt et maksimalt omkostnings- og latenbudget for hele anmodningen, ikke for hvert forsรธg.
Log provider, model, fejlkategori, retry-tรฆller og endelig rute for hver anmodning.