Produksjons-AI / Eksempel
Playbook for fallback med flere modeller for pålitelige AI API-er
En praktisk arkitektur for å prøve leverandører på nytt, bytte modeller og beskytte kvalitet uten å skape en ukontrollert fallback-kjede.
Prøv samme rute på nytt bare ved midlertidige feil som timeouts og 429-svar.
Fail over til en modell som oppfyller de samme kravene til kapasitet og utdata-kontrakt.
Sett et maksimalt kostnads- og latensbudsjett for hele forespørselen, ikke for hvert forsøk.
Logg leverandør, modell, feilkategori, antall retries og endelig rute for hver forespørsel.