AI in produzione / Esempio
Playbook di fallback multi-modello per API AI affidabili
Un'architettura pratica per riprovare i provider, cambiare modello e proteggere la qualità senza creare una catena di fallback fuori controllo.
Ripeti lo stesso percorso solo per guasti transitori come timeout e risposte 429.
Effettua il failover verso un modello che soddisfi gli stessi requisiti di capacità e di contratto di output.
Imposta un budget massimo di costo e latenza per l'intera richiesta, non per ogni tentativo.
Registra provider, modello, classe di errore, conteggio dei retry e percorso finale per ogni richiesta.