IA em produção / Exemplo
Playbook de fallback multimodelo para APIs de IA confiáveis
Uma arquitetura prática para tentar novamente com provedores, alternar modelos e proteger a qualidade sem criar uma cadeia de fallback sem controle.
Tente novamente na mesma rota apenas para falhas transitórias, como timeouts e respostas 429.
Faça failover para um modelo que atenda aos mesmos requisitos de capacidade e contrato de saída.
Defina um orçamento máximo de custo e latência para toda a solicitação, não para cada tentativa.
Registre o provedor, o modelo, a classe do erro, a quantidade de novas tentativas e a rota final de cada solicitação.