Производственный AI / Пример
Руководство по fallback для нескольких моделей для надежных AI API
Практическая архитектура для повторных попыток у провайдеров, переключения моделей и защиты качества без создания неконтролируемой цепочки fallback.
Повторяйте запрос по тому же маршруту только при временных сбоях, таких как таймауты и ответы 429.
Переключайтесь на модель, которая соответствует тем же требованиям к возможностям и контракту вывода.
Задавайте максимальный бюджет по стоимости и задержке для всего запроса, а не для каждой попытки.
Логируйте провайдера, модель, класс ошибки, число повторов и конечный маршрут для каждого запроса.