프로덕션 AI / 샘플
신뢰할 수 있는 AI API를 위한 멀티모델 폴백 플레이북
제공자 재시도, 모델 전환, 품질 보호를 가능하게 하면서 제어되지 않는 폴백 체인을 만들지 않는 실용적인 아키텍처.
타임아웃과 429 응답 같은 일시적 실패에 대해서만 동일한 라우트를 재시도합니다.
동일한 기능과 출력 계약 요구사항을 만족하는 모델로 페일오버합니다.
각 시도별이 아니라 전체 요청에 대한 최대 비용 및 지연 예산을 설정합니다.
모든 요청에 대해 제공자, 모델, 오류 클래스, 재시도 횟수, 최종 라우트를 기록합니다.