Production AI / Örnek
Güvenilir AI API’leri için Çoklu Model Fallback Playbook’u
Sağlayıcıları yeniden denemek, modeller arasında geçiş yapmak ve kaliteyi korumak için, kontrolsüz bir fallback zinciri oluşturmadan kullanılabilecek pratik bir mimari.
Aynı rotayı yalnızca zaman aşımı ve 429 yanıtları gibi geçici hatalar için yeniden deneyin.
Aynı yetenek ve çıktı sözleşmesi gereksinimlerini karşılayan bir modele failover yapın.
Her deneme için değil, tüm istek için bir maksimum maliyet ve gecikme bütçesi belirleyin.
Her istek için sağlayıcıyı, modeli, hata sınıfını, yeniden deneme sayısını ve son rotayı kaydedin.