
AI Produksi / Contoh
Playbook Fallback Multi-Model untuk API AI yang Andal
Arsitektur praktis untuk melakukan retry pada penyedia, berpindah model, dan menjaga kualitas tanpa membentuk rantai fallback yang tidak terkendali.
Lakukan retry pada rute yang sama hanya untuk kegagalan sementara seperti timeout dan respons 429.
Lakukan fail over ke model yang memenuhi persyaratan kapabilitas dan kontrak output yang sama.
Tetapkan anggaran maksimum biaya dan latensi untuk seluruh permintaan, bukan untuk setiap percobaan.
Catat penyedia, model, kelas error, jumlah retry, dan rute akhir untuk setiap permintaan.