AI Pengeluaran / Sampel
Buku Panduan Fallback Pelbagai Model untuk API AI yang Boleh Dipercayai
Seni bina praktikal untuk mencuba semula pembekal, menukar model dan melindungi kualiti tanpa mewujudkan rantaian fallback yang tidak terkawal.
Cuba semula laluan yang sama hanya untuk kegagalan sementara seperti tamat masa dan respons 429.
Failover ke model yang memenuhi keperluan keupayaan dan kontrak output yang sama.
Tetapkan bajet maksimum kos dan latensi untuk keseluruhan permintaan, bukan untuk setiap percubaan.
Log pembekal, model, kelas ralat, kiraan cubaan semula dan laluan akhir bagi setiap permintaan.