
پروڈکشن AI / نمونہ
قابلِ اعتماد AI APIs کے لیے Multi-Model Fallback Playbook
providers کو retry کرنے، models کو switch کرنے، اور quality کو بغیر کسی uncontrolled fallback chain کے محفوظ رکھنے کے لیے ایک عملی architecture۔
اسی route کو صرف transient failures، جیسے timeouts اور 429 responses، کے لیے retry کریں۔
ایسے model پر fail over کریں جو same capability اور output-contract requirements پوری کرتا ہو۔
ہر attempt کے بجائے پورے request کے لیے maximum cost اور latency budget مقرر کریں۔
ہر request کے لیے provider، model، error class، retry count اور final route log کریں۔