Бенчмарктер және есептер / Үлгі
AI API кідіріс бенчмаркі: TTFT, өткізу қабілеті және сенімділік
Time-to-first-token, генерация жылдамдығы және жалпы жауап беру уақытын шатастырмай, AI API кідірісін өлшеуге арналған ашық әдістеме.
TTFT жауап беру жылдамдығын өлшейді; секундына токендер генерация жылдамдығын өлшейді.
Әр route үшін бірдей model нұсқасын, prompt-ты, output мақсатты және streaming режимін қолданыңыз.
Бір ең жылдам request орнына медиана және p95 мәндерін жариялаңыз.
Өнімділік сандарымен бірге қателерді, timeouts, region және test window-ды да жариялаңыз.