
การทดสอบประสิทธิภาพและรายงาน / ตัวอย่าง
การทดสอบเวลาแฝงของ AI API: TTFT ปริมาณงาน และความน่าเชื่อถือ
ระเบียบวิธีที่โปร่งใสสำหรับวัดเวลาแฝงของ AI API โดยไม่ทำให้สับสนระหว่าง time-to-first-token ความเร็วในการสร้างผลลัพธ์ และเวลาตอบสนองทั้งหมด
TTFT ใช้วัดการตอบสนอง ส่วนโทเคนต่อวินาทีใช้วัดความเร็วในการสร้างผลลัพธ์
ใช้เวอร์ชันโมเดล พรอมต์ เป้าหมายเอาต์พุต และโหมดสตรีมมิงเดียวกันสำหรับทุกเส้นทาง
รายงานค่ามัธยฐานและค่า p95 แทนการรายงานคำขอที่เร็วที่สุดเพียงรายการเดียว
เผยแพร่ข้อผิดพลาด หมดเวลา ภูมิภาค และช่วงเวลาทดสอบควบคู่กับตัวเลขประสิทธิภาพ