벤치마크 및 보고서 / 샘플
AI API 지연 시간 벤치마크: TTFT, 처리량 및 신뢰성
time-to-first-token, 생성 속도, 총 응답 시간을 혼동하지 않고 AI API 지연 시간을 측정하기 위한 투명한 방법론입니다.
TTFT는 응답성을 측정하고, tokens per second는 생성 속도를 측정합니다.
모든 경로에 동일한 모델 버전, 프롬프트, 출력 대상, 스트리밍 모드를 사용하세요.
가장 빠른 단일 요청 대신 중앙값과 p95 값을 보고하세요.
성능 수치와 함께 오류, 타임아웃, 리전, 테스트 구간을 공개하세요.