
Benchmarks & Rapporten / Voorbeeld
AI API-latentiebenchmark: TTFT, throughput en betrouwbaarheid
Een transparante methodologie om AI API-latentie te meten zonder time-to-first-token, generatiesnelheid en totale responstijd door elkaar te halen.
TTFT meet responsiviteit; tokens per seconde meet generatiesnelheid.
Gebruik voor elke route dezelfde modelversie, prompt, outputdoel en streamingmodus.
Rapporteer mediane en p95-waarden in plaats van alleen de snelste aanvraag.
Publiceer fouten, time-outs, regio en testvenster naast de prestatienummers.