
Benchmarks og rapporter / Eksempel
AI API latenstidsbenchmark: TTFT, throughput og pålidelighed
En transparent metode til at måle AI API latenstid uden at forveksle tid til første token, genereringshastighed og samlet svartid.
TTFT måler responsivitet; tokens per sekund måler genereringshastighed.
Brug samme modelversion, prompt, outputmål og streamingtilstand for hver route.
Rapportér median- og p95-værdier i stedet for én hurtigste forespørgsel.
Offentliggør fejl, timeouts, region og testvindue sammen med ydeevnetallene.