Promptfoo is een open-source CLI-tool voor het testen, evalueren en red-teamen van LLM-prompts, modellen en applicaties. In combinatie met CometAPI—een unified, OpenAI-compatibele API voor 500+ modellen—kunnen ontwikkelaars met één sleutel testen over GPT, Claude, Gemini, Grok, DeepSeek en meer, vaak 20–40% goedkoper dan rechtstreeks bij providers. Deze gids behandelt setup, configuraties, geavanceerd gebruik en voordelen onderbouwd met echte data.
Voor featured snippets geoptimaliseerde samenvatting
Promptfoo is een open-source CLI-tool voor het testen, evalueren en red-teamen van LLM-prompts, modellen en applicaties. In combinatie met CometAPI—een unified, OpenAI-compatibele API voor 500+ modellen—kunnen ontwikkelaars met één sleutel testen over GPT, Claude, Gemini, Grok, DeepSeek en meer, vaak 20–40% goedkoper dan rechtstreeks bij providers. Deze gids behandelt setup, configuraties, geavanceerd gebruik en voordelen onderbouwd met echte data.
Wat is Promptfoo?
Promptfoo is een praktijkbeproefde, open-source CLI en bibliotheek voor testgedreven LLM-ontwikkeling. In plaats van handmatig trial-and-error automatiseert het evaluaties over prompts, modellen, RAG-systemen en agents. Belangrijke mogelijkheden zijn:
- Zij-aan-zij modelvergelijkingen met matrixweergaven.
- Geautomatiseerde asserties (exacte overeenkomst, regex, LLM-as-judge, semantische gelijkenis, enz.).
- Red teaming voor kwetsbaarheden zoals promptinjectie, jailbreaks en merkrisico’s (50+ plug-intypes).
- CI/CD-integratie, caching, gelijktijdigheid en live herladen.
- Ondersteuning voor 60+ providers, aangepaste scripts en HTTP-endpoints.
Adoptiecijfers (2026): Gebruikt door 156 Fortune 500-bedrijven, ondersteunt apps die miljoenen gebruikers bedienen, en wordt vertrouwd door teams bij Shopify en meer. Het valt onder de MIT-licentie en heeft sterke community-momentum.
Promptfoo vervangt “het werkt op mijn machine” door herhaalbare, kwantificeerbare benchmarks—cruciaal nu LLM-apps naar productie gaan.
Waarom CometAPI gebruiken met Promptfoo?
CometAPI is een developer-first unified API die 500+ toonaangevende modellen (LLM’s, image, video, embeddings) van OpenAI, Anthropic, Google, xAI, DeepSeek en anderen aggregeert. Het is volledig OpenAI-compatibel, dus bestaande code werkt met een simpele wijziging van base_url.
Belangrijkste voordelen van de combinatie:
- Enorme modelvariëteit zonder sleutels te beheren: Test GPT-5-varianten, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora-achtige modellen, enz. met één sleutel. Geen gedoe met meerdere accounts.
- Aanzienlijke kostenbesparingen: CometAPI prijst modellen 20–40% onder de officiële tarieven met pay-as-you-go (geen abonnementen). Echte gebruikersrapporten en benchmarks tonen consistente besparingen t.o.v. direct of concurrenten zoals OpenRouter.
- Native Promptfoo-ondersteuning: Toegewijde
cometapi:-provider met chat-, completion-, embedding- en image-typen. Naadloos voor evaluaties en red teaming. - Betrouwbaarheid & snelheid: 99.9% uptime, <400ms gemiddelde latentie, enterprise-privacy (geen training op prompts), gebruiksdashboards en failover-routing.
- Flexibiliteit voor evaluatieworkflows: Voer A/B-tests uit met frontier-modellen tegen lage kosten, benchmark RAG-nauwkeurigheid of red-team agents over providers heen zonder het budget te breken.
Bij grootschalige tests kan overschakelen naar CometAPI via Promptfoo evaluatiekosten drastisch verlagen en bredere dekking mogelijk maken. Zo wordt het testen van meerdere Claude/GPT-equivalenten naast elkaar triviaal en betaalbaar. Teams rapporteren vanaf dag één 20%+ besparingen, met volledige portabiliteit (nul lock-in).
Laatste context (2026): Met snelle modelreleases (bijv. Claude Opus 4–8, GPT-5-serie, Gemini-vooruitgang) zijn unified platforms zoals CometAPI + evaluatietools zoals Promptfoo essentieel om wendbaar te blijven zonder exploderende budgetten. Het Promptfoo-ecosysteem breidt de providerondersteuning verder uit, inclusief diepere CometAPI-integratie.
Vereisten
- Node.js (v18+ aanbevolen): Promptfoo is primair Node-based.
- CometAPI-account & -sleutel: Meld je gratis aan bij CometAPI voor testcredits. Haal je sleutel op via console/token.
- Promptfoo geïnstalleerd:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- Basiskennis van YAML en de terminal.
- (Optioneel) Python voor aangepaste providers, of Docker voor isolatie.
Verifieer installatie: promptfoo --version.
Promptfoo-integratie met CometAPI configureren
1. Stel je CometAPI API-sleutel in
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo leest dit automatisch voor de cometapi-provider.
Stel COMETAPI_KEY in voordat je evaluaties uitvoert:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. Kies het CometAPI-providerformaat
In promptfooconfig.yaml:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Volledige syntaxis: cometapi:<type>:<model>. Type is standaard chat. Ondersteunt alle OpenAI-parameters via config.
Gebruik deze providertypen:
| Type | Gebruik |
|---|---|
| chat | Chat-completions, vision en multimodale prompts |
| completion | Modellen voor tekstcompletion |
| embedding | Evaluaties van tekstembeddings |
| image | Evaluaties voor afbeeldingsgeneratie |
Je kunt ook cometapi:your-model-id gebruiken voor de standaard chatmodus.
3. Voer een snelle CLI-evaluatie uit
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Dit genereert een webviewer met scores, outputs en diffs.
4. Maak een uitgebreide Promptfoo-configuratiebestand
Het volgende promptfooconfig.yaml evalueert dezelfde prompt tegen een CometAPI-model:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Voer het configuratiebestand uit met Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml
Voer promptfoo redteam setup uit voor geautomatiseerd scannen op kwetsbaarheden.
Gedetailleerde stapsgewijze workflow voor robuuste evaluaties
- Definieer bedrijfskritieke scenario’s: Maak testsuites die echt gebruik nabootsen (bijv. klantenondersteuning, codegeneratie, creatieve taken).
- Iteratie in prompt engineering: Gebruik variabelen (
{{var}}) en bestandsgebaseerde prompts. Volg versies. - Modelvergelijkingsmatrix: Voer evaluaties uit over 5–10 modellen. Analyseer kosten, latentie, kwaliteitsscores.
- Scoring & asserties: Combineer regelgebaseerde, modelgebaseerde (LLM-judge) en aangepaste JS/Python-graders.
- CI/CD-integratie: Voeg toe aan GitHub Actions:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Monitoren & itereren: Gebruik de viewer van Promptfoo + het CometAPI-dashboard voor inzicht in uitgaven/latentie.
Analyse van voorbeeldoutput: Verwacht tabellen met winstpercentages, bijv. Claude beter in redeneren, GPT in snelheid, DeepSeek in kosten voor bepaalde taken.
CometAPI vs. directe providers vs. alternatieven in Promptfoo
| Aspect | CometAPI + Promptfoo | Direct (OpenAI/Anthropic) | Andere aggregators (bijv. OpenRouter) |
|---|---|---|---|
| Beschikbare modellen | 500+ unified | Beperkt per leverancier | Veel, maar variabel |
| Prijzen | 20–40% onder officieel | Volledig tarief | Officieel + toeslagen |
| Sleutelbeheer | Eén sleutel | Meerdere | Meerdere |
| Latentie/Uptime | <400ms, 99.9% | Variabel | Variabel |
| Promptfoo native | Ja, volledige ondersteuning | Ja | Gedeeltelijk |
| Privacy | Geen training op prompts | Providerbeleid | Variabel |
| Best geschikt voor | Brede testing & productie | Lock-in bij één leverancier | Eenvoudige routing |
Data-inzicht: Voor 1M tokens gebruik van een mid-tier model bespaart CometAPI vaak $5–20+ per miljoen t.o.v. direct, wat in eval-loops (honderden/duizenden calls) doorwerkt.
Veelvoorkomende problemen oplossen
- API-sleutelfouten: Controleer de omgevingsvariabele
COMETAPI_KEY(echo $COMETAPI_KEY). Controleer in de console of je credits hebt. - Model niet gevonden: Lijst modellen via
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Gebruik exacte namen. - Snelheidslimieten: CometAPI handelt upstream slim af; stel
delayin de config in of verlaag de gelijktijdigheid. - Hoge latentie in evaluaties: Schakel caching in (
cache: true). Gebruik kleinere modellen voor eerste tests. - Assertiefouten: Stel rubrieken bij of gebruik meer voorbeelden. LLM-jurering kan inconsistent zijn—gemiddelde over meerdere runs (
repeat: 3). - Image/vision-problemen: Zorg dat het model de modaliteit ondersteunt; geef geldige URL’s op.
- YAML-parsing: Valideer met het Promptfoo-schema of online tools.
- Toestemmingen/CORS: Controleer headers voor aangepaste HTTP.
Pro tip: Voer promptfoo eval --verbose uit voor gedetailleerde logs. Controleer de CometAPI-status/het dashboard op storingen.
Probleemoplossing
Promptfoo kan de API-sleutel niet vinden
Bevestig dat COMETAPI_KEY is geëxporteerd in dezelfde shellsessie waarin je promptfoo eval draait.
Het providertype komt niet overeen met het model
Gebruik chat voor conversationele en multimodale modellen, embedding voor embeddingmodellen en image voor afbeeldingsgeneratie.
De model-ID faalt
Vervang your-model-id door een exacte model-ID van de CometAPI Models-pagina.
Geavanceerde tips & best practices
- Kostenoptimalisatie: Begin met goedkope modellen (bijv. GPT-5-mini of DeepSeek via CometAPI) voor promptiteratie en valideer daarna met premium.
- Aangepaste providers: Breid uit met JS/Python indien nodig buiten CometAPI.
- RAG & agent-testing: Integreer retrieval-variabelen en tool-calls.
- Beveiliging: Voer grondig red teaming uit vóór productie. Promptfoo + de privacyfocus van CometAPI helpt.
- Schalen: Gebruik cloud-runners of host Promptfoo zelf voor grote suites.
- Monitoring: Combineer met CometAPI-analytics voor tokenspend per model.
Aanbevelingen van CometAPI voor je stack (van Cometapi.com):
- Gebruik voor alle eval-workloads om kosten te minimaliseren.
- Benut de playground voor snelle tests.
- Monitor gebruiksalerts om binnen budget te blijven.
- Verken image/video-modellen voor multimodale evaluaties in Promptfoo.
Conclusie: Til je LLM-ontwikkeling vandaag naar een hoger niveau
Het integreren van CometAPI met Promptfoo levert een krachtige, voordelige en schaalbare oplossing voor moderne AI-ontwikkeling. Je krijgt ongeëvenaarde modelflexibiliteit, rigoureuze tests, kostenvoordelen en gemoedsrust via geautomatiseerde red teaming—met volledige controle.
Begin klein: stel de sleutel in, voer de voorbeeldconfig uit en breid je testsuite uit. De bespaarde tijd en kosten stapelen zich op naarmate je AI-applicaties groeien.
Klaar om te implementeren? Ga naar CometAPI voor je gratis sleutel en duik in de Promptfoo-documentatie. Voor maatwerk of geavanceerde setups op Cometapi.com, bekijk onze resources.