Promptfoo ist ein Open-Source-CLI-Tool zum Testen, Evaluieren und Red-Teaming von LLM-Prompts, -Modellen und -Anwendungen. In Kombination mit CometAPI—einer einheitlichen, OpenAI-kompatiblen API für 500+ Modelle—können Entwickler mit einem einzigen Schlüssel über GPT, Claude, Gemini, Grok, DeepSeek und weitere testen, häufig 20–40 % günstiger als bei Direktanbietern. Diese Anleitung behandelt Setup, Konfigurationen, fortgeschrittene Nutzung und echte, datenbasierte Vorteile.
Für Featured Snippets optimierte Zusammenfassung
Promptfoo ist ein Open-Source-CLI-Tool zum Testen, Evaluieren und Red-Teaming von LLM-Prompts, -Modellen und -Anwendungen. In Kombination mit CometAPI—einer einheitlichen, OpenAI-kompatiblen API für 500+ Modelle—können Entwickler mit einem einzigen Schlüssel über GPT, Claude, Gemini, Grok, DeepSeek und weitere testen, häufig 20–40 % günstiger als bei Direktanbietern. Diese Anleitung behandelt Setup, Konfigurationen, fortgeschrittene Nutzung und echte, datenbasierte Vorteile.
Was ist Promptfoo?
Promptfoo ist ein erprobtes, Open-Source-CLI- und Bibliotheks-Tool für testgetriebene LLM-Entwicklung. Anstatt manueller Trial-and-Error-Iterationen automatisiert es Evaluierungen über Prompts, Modelle, RAG-Systeme und Agenten. Zentrale Funktionen:
- Nebeneinander-Vergleiche von Modellen mit Matrixansichten.
- Automatisierte Assertions (exakte Übereinstimmung, Regex, LLM-als-Gutachter, semantische Ähnlichkeit usw.).
- Red-Teaming für Schwachstellen wie Prompt Injection, Jailbreaks und Markenrisiken (50+ Plugintypen).
- CI/CD-Integration, Caching, Parallelität und Live-Reloading.
- Unterstützung für 60+ Anbieter, benutzerdefinierte Skripte und HTTP-Endpunkte.
Adoptionszahlen (2026): Eingesetzt von 156 Fortune-500-Unternehmen, treibt Apps für Millionen von Nutzern an und wird von Teams bei Shopify und anderen geschätzt. MIT-Lizenz mit starker Community-Dynamik.
Promptfoo ersetzt „funktioniert auf meinem Rechner“ durch reproduzierbare, quantifizierbare Benchmarks—entscheidend, wenn LLM-Apps in Produktion gehen.
Warum CometAPI mit Promptfoo nutzen?
CometAPI ist eine entwicklerzentrierte, einheitliche API, die 500+ Spitzenmodelle (LLMs, Bild, Video, Embeddings) von OpenAI, Anthropic, Google, xAI, DeepSeek und weiteren aggregiert. Vollständig OpenAI-kompatibel, sodass bestehender Code mit einer einfachen base_url-Änderung funktioniert.
Wesentliche Vorteile der Kombination:
- Enorme Modellvielfalt ohne Schlüsselverwaltung: Testen Sie GPT-5-Varianten, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora-ähnliche Modelle usw. mit einem einzigen Schlüssel. Kein Jonglieren mit Accounts.
- Deutliche Kosteneinsparungen: CometAPI bepreist Modelle mindestens 20–40 % unter offiziellen Tarifen mit Pay-as-you-go (keine Abos). Berichte echter Nutzer und Benchmarks zeigen konsistente Einsparungen gegenüber Direktanbietern oder Wettbewerbern wie OpenRouter.
- Native Promptfoo-Unterstützung: Dedizierter
cometapi:-Provider mit Chat-, Completion-, Embedding- und Image-Typen. Nahtlos für Evaluierungen und Red-Teaming. - Zuverlässigkeit & Geschwindigkeit: 99.9% Uptime, <400ms durchschnittliche Latenz, Enterprise-Privacy (kein Prompt-Training), Nutzungs-Dashboards und Failover-Routing.
- Flexibilität für Evaluierungs-Workflows: A/B-Tests von Spitzenmodellen kostengünstig, RAG-Genauigkeit benchmarken oder Agenten anbieterübergreifend red-team-en, ohne das Budget zu sprengen.
Bei großvolumigen Tests kann der Wechsel zu CometAPI über Promptfoo die Evaluierungskosten drastisch senken und gleichzeitig die Abdeckung erweitern. Beispielsweise wird das parallele Testen mehrerer Claude-/GPT-Äquivalente trivial und erschwinglich. Teams berichten von 20 %+ Einsparungen ab dem ersten Tag, bei voller Portabilität (kein Lock-in).
Aktueller Kontext (2026): Angesichts schneller Modellreleases (z. B. Claude Opus 4–8, GPT-5-Serie, Gemini-Fortschritte) sind einheitliche Plattformen wie CometAPI plus Evaluierungstools wie Promptfoo unverzichtbar, um agil zu bleiben, ohne die Budgets explodieren zu lassen. Das Promptfoo-Ökosystem erweitert fortlaufend die Anbieterunterstützung, einschließlich tieferer CometAPI-Integration.
Voraussetzungen
- Node.js (v18+ empfohlen): Promptfoo ist primär Node-basiert.
- CometAPI-Konto & -Schlüssel: Kostenlos anmelden bei CometAPI für Testguthaben. Schlüssel unter console/token abrufen.
- Promptfoo installiert:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- Grundkenntnisse in YAML und Terminal.
- (Optional) Python für benutzerdefinierte Provider oder Docker für Isolation.
Installation prüfen: promptfoo --version.
Wie Sie die Promptfoo-Integration mit CometAPI konfigurieren
1. Ihren CometAPI-API-Schlüssel setzen
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo liest dies für den cometapi-Provider automatisch.
Setzen Sie COMETAPI_KEY, bevor Sie Evaluierungen starten:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. CometAPI-Providerformat wählen
In promptfooconfig.yaml:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Vollsyntax: cometapi:<type>:<model>. Der Typ ist standardmäßig chat. Unterstützt alle OpenAI-Parameter über config.
Verwenden Sie diese Providertypen:
| Typ | Einsatzzweck |
|---|---|
| chat | Chat Completions, Vision und multimodale Prompts |
| completion | Text-Completion-Modelle |
| embedding | Text-Embedding-Evaluierungen |
| image | Bildgenerierungs-Evaluierungen |
Sie können auch cometapi:your-model-id für den Standard-Chatmodus verwenden.
3. Eine schnelle CLI-Evaluierung ausführen
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Dies erzeugt einen Web-Viewer mit Scores, Ausgaben und Diffs.
4. Eine umfassende Promptfoo-Konfigurationsdatei erstellen
Die folgende promptfooconfig.yaml evaluiert denselben Prompt gegen ein CometAPI-Modell:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Führen Sie die Konfigurationsdatei mit Promptfoo aus:
npx promptfoo@latest eval -c promptfooconfig.yaml
Führen Sie promptfoo redteam setup für automatisiertes Schwachstellenscanning aus.
Detaillierter Schritt-für-Schritt-Workflow für robuste Evaluierungen
- Geschäftskritische Szenarien definieren: Erstellen Sie Testsuiten, die die reale Nutzung widerspiegeln (z. B. Kundensupport, Codegenerierung, kreative Aufgaben).
- Prompt-Engineering-Iteration: Verwenden Sie Variablen (
{{var}}) und dateibasierte Prompts. Versionen nachverfolgen. - Modellvergleichsmatrix: Führen Sie Evaluierungen über 5–10 Modelle aus. Kosten, Latenz und Qualitätswerte analysieren.
- Scoring & Assertions: Regelbasierte, modellbasierte (LLM-Gutachter) und benutzerdefinierte JS/Python-Bewerter kombinieren.
- CI/CD-Integration: Zu GitHub Actions hinzufügen:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Überwachen & Iterieren: Den Promptfoo-Viewer + das CometAPI-Dashboard für Einblicke zu Ausgaben/Latenz nutzen.
Beispielauswertung: Erwarten Sie Tabellen mit Erfolgsquoten, z. B. Claude besser beim Reasoning, GPT bei Geschwindigkeit, DeepSeek bei Kosten für bestimmte Aufgaben.
CometAPI vs. Direktanbieter vs. Alternativen in Promptfoo
| Aspekt | CometAPI + Promptfoo | Direkt (OpenAI/Anthropic) | Andere Aggregatoren (z. B. OpenRouter) |
|---|---|---|---|
| Verfügbare Modelle | 500+ vereinheitlicht | Je Anbieter begrenzt | Viele, aber variabel |
| Preisgestaltung | 20–40% unter offiziell | Voller Tarif | Offiziell + Gebühren |
| Schlüsselverwaltung | Ein Schlüssel | Mehrere | Mehrere |
| Latenz/Uptime | <400ms, 99.9% | Variiert | Variiert |
| Promptfoo-nativ | Ja, volle Unterstützung | Ja | Teilweise |
| Datenschutz | Kein Training auf Prompts | Anbieterrichtlinie | Variiert |
| Am besten geeignet für | Breites Testen & Produktion | Lock-in bei Einzelanbieter | Einfaches Routing |
Dateneinblick: Bei 1M Tokens mit Mid-Tier-Modellen spart CometAPI oft $5–20+ pro Million gegenüber Direktanbietern, was sich in Evaluierungsschleifen (Hunderte/Tausende Aufrufe) multipliziert.
Fehlerbehebung bei häufigen Problemen
- API-Schlüssel-Fehler:
COMETAPI_KEY-Umgebungsvariable prüfen (echo $COMETAPI_KEY). Konsole auf Guthaben prüfen. - Modell nicht gefunden: Modelle auflisten via
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Exakte Namen verwenden. - Ratenlimits: CometAPI behandelt Upstream intelligent;
delayin der Konfiguration setzen oder Parallelität reduzieren. - Hohe Latenz in Evaluierungen: Caching aktivieren (
cache: true). Für erste Tests kleinere Modelle verwenden. - Assertion-Fehler: Rubriken anpassen oder mehr Beispiele verwenden. LLM-Gutachter können inkonsistent sein—mehrere Läufe mitteln (
repeat: 3). - Bild/Vision-Probleme: Sicherstellen, dass das Modell die Modalität unterstützt; gültige URLs bereitstellen.
- YAML-Parsing: Mit der Promptfoo-Schema-Validierung oder Online-Tools prüfen.
- Berechtigungen/CORS: Bei benutzerdefiniertem HTTP Header prüfen.
Profi-Tipp: promptfoo eval --verbose ausführen für detaillierte Logs. CometAPI-Status/Dashboard auf Ausfälle prüfen.
Fehlerbehebung
Promptfoo findet den API-Schlüssel nicht
Stellen Sie sicher, dass COMETAPI_KEY in derselben Shell-Session exportiert ist, in der promptfoo eval läuft.
Der Providertyp passt nicht zum Modell
Verwenden Sie chat für konversationale und multimodale Modelle, embedding für Embedding-Modelle und image für Bildgenerierungsmodelle.
Die Modell-ID schlägt fehl
Ersetzen Sie your-model-id durch eine exakte Modell-ID von der CometAPI Models-Seite.
Erweiterte Tipps & Best Practices
- Kostenoptimierung: Starten Sie mit günstigen Modellen (z. B. GPT-5-mini oder DeepSeek über CometAPI) für Prompt-Iteration, anschließend mit Premium validieren.
- Benutzerdefinierte Provider: Bei Bedarf über JS/Python über CometAPI hinaus erweitern.
- RAG- & Agenten-Tests: Retrieval-Variablen und Toolaufrufe integrieren.
- Sicherheit: Vor Produktion gründlich red-team-en. Promptfoo + CometAPIs Fokus auf Privacy hilft.
- Skalierung: Cloud-Runner verwenden oder Promptfoo selbst hosten für große Suiten.
- Monitoring: Mit CometAPI-Analysen kombinieren für Token-Ausgaben pro Modell.
CometAPI-Empfehlungen für Ihren Stack (von Cometapi.com):
- Für alle Evaluierungs-Workloads nutzen, um Kosten zu minimieren.
- Playground für schnelle Tests nutzen.
- Nutzungsalarme überwachen, um im Budget zu bleiben.
- Bild-/Video-Modelle für multimodale Evaluierungen in Promptfoo erkunden.
Fazit: Bringen Sie Ihre LLM-Entwicklung heute auf das nächste Level
Die Integration von CometAPI mit Promptfoo liefert eine leistungsstarke, wirtschaftliche und skalierbare Lösung für moderne KI-Entwicklung. Sie erhalten unübertroffene Modellflexibilität, rigoroses Testen, Kosteneffizienz und Sicherheit durch automatisiertes Red-Teaming—bei voller Kontrolle.
Starten Sie klein: Schlüssel einrichten, Beispielkonfiguration ausführen und Ihre Testsuite ausbauen. Zeit- und Kosteneinsparungen steigen mit dem Wachstum Ihrer KI-Anwendungen.
Bereit zur Umsetzung? Besuchen Sie CometAPI für Ihren kostenlosen Schlüssel und tauchen Sie in die Promptfoo-Dokumentation ein. Für individuelles Consulting oder erweiterte Setups auf Cometapi.com sehen Sie sich unsere Ressourcen an.