Byg med CometAPIHar du brug for én API til flere modeller?Test workflowet i Playground, og opret derefter en API-nøgle, når model og pris passer til dit brugsscenarie.
Integrer CometAPI med Promptfoo: Alt, du behøver at vide
Integrer CometAPI med Promptfoo: Lær, hvordan du integrerer CometAPI's 500+ AI-modeller med Promptfoo for kraftfulde. Adgang via CometAPI — 500+ modeller.
Promptfoo er et open source-CLI-værktøj til at teste, evaluere og red teame LLM-prompts, -modeller og -applikationer. Sammen med CometAPI—et samlet, OpenAI-kompatibelt API til 500+ modeller—kan udviklere teste på tværs af GPT, Claude, Gemini, Grok, DeepSeek m.fl. med én enkelt nøgle, ofte til 20-40 % lavere omkostninger end direkte udbydere. Denne guide dækker opsætning, konfigurationer, avanceret brug og dokumenterede fordele baseret på rigtige data.
Featured Snippet-Optimized Summary
Promptfoo er et open source-CLI-værktøj til at teste, evaluere og red teame LLM-prompts, -modeller og -applikationer. Sammen med CometAPI—et samlet, OpenAI-kompatibelt API til 500+ modeller—kan udviklere teste på tværs af GPT, Claude, Gemini, Grok, DeepSeek m.fl. med én enkelt nøgle, ofte til 20-40 % lavere omkostninger end direkte udbydere. Denne guide dækker opsætning, konfigurationer, avanceret brug og dokumenterede fordele baseret på rigtige data.
What is Promptfoo?
Promptfoo er et gennemprøvet, open source-CLI og -bibliotek til . I stedet for manuel trial-and-error automatiserer det evalueringer på tværs af prompts, modeller, RAG-systemer og agent‑workflows. Nøglefunktioner omfatter:
Red teaming for sårbarheder som prompt injection, jailbreaks og brandrisici (50+ plugintyper).
CI/CD-integration, caching, samtidighed og live-genindlæsning.
Understøttelse af 60+ udbydere, brugerdefinerede scripts og HTTP-endepunkter.
Udbredelsesstatistik (2026): Brugt af 156 Fortune 500-virksomheder, driver apps med millioner af brugere, og er betroet af teams hos Shopify m.fl. Det er MIT-licenseret med stærk community-momentum.
Promptfoo erstatter “det virker på min maskine” med reproducerbare, kvantificerbare benchmarks—kritisk efterhånden som LLM-apps går i produktion.
Why Use CometAPI with Promptfoo?
CometAPI er et udviklerorienteret, samlet API, der aggregerer 500+ avancerede modeller (LLMs, billede, video, embeddings) fra OpenAI, Anthropic, Google, xAI, DeepSeek og andre. Det er fuldt OpenAI-kompatibelt, så eksisterende kode virker med en simpel ændring af base_url.
Kernefordele ved kombinationen:
Massivt modeludvalg uden nøglehåndtering: Test GPT-5-varianter, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora-lignende modeller osv. med én nøgle. Ingen jongleren med konti.
Betydelige omkostningsbesparelser: CometAPI prissætter modeller mindst 20-40 % under officielle takster med pay-as-you-go (ingen abonnementer). Brugerrapporter og benchmarks viser konsekvente besparelser ift. direkte eller konkurrenter som OpenRouter.
Indbygget Promptfoo-understøttelse: Dedikeret cometapi:-provider med chat-, completion-, embedding- og image-typer. Smertefrit til evalueringer og red teaming.
Pålidelighed og hastighed: 99,9 % oppetid, <400ms gennemsnitlig latens, enterprise-privatliv (ingen træning på prompts), forbrugsdashboards og failover-routing.
Fleksibilitet i evalueringsworkflows: A/B-test frontier-modeller billigt, benchmark RAG-nøjagtighed, eller red team agenter på tværs af udbydere uden at sprænge budgettet.
Ved test i høj volumen kan skift til CometAPI via Promptfoo skære evalueringsomkostninger drastisk samtidig med at dækningen øges. For eksempel bliver side-by-side‑test af flere Claude/GPT-ækvivalenter trivielt og overkommeligt. Teams rapporterer 20 %+ besparelser fra dag ét, med fuld portabilitet (nul lock-in).
Seneste kontekst (2026): Med hurtige modeludgivelser (fx Claude Opus 4-8, GPT-5-serien, Gemini‑fremskridt) er samlede platforme som CometAPI + evalueringsværktøjer som Promptfoo essentielle for at forblive agile uden eksploderende budgetter. Promptfoos økosystem udvider løbende udbyderunderstøttelsen, inkl. dybere CometAPI-integration.
Prerequisites
Node.js (v18+ anbefalet): Promptfoo er primært Node-baseret.
CometAPI-konto og -nøgle: Tilmeld dig gratis på CometAPI for testkreditter. Hent nøgle fra console/token.
Promptfoo installeret:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
Grundlæggende kendskab til YAML og terminal.
(Valgfrit) Python til brugerdefinerede providere eller Docker til isolation.
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Fuld syntaks: cometapi:<type>:<model>. Type er som standard chat. Understøtter alle OpenAI-parametre via config.
Brug disse providertyper:
Type
Use case
chat
Chatcompletions, vision og multimodale prompts
completion
Tekst-completion-modeller
embedding
Evalueringer af tekst-embeddings
image
Evalueringer af billedgenerering
Du kan også bruge cometapi:your-model-id for standard chattilstand.
3. Run a Quick CLI Evaluation
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Dette genererer en webviser med scorer, output og diffs.
4. Create a Comprehensive Promptfoo Config File
Følgende promptfooconfig.yaml evaluerer den samme prompt mod en CometAPI-model:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Kør konfigurationsfilen med Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml
Kør promptfoo redteam setup for automatisk sårbarhedsscanning.
Detailed Step-by-Step Workflow for Robust Evaluations
Definér forretningskritiske scenarier: Opret testsuiter, der afspejler reel brug (fx kundesupport, kodegenerering, kreative opgaver).
Prompt engineering-iteration: Brug variabler ({{var}}) og filbaserede prompts. Spor versioner.
Model-sammenligningsmatrix: Kør evalueringer på tværs af 5-10 modeller. Analysér omkostning, latens, kvalitetsscorer.
Scoring og assertioner: Kombinér regelbaserede, modelbaserede (LLM-dommer) og brugerdefinerede JS/Python-bedømmere.
CI/CD-integration: Tilføj til GitHub Actions:
- name: Promptfoo Eval
run: promptfoo eval --ci
Overvåg & iterer: Brug Promptfoos visning + CometAPI-dashboard til indsigt i forbrug/latens.
Eksempel på outputanalyse: Forvent tabeller, der viser vinderandele, fx Claude bedre til ræsonnement, GPT til hastighed, DeepSeek til omkostning for visse opgaver.
CometAPI vs. Direct Providers vs. Alternatives in Promptfoo
Aspekt
CometAPI + Promptfoo
Direkte (OpenAI/Anthropic)
Andre aggregatorer (fx OpenRouter)
Tilgængelige modeller
500+ forenet
Begrænset pr. leverandør
Mange, men varierende
Prissætning
20-40 % under officiel
Fuld pris
Officiel + gebyrer
Nøglehåndtering
Én nøgle
Flere
Flere
Latens/oppetid
<400ms, 99,9 %
Varierer
Varierer
Promptfoo-native
Ja, fuld understøttelse
Ja
Delvis
Privatliv
Ingen træning på prompts
Udbyderpolitik
Varierer
Bedst til
Bred testning og produktion
Låsning til enkeltleverandør
Simpel routing
Dataindsigt: For 1M tokens med brug af en mellemklassemodel sparer CometAPI ofte $5-20+ pr. million ift. direkte, hvilket forstærkes i evalueringssløjfer (hundreder/tusinder af kald).
Troubleshooting Common Issues
API-nøglefejl: Verificér miljøvariablen COMETAPI_KEY (echo $COMETAPI_KEY). Tjek konsollen for kreditter.
Model ikke fundet: List modeller via curl -H "Authorization: Bearer $COMETAPI_KEY" https://api.cometapi.com/v1/models. Brug eksakte navne.
Rate limits: CometAPI håndterer upstream intelligent; sæt delay i config eller reducer samtidighed.
Høj latens i evalueringer: Aktivér caching (cache: true). Brug mindre modeller til indledende tests.
Assertion-fejl: Justér rubrikker eller brug flere eksempler. LLM-dommere kan være inkonsistente—gennemsnit over flere kørsler (repeat: 3).
Billede/vision-problemer: Sørg for, at modellen understøtter modalitet; angiv gyldige URL'er.
YAML-parsing: Validér med Promptfoo-skema eller onlineredskaber.
Tilladelser/CORS: For brugerdefineret HTTP, tjek headers.
Pro tip: Kør promptfoo eval --verbose for detaljerede logs. Tjek CometAPI-status/-dashboard for udfald.
Troubleshooting
Promptfoo cannot find the API key
Bekræft, at COMETAPI_KEY er eksporteret i samme shell-session, der kører promptfoo eval.
The provider type does not match the model
Brug chat til konversationelle og multimodale modeller, embedding til embedding-modeller og image til billedgenereringsmodeller.
Omkostningsoptimering: Start med billige modeller (fx GPT-5-mini eller DeepSeek via CometAPI) til prompt-iteration, og valider derefter med premium.
Brugerdefinerede providere: Udvid med JS/Python, hvis du har behov ud over CometAPI.
RAG- og agenttest: Integrér retrieval‑variabler og tool calls.
Sikkerhed: Red team grundigt før produktion. Promptfoo + CometAPIs fokus på privatliv hjælper.
Skalering: Brug cloud‑runnere eller self‑host Promptfoo til store suiter.
Overvågning: Kombinér med CometAPI-analyse for tokenforbrug pr. model.
CometAPI Recommendations for Your Stack (from Cometapi.com):
Brug til alle eval-arbejdsbelastninger for at minimere omkostninger.
Udnyt playground til hurtige tests.
Overvåg forbrugsadvarsler for at holde budgettet.
Udforsk billed-/videomodeller til multimodale evalueringer i Promptfoo.
Conclusion: Level Up Your LLM Development Today
Integrering af CometAPI med Promptfoo leverer en kraftfuld, økonomisk og skalerbar løsning til moderne AI-udvikling. Du får enestående modelfleksibilitet, stringent test, omkostningseffektivitet og ro i sindet gennem automatiseret red teaming—alt imens du bevarer fuld kontrol.
Start i det små: Sæt nøglen op, kør eksempelkonfigurationen, og udvid din testsuite. Den tid og de penge, du sparer, vil akkumulere i takt med, at dine AI-applikationer vokser.
Ready to implement? Gå til CometAPI for din gratis nøgle, og dyk ned i Promptfoo‑dokumentationen. For skræddersyet rådgivning eller avancerede opsætninger på Cometapi.com, udforsk vores ressourcer.
