Promptfoo è uno strumento CLI open source per testare, valutare e fare red teaming di prompt, modelli e applicazioni LLM. Abbinarlo a CometAPI—un’API unificata compatibile con OpenAI per oltre 500 modelli—consente agli sviluppatori di testare GPT, Claude, Gemini, Grok, DeepSeek e altri con una sola chiave, spesso con costi inferiori del 20-40% rispetto ai provider diretti. Questa guida copre setup, configurazioni, uso avanzato e benefici concreti basati su dati reali.
Riepilogo ottimizzato per Featured Snippet
Promptfoo è uno strumento CLI open source per testare, valutare e fare red teaming di prompt, modelli e applicazioni LLM. Abbinarlo a CometAPI—un’API unificata compatibile con OpenAI per oltre 500 modelli—consente agli sviluppatori di testare GPT, Claude, Gemini, Grok, DeepSeek e altri con una sola chiave, spesso con costi inferiori del 20-40% rispetto ai provider diretti. Questa guida copre setup, configurazioni, uso avanzato e benefici concreti basati su dati reali.
Che cos’è Promptfoo?
Promptfoo è una CLI e libreria open source, collaudata sul campo, per lo sviluppo di LLM guidato dai test. Invece di prove ed errori manuali, automatizza le valutazioni su prompt, modelli, sistemi RAG e agent. Le funzionalità principali includono:
- Confronti tra modelli affiancati con viste a matrice.
- Asserzioni automatizzate (corrispondenza esatta, regex, LLM-come-giudice, similarità semantica, ecc.).
- Red teaming per vulnerabilità come prompt injection, jailbreak e rischi per il brand (oltre 50 tipi di plugin).
- Integrazione CI/CD, caching, concorrenza e ricaricamento live.
- Supporto per oltre 60 provider, script personalizzati ed endpoint HTTP.
Dati di adozione (2026): Usato da 156 aziende della Fortune 500, alimenta app che servono milioni di utenti ed è scelto da team come Shopify e altri. È con licenza MIT, con una forte spinta della community.
Promptfoo sostituisce il “sul mio computer funziona” con benchmark ripetibili e quantificabili—critici quando le app LLM passano in produzione.
Perché usare CometAPI con Promptfoo?
CometAPI è un’API unificata, pensata per gli sviluppatori, che aggrega oltre 500 modelli all’avanguardia (LLM, immagini, video, embedding) da OpenAI, Anthropic, Google, xAI, DeepSeek e altri. È pienamente compatibile con OpenAI, quindi il codice esistente funziona con un semplice cambio di base_url.
Vantaggi principali della combinazione:
- Enorme varietà di modelli senza gestione delle chiavi: Testa varianti GPT-5, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, modelli tipo Sora, ecc., con una sola chiave. Niente più account da gestire.
- Risparmi significativi sui costi: CometAPI prezza i modelli almeno 20-40% sotto le tariffe ufficiali, con pay-as-you-go (nessun abbonamento). Report di utenti reali e benchmark mostrano risparmi costanti rispetto a diretti o concorrenti come OpenRouter.
- Supporto nativo Promptfoo: Provider dedicato
cometapi:con tipi chat, completion, embedding e image. Integrazione senza attriti per valutazioni e red teaming. - Affidabilità e velocità: 99.9% di uptime, latenza media <400ms, privacy enterprise (nessun training sui prompt), dashboard d’uso e routing di failover.
- Flessibilità per workflow di valutazione: Esegui A/B test di modelli all’avanguardia a costi ridotti, misura l’accuratezza RAG o fai red teaming di agent tra provider senza sforare il budget.
Nei test ad alto volume, passare a CometAPI tramite Promptfoo può ridurre drasticamente i costi delle valutazioni e ampliare la copertura. Per esempio, testare fianco a fianco più equivalenti Claude/GPT diventa banale e conveniente. I team riportano risparmi del 20%+ fin dal primo giorno, con piena portabilità (zero lock-in).
Contesto più recente (2026): Con i rapidi rilasci di modelli (ad es., Claude Opus 4-8, serie GPT-5, progressi di Gemini), piattaforme unificate come CometAPI + strumenti di valutazione come Promptfoo sono essenziali per restare agili senza far esplodere i budget. L’ecosistema di Promptfoo continua ad espandere il supporto ai provider, inclusa un’integrazione più profonda con CometAPI.
Prerequisiti
- Node.js (consigliata v18+): Promptfoo è principalmente basato su Node.
- Account e chiave CometAPI: Iscriviti gratuitamente su CometAPI per crediti di test. Ottieni la chiave da console/token.
- Promptfoo installato:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- Familiarità di base con YAML e terminale.
- (Opzionale) Python per provider personalizzati, o Docker per isolamento.
Verifica l’installazione: promptfoo --version.
Come configurare l’integrazione Promptfoo con CometAPI
1. Imposta la tua chiave API CometAPI
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo la legge automaticamente per il provider cometapi.
Imposta COMETAPI_KEY prima di eseguire le valutazioni:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. Scegli il formato del provider CometAPI
In promptfooconfig.yaml:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Sintassi completa: cometapi:<type>:<model>. Il tipo predefinito è chat. Supporta tutti i parametri OpenAI tramite config.
Usa questi tipi di provider:
| Type | Caso d’uso |
|---|---|
| chat | Chat completions, visione e prompt multimodali |
| completion | Modelli di completamento testuale |
| embedding | Valutazioni di embedding testuali |
| image | Valutazioni di generazione di immagini |
Puoi anche usare cometapi:your-model-id per la modalità chat predefinita.
3. Esegui una valutazione CLI rapida
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Questo genera un visualizzatore web con punteggi, output e diff.
4. Crea un file di configurazione Promptfoo completo
Il seguente promptfooconfig.yaml valuta lo stesso prompt contro un modello CometAPI:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Esegui il file di configurazione con Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml
Esegui promptfoo redteam setup per la scansione automatizzata delle vulnerabilità.
Workflow dettagliato passo-passo per valutazioni robuste
- Definisci gli scenari critici per il business: Crea suite di test che rispecchino l’uso reale (es. customer support, generazione di codice, compiti creativi).
- Iterazione di prompt engineering: Usa variabili (
{{var}}) e prompt basati su file. Tieni traccia delle versioni. - Matrice di confronto dei modelli: Esegui valutazioni su 5-10 modelli. Analizza costi, latenza, punteggi di qualità.
- Punteggio e asserzioni: Combina criteri basati su regole, basati su modelli (LLM-giudice) e valutatori personalizzati JS/Python.
- Integrazione CI/CD: Aggiungi a GitHub Actions:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Monitora e itera: Usa il viewer di Promptfoo + la dashboard CometAPI per approfondimenti su spesa/latenza.
Analisi dell’output di esempio: Aspettati tabelle con tassi di vittoria, ad es., Claude migliore sul ragionamento, GPT sulla velocità, DeepSeek sui costi per determinati task.
CometAPI vs provider diretti vs alternative in Promptfoo
| Aspetto | CometAPI + Promptfoo | Diretti (OpenAI/Anthropic) | Altri aggregatori (es. OpenRouter) |
|---|---|---|---|
| Modelli | Oltre 500 unificati | Limitati per vendor | Molti, ma variabili |
| Prezzi | 20-40% sotto le tariffe | Tariffa piena | Ufficiali + commissioni |
| Gestione chiavi | Unica chiave | Multiple | Multiple |
| Latenza/Uptime | <400ms, 99.9% | Variabile | Variabile |
| Supporto Promptfoo | Sì, completo | Sì | Parziale |
| Privacy | Nessun training sui prompt | Policy del provider | Variabile |
| Ideale per | Test ampi & produzione | Lock-in su singolo vendor | Routing semplice |
Insight sui dati: Per 1M token di utilizzo di modelli mid-tier, CometAPI spesso fa risparmiare $5-20+ per milione rispetto ai diretti, con effetto cumulativo nei cicli di valutazione (centinaia/migliaia di chiamate).
Risoluzione dei problemi comuni
- Errori di chiave API: Verifica la variabile d’ambiente
COMETAPI_KEY(echo $COMETAPI_KEY). Controlla in console i crediti. - Modello non trovato: Elenca i modelli tramite
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Usa i nomi esatti. - Rate limit: CometAPI gestisce in modo intelligente gli upstream; imposta
delaynella config o riduci la concorrenza. - Latenza elevata nelle valutazioni: Abilita caching (
cache: true). Usa modelli più piccoli per i test iniziali. - Asserzioni che falliscono: Affina i criteri o usa più esempi. Gli LLM giudici possono essere inconsistenti—media più esecuzioni (
repeat: 3). - Problemi immagine/visione: Assicurati che il modello supporti la modalità; fornisci URL validi.
- Parsing YAML: Valida con lo schema Promptfoo o strumenti online.
- Permessi/CORS: Per HTTP personalizzati, verifica le intestazioni.
Suggerimento: Esegui promptfoo eval --verbose per log dettagliati. Controlla lo stato/la dashboard CometAPI per eventuali disservizi.
Risoluzione dei problemi
Promptfoo non trova la chiave API
Conferma che COMETAPI_KEY sia esportata nella stessa sessione di shell che esegue promptfoo eval.
Il tipo di provider non corrisponde al modello
Usa chat per modelli conversazionali e multimodali, embedding per modelli di embedding e image per modelli di generazione di immagini.
L’ID del modello fallisce
Sostituisci your-model-id con un ID modello esatto dalla pagina dei modelli CometAPI.
Suggerimenti avanzati e best practice
- Ottimizzazione dei costi: Parti da modelli economici (es. GPT-5-mini o DeepSeek via CometAPI) per l’iterazione dei prompt, poi valida con modelli premium.
- Provider personalizzati: Estendi con JS/Python se serve oltre CometAPI.
- Test di RAG & agent: Integra variabili di retrieval e tool call.
- Sicurezza: Esegui un red teaming approfondito prima della produzione. Promptfoo + l’attenzione alla privacy di CometAPI aiutano.
- Scalabilità: Usa runner cloud o self-host Promptfoo per suite ampie.
- Monitoraggio: Combina con le analytics di CometAPI per spesa di token per modello.
Raccomandazioni CometAPI per il tuo stack (da Cometapi.com):
- Usala per tutti i carichi di valutazione per minimizzare i costi.
- Sfrutta il playground per test rapidi.
- Monitora gli alert di utilizzo per restare nel budget.
- Esplora modelli immagine/video per valutazioni multimodali in Promptfoo.
Conclusione: fai crescere oggi stesso il tuo sviluppo LLM
Integrare CometAPI con Promptfoo offre una soluzione potente, economica e scalabile per lo sviluppo AI moderno. Ottieni flessibilità di modelli senza pari, test rigorosi, efficienza sui costi e tranquillità grazie al red teaming automatizzato—mantenendo il pieno controllo.
Inizia in piccolo: configura la chiave, esegui il file di esempio ed espandi la tua suite di test. Il tempo e il denaro risparmiati si moltiplicheranno man mano che le tue applicazioni AI crescono.
Pronto a partire? Vai su CometAPI per la tua chiave gratuita e approfondisci la documentazione di Promptfoo. Per consulenze personalizzate o setup avanzati su Cometapi.com, esplora le nostre risorse.