Promptfoo to otwarte narzędzie CLI do testowania, ewaluacji i red teamingu promptów, modeli i aplikacji LLM. Połączenie go z CometAPI — zunifikowanym, zgodnym z OpenAI interfejsem API dla 500+ modeli — pozwala deweloperom testować GPT, Claude, Gemini, Grok, DeepSeek i inne, używając jednego klucza, często przy kosztach niższych o 20–40% względem dostawców bezpośrednich. Ten przewodnik obejmuje konfigurację, pliki konfiguracyjne, zaawansowane użycie oraz korzyści poparte danymi.
Podsumowanie zoptymalizowane pod Featured Snippet
Promptfoo to otwarte narzędzie CLI do testowania, ewaluacji i red teamingu promptów, modeli i aplikacji LLM. Połączenie go z CometAPI — zunifikowanym, zgodnym z OpenAI interfejsem API dla 500+ modeli — pozwala deweloperom testować GPT, Claude, Gemini, Grok, DeepSeek i inne, używając jednego klucza, często przy kosztach niższych o 20–40% względem dostawców bezpośrednich. Ten przewodnik obejmuje konfigurację, pliki konfiguracyjne, zaawansowane użycie oraz korzyści poparte danymi.
Czym jest Promptfoo?
Promptfoo to sprawdzone w boju, otwartoźródłowe narzędzie CLI i biblioteka do test‑driven developmentu LLM. Zamiast ręcznej metody prób i błędów automatyzuje ewaluacje promptów, modeli, systemów RAG i agentów. Kluczowe możliwości to:
- Równoległe porównania modeli z widokami macierzy.
- Automatyczne asercje (dokładne dopasowanie, regex, LLM‑as‑judge, podobieństwo semantyczne itd.).
- Red teaming pod kątem podatności, takich jak wstrzyknięcia promptów, jailbreaki i ryzyka dla marki (ponad 50 typów wtyczek).
- Integracja z CI/CD, cache’owanie, współbieżność i live reloading.
- Obsługa 60+ dostawców, własnych skryptów i endpointów HTTP.
Statystyki adopcji (2026): używany przez 156 firm z listy Fortune 500, zasila aplikacje obsługujące miliony użytkowników i jest zaufany przez zespoły m.in. w Shopify. Licencja MIT, silne wsparcie społeczności.
Promptfoo zastępuje „u mnie działa” powtarzalnymi, mierzalnymi benchmarkami — kluczowe, gdy aplikacje LLM trafiają na produkcję.
Dlaczego używać CometAPI z Promptfoo?
CometAPI to zorientowany na deweloperów zunifikowany interfejs API agregujący 500+ najnowocześniejszych modeli (LLM, obraz, wideo, embeddingi) od OpenAI, Anthropic, Google, xAI, DeepSeek i innych. Jest w pełni zgodny z OpenAI, więc istniejący kod działa po prostej zmianie base_url.
Kluczowe korzyści tego połączenia:
- Ogromna różnorodność modeli bez żonglowania kluczami: testuj warianty GPT‑5, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL‑E, modele podobne do Sory itd. z jednego klucza. Koniec z przełączaniem kont.
- Znaczące oszczędności: CometAPI wycenia modele co najmniej 20–40% poniżej stawek oficjalnych w modelu pay‑as‑you‑go (bez subskrypcji). Raporty użytkowników i benchmarki pokazują stałe oszczędności względem dostawców bezpośrednich lub konkurentów, takich jak OpenRouter.
- Natywne wsparcie w Promptfoo: dedykowany dostawca
cometapi:z typami chat, completion, embedding i image. Bezproblemowe w ewaluacjach i red teamingu. - Niezawodność i szybkość: 99,9% dostępności, <400 ms średniego opóźnienia, prywatność klasy enterprise (brak trenowania na promptach), pulpity użycia oraz routing awaryjny.
- Elastyczność w przepływach ewaluacyjnych: tanie testy A/B modeli czołowych, benchmarkowanie dokładności RAG lub red teaming agentów u różnych dostawców bez nadwyrężania budżetu.
Przy testach na dużą skalę przełączenie na CometAPI poprzez Promptfoo może znacząco obniżyć koszty ewaluacji, a jednocześnie poszerzyć zasięg. Na przykład równoległe testowanie wielu odpowiedników Claude/GPT staje się trywialne i przystępne cenowo. Zespoły raportują oszczędności 20%+ od pierwszego dnia, przy pełnej przenaszalności (zero lock‑in).
Najnowszy kontekst (2026): przy szybkim tempie wydawniczym modeli (np. Claude Opus 4–8, seria GPT‑5, postępy Geminiego) zunifikowane platformy takie jak CometAPI + narzędzia ewaluacyjne takie jak Promptfoo są kluczowe, by zachować zwinność bez eksplozji kosztów. Ekosystem Promptfoo wciąż rozszerza wsparcie dostawców, w tym głębszą integrację z CometAPI.
Wymagania wstępne
- Node.js (zalecane v18+): Promptfoo bazuje głównie na Node.
- Konto i klucz CometAPI: zarejestruj się bezpłatnie w CometAPI po kredyty testowe. Pobierz klucz z console/token.
- Zainstalowany Promptfoo:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- Podstawowa znajomość YAML i terminala.
- (Opcjonalnie) Python dla własnych dostawców lub Docker dla izolacji.
Zweryfikuj instalację: promptfoo --version.
Jak skonfigurować integrację Promptfoo z CometAPI
1. Ustaw swój klucz API CometAPI
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo odczytuje go automatycznie dla dostawcy cometapi.
Ustaw COMETAPI_KEY przed uruchomieniem ewaluacji:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. Wybierz format dostawcy CometAPI
W promptfooconfig.yaml:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Pełna składnia: cometapi:<type>:<model>. Domyślnym typem jest chat. Obsługuje wszystkie parametry OpenAI przez config.
Używaj tych typów dostawców:
| Typ | Zastosowanie |
|---|---|
| chat | Generowanie odpowiedzi w czacie, wizja i prompty multimodalne |
| completion | Modele do uzupełniania tekstu |
| embedding | Ewaluacje embeddingów tekstowych |
| image | Ewaluacje generowania obrazów |
Możesz też użyć cometapi:your-model-id dla domyślnego trybu chat.
3. Uruchom szybką ewaluację w CLI
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
To generuje przeglądarkę webową z wynikami, wyjściami i różnicami (diff).
4. Utwórz kompletny plik konfiguracyjny Promptfoo
Poniższy promptfooconfig.yaml ocenia ten sam prompt na modelu CometAPI:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Uruchom plik konfiguracyjny w Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml
Uruchom promptfoo redteam setup w celu automatycznego skanowania podatności.
Szczegółowy przebieg krok po kroku dla solidnych ewaluacji
- Zdefiniuj scenariusze krytyczne biznesowo: twórz zestawy testów odzwierciedlające realne użycie (np. wsparcie klienta, generowanie kodu, zadania kreatywne).
- Iteracje inżynierii promptów: używaj zmiennych (
{{var}}) i promptów z plików. Śledź wersje. - Macierz porównań modeli: uruchamiaj ewaluacje na 5–10 modelach. Analizuj koszt, opóźnienia i oceny jakości.
- Punktacja i asercje: łącz ocenę regułową, modelową (LLM judge) oraz niestandardowe oceniacze w JS/Pythonie.
- Integracja z CI/CD: dodaj do GitHub Actions:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Monitoruj i iteruj: używaj przeglądarki Promptfoo + panelu CometAPI, aby śledzić koszty/opóźnienia.
Przykładowa analiza wyników: oczekuj tabel z odsetkami zwycięstw, np. Claude lepszy w rozumowaniu, GPT w szybkości, DeepSeek w koszcie dla określonych zadań.
CometAPI vs. dostawcy bezpośredni vs. alternatywy w Promptfoo
| Aspekt | CometAPI + Promptfoo | Bezpośrednio (OpenAI/Anthropic) | Inni agregatorzy (np. OpenRouter) |
|---|---|---|---|
| Dostępne modele | 500+ zunifikowanych | Ograniczone do danego dostawcy | Wiele, ale zmienne |
| Cennik | 20–40% poniżej oficjalnych | Pełna stawka | Oficjalne + opłaty |
| Zarządzanie kluczami | Jeden klucz | Wiele | Wiele |
| Opóźnienie/Dostępność | <400 ms, 99,9% | Różnie | Różnie |
| Natywnie w Promptfoo | Tak, pełne wsparcie | Tak | Częściowo |
| Prywatność | Brak trenowania na promptach | Zależnie od polityki dostawcy | Różnie |
| Najlepsze dla | Szerokie testy i produkcja | Uzależnienie od jednego dostawcy | Proste routowanie |
Wniosek z danych: dla 1 mln tokenów w modelach ze średniej półki CometAPI często oszczędza 5–20+ USD na milion w porównaniu z bezpośrednimi, co kumuluje się w pętlach ewaluacji (setki/tysiące wywołań).
Rozwiązywanie typowych problemów
- Błędy klucza API: zweryfikuj zmienną środowiskową
COMETAPI_KEY(echo $COMETAPI_KEY). Sprawdź w konsoli środki/kredyty. - Nie znaleziono modelu: wypisz modele przez
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Używaj dokładnych nazw. - Limity zapytań: CometAPI inteligentnie obsługuje limity upstream; ustaw
delayw konfiguracji lub zmniejsz współbieżność. - Wysokie opóźnienia w ewaluacjach: włącz cache (
cache: true). Używaj mniejszych modeli na wstępne testy. - Niepowodzenia asercji: dostrój rubryki lub użyj więcej przykładów. Sędziowie LLM mogą być niespójni — uśrednij wiele przebiegów (
repeat: 3). - Problemy z obrazem/wizją: upewnij się, że model obsługuje modalność; podaj prawidłowe URL-e.
- Parsowanie YAML: waliduj względem schematu Promptfoo lub narzędzi online.
- Uprawnienia/CORS: dla własnych żądań HTTP sprawdź nagłówki.
Porada: uruchom promptfoo eval --verbose dla szczegółowych logów. Sprawdź status/pulpit CometAPI pod kątem awarii.
Rozwiązywanie problemów
Promptfoo nie może znaleźć klucza API
Potwierdź, że COMETAPI_KEY jest wyeksportowany w tej samej sesji powłoki, w której uruchamiasz promptfoo eval.
Typ dostawcy nie pasuje do modelu
Używaj chat dla modeli konwersacyjnych i multimodalnych, embedding dla modeli embeddingów oraz image dla modeli generowania obrazów.
Identyfikator modelu powoduje błąd
Zastąp your-model-id dokładnym identyfikatorem modelu ze strony CometAPI Models.
Zaawansowane wskazówki i dobre praktyki
- Optymalizacja kosztów: zacznij od tanich modeli (np. GPT‑5‑mini lub DeepSeek przez CometAPI) do iteracji promptów, a następnie weryfikuj na modelach premium.
- Własni dostawcy: rozszerz o JS/Python, jeśli potrzebujesz możliwości poza CometAPI.
- Testowanie RAG i agentów: integruj zmienne retrieval i wywołania narzędzi.
- Bezpieczeństwo: przeprowadź gruntowny red teaming przed produkcją. Pomaga w tym nacisk Promptfoo + CometAPI na prywatność.
- Skalowanie: używaj runnerów w chmurze lub hostuj samodzielnie Promptfoo dla dużych zestawów.
- Monitorowanie: połącz z analityką CometAPI, aby śledzić zużycie tokenów per model.
Rekomendacje CometAPI dla Twojego stacku (z Cometapi.com):
- Używaj do wszystkich obciążeń ewaluacyjnych, aby minimalizować koszty.
- Korzystaj z playgroundu do szybkich testów.
- Monitoruj alerty wykorzystania, by utrzymać budżet.
- Eksploruj modele obrazu/wideo do multimodalnych ewaluacji w Promptfoo.
Podsumowanie: podnieś poziom tworzenia aplikacji LLM już dziś
Integracja CometAPI z Promptfoo zapewnia potężne, ekonomiczne i skalowalne rozwiązanie dla nowoczesnego tworzenia aplikacji AI. Zyskujesz niezrównaną elastyczność modeli, rygorystyczne testowanie, oszczędności kosztów i spokój dzięki automatycznemu red teamingowi — przy pełnej kontroli.
Zacznij od małych kroków: ustaw klucz, uruchom przykładową konfigurację i rozbudowuj zestaw testów. Oszczędność czasu i pieniędzy będzie się kumulować wraz z rozwojem Twoich aplikacji AI.
Gotowy do wdrożenia? Przejdź do CometAPI, aby uzyskać bezpłatny klucz, i zanurz się w dokumentacji Promptfoo. W celu konsultingu niestandardowego lub zaawansowanych konfiguracji na Cometapi.com poznaj nasze zasoby.