Zintegruj CometAPI z Promptfoo: wszystko, co musisz wiedzieć

Promptfoo to otwarte narzędzie CLI do testowania, ewaluacji i red teamingu promptów, modeli i aplikacji LLM. Połączenie go z CometAPI — zunifikowanym, zgodnym z OpenAI interfejsem API dla 500+ modeli — pozwala deweloperom testować GPT, Claude, Gemini, Grok, DeepSeek i inne, używając jednego klucza, często przy kosztach niższych o 20–40% względem dostawców bezpośrednich. Ten przewodnik obejmuje konfigurację, pliki konfiguracyjne, zaawansowane użycie oraz korzyści poparte danymi.

Podsumowanie zoptymalizowane pod Featured Snippet

Promptfoo to otwarte narzędzie CLI do testowania, ewaluacji i red teamingu promptów, modeli i aplikacji LLM. Połączenie go z CometAPI — zunifikowanym, zgodnym z OpenAI interfejsem API dla 500+ modeli — pozwala deweloperom testować GPT, Claude, Gemini, Grok, DeepSeek i inne, używając jednego klucza, często przy kosztach niższych o 20–40% względem dostawców bezpośrednich. Ten przewodnik obejmuje konfigurację, pliki konfiguracyjne, zaawansowane użycie oraz korzyści poparte danymi.

Czym jest Promptfoo?

Promptfoo to sprawdzone w boju, otwartoźródłowe narzędzie CLI i biblioteka do test‑driven developmentu LLM. Zamiast ręcznej metody prób i błędów automatyzuje ewaluacje promptów, modeli, systemów RAG i agentów. Kluczowe możliwości to:

• Równoległe porównania modeli z widokami macierzy.
• Automatyczne asercje (dokładne dopasowanie, regex, LLM‑as‑judge, podobieństwo semantyczne itd.).
• Red teaming pod kątem podatności, takich jak wstrzyknięcia promptów, jailbreaki i ryzyka dla marki (ponad 50 typów wtyczek).
• Integracja z CI/CD, cache’owanie, współbieżność i live reloading.
• Obsługa 60+ dostawców, własnych skryptów i endpointów HTTP.

Statystyki adopcji (2026): używany przez 156 firm z listy Fortune 500, zasila aplikacje obsługujące miliony użytkowników i jest zaufany przez zespoły m.in. w Shopify. Licencja MIT, silne wsparcie społeczności.

Promptfoo zastępuje „u mnie działa” powtarzalnymi, mierzalnymi benchmarkami — kluczowe, gdy aplikacje LLM trafiają na produkcję.

Dlaczego używać CometAPI z Promptfoo?

CometAPI to zorientowany na deweloperów zunifikowany interfejs API agregujący 500+ najnowocześniejszych modeli (LLM, obraz, wideo, embeddingi) od OpenAI, Anthropic, Google, xAI, DeepSeek i innych. Jest w pełni zgodny z OpenAI, więc istniejący kod działa po prostej zmianie base_url.

Kluczowe korzyści tego połączenia:

1. Ogromna różnorodność modeli bez żonglowania kluczami: testuj warianty GPT‑5, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL‑E, modele podobne do Sory itd. z jednego klucza. Koniec z przełączaniem kont.
2. Znaczące oszczędności: CometAPI wycenia modele co najmniej 20–40% poniżej stawek oficjalnych w modelu pay‑as‑you‑go (bez subskrypcji). Raporty użytkowników i benchmarki pokazują stałe oszczędności względem dostawców bezpośrednich lub konkurentów, takich jak OpenRouter.
3. Natywne wsparcie w Promptfoo: dedykowany dostawca cometapi: z typami chat, completion, embedding i image. Bezproblemowe w ewaluacjach i red teamingu.
4. Niezawodność i szybkość: 99,9% dostępności, <400 ms średniego opóźnienia, prywatność klasy enterprise (brak trenowania na promptach), pulpity użycia oraz routing awaryjny.
5. Elastyczność w przepływach ewaluacyjnych: tanie testy A/B modeli czołowych, benchmarkowanie dokładności RAG lub red teaming agentów u różnych dostawców bez nadwyrężania budżetu.

Przy testach na dużą skalę przełączenie na CometAPI poprzez Promptfoo może znacząco obniżyć koszty ewaluacji, a jednocześnie poszerzyć zasięg. Na przykład równoległe testowanie wielu odpowiedników Claude/GPT staje się trywialne i przystępne cenowo. Zespoły raportują oszczędności 20%+ od pierwszego dnia, przy pełnej przenaszalności (zero lock‑in).

Najnowszy kontekst (2026): przy szybkim tempie wydawniczym modeli (np. Claude Opus 4–8, seria GPT‑5, postępy Geminiego) zunifikowane platformy takie jak CometAPI + narzędzia ewaluacyjne takie jak Promptfoo są kluczowe, by zachować zwinność bez eksplozji kosztów. Ekosystem Promptfoo wciąż rozszerza wsparcie dostawców, w tym głębszą integrację z CometAPI.

Wymagania wstępne

• Node.js (zalecane v18+): Promptfoo bazuje głównie na Node.
• Konto i klucz CometAPI: zarejestruj się bezpłatnie w CometAPI po kredyty testowe. Pobierz klucz z console/token.
• Zainstalowany Promptfoo:

  npm install -g promptfoo
  # Or npx promptfoo@latest for one-off use

• Podstawowa znajomość YAML i terminala.
• (Opcjonalnie) Python dla własnych dostawców lub Docker dla izolacji.

Zweryfikuj instalację: promptfoo --version.

Jak skonfigurować integrację Promptfoo z CometAPI

1. Ustaw swój klucz API CometAPI

export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile

Promptfoo odczytuje go automatycznie dla dostawcy cometapi.

Ustaw COMETAPI_KEY przed uruchomieniem ewaluacji:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

2. Wybierz format dostawcy CometAPI

W promptfooconfig.yaml:

providers:
  - cometapi:chat:gpt-5-mini          # Defaults to chat
  - cometapi:chat:claude-3-5-sonnet-20241022
  - cometapi:image:flux-schnell       # Image gen
  - cometapi:embedding:text-embedding-3-small
  # Or shorthand
  - cometapi:gpt-5.4-pro

Pełna składnia: cometapi:<type>:<model>. Domyślnym typem jest chat. Obsługuje wszystkie parametry OpenAI przez config.

Używaj tych typów dostawców:

Możesz też użyć cometapi:your-model-id dla domyślnego trybu chat.

3. Uruchom szybką ewaluację w CLI

# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id

# With full config
promptfoo eval

To generuje przeglądarkę webową z wynikami, wyjściami i różnicami (diff).

4. Utwórz kompletny plik konfiguracyjny Promptfoo

Poniższy promptfooconfig.yaml ocenia ten sam prompt na modelu CometAPI:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Uruchom plik konfiguracyjny w Promptfoo:

npx promptfoo@latest eval -c promptfooconfig.yaml

Uruchom promptfoo redteam setup w celu automatycznego skanowania podatności.

Szczegółowy przebieg krok po kroku dla solidnych ewaluacji

1. Zdefiniuj scenariusze krytyczne biznesowo: twórz zestawy testów odzwierciedlające realne użycie (np. wsparcie klienta, generowanie kodu, zadania kreatywne).
2. Iteracje inżynierii promptów: używaj zmiennych ({{var}}) i promptów z plików. Śledź wersje.
3. Macierz porównań modeli: uruchamiaj ewaluacje na 5–10 modelach. Analizuj koszt, opóźnienia i oceny jakości.
4. Punktacja i asercje: łącz ocenę regułową, modelową (LLM judge) oraz niestandardowe oceniacze w JS/Pythonie.
5. Integracja z CI/CD: dodaj do GitHub Actions:

   - name: Promptfoo Eval
     run: promptfoo eval --ci

1. Monitoruj i iteruj: używaj przeglądarki Promptfoo + panelu CometAPI, aby śledzić koszty/opóźnienia.

Przykładowa analiza wyników: oczekuj tabel z odsetkami zwycięstw, np. Claude lepszy w rozumowaniu, GPT w szybkości, DeepSeek w koszcie dla określonych zadań.

CometAPI vs. dostawcy bezpośredni vs. alternatywy w Promptfoo

Wniosek z danych: dla 1 mln tokenów w modelach ze średniej półki CometAPI często oszczędza 5–20+ USD na milion w porównaniu z bezpośrednimi, co kumuluje się w pętlach ewaluacji (setki/tysiące wywołań).

Rozwiązywanie typowych problemów

• Błędy klucza API: zweryfikuj zmienną środowiskową COMETAPI_KEY (echo $COMETAPI_KEY). Sprawdź w konsoli środki/kredyty.
• Nie znaleziono modelu: wypisz modele przez curl -H "Authorization: Bearer $COMETAPI_KEY" https://api.cometapi.com/v1/models. Używaj dokładnych nazw.
• Limity zapytań: CometAPI inteligentnie obsługuje limity upstream; ustaw delay w konfiguracji lub zmniejsz współbieżność.
• Wysokie opóźnienia w ewaluacjach: włącz cache (cache: true). Używaj mniejszych modeli na wstępne testy.
• Niepowodzenia asercji: dostrój rubryki lub użyj więcej przykładów. Sędziowie LLM mogą być niespójni — uśrednij wiele przebiegów (repeat: 3).
• Problemy z obrazem/wizją: upewnij się, że model obsługuje modalność; podaj prawidłowe URL-e.
• Parsowanie YAML: waliduj względem schematu Promptfoo lub narzędzi online.
• Uprawnienia/CORS: dla własnych żądań HTTP sprawdź nagłówki.

Porada: uruchom promptfoo eval --verbose dla szczegółowych logów. Sprawdź status/pulpit CometAPI pod kątem awarii.

Rozwiązywanie problemów

Promptfoo nie może znaleźć klucza API

Potwierdź, że COMETAPI_KEY jest wyeksportowany w tej samej sesji powłoki, w której uruchamiasz promptfoo eval.

Typ dostawcy nie pasuje do modelu

Używaj chat dla modeli konwersacyjnych i multimodalnych, embedding dla modeli embeddingów oraz image dla modeli generowania obrazów.

Identyfikator modelu powoduje błąd

Zastąp your-model-id dokładnym identyfikatorem modelu ze strony CometAPI Models.

Zaawansowane wskazówki i dobre praktyki

• Optymalizacja kosztów: zacznij od tanich modeli (np. GPT‑5‑mini lub DeepSeek przez CometAPI) do iteracji promptów, a następnie weryfikuj na modelach premium.
• Własni dostawcy: rozszerz o JS/Python, jeśli potrzebujesz możliwości poza CometAPI.
• Testowanie RAG i agentów: integruj zmienne retrieval i wywołania narzędzi.
• Bezpieczeństwo: przeprowadź gruntowny red teaming przed produkcją. Pomaga w tym nacisk Promptfoo + CometAPI na prywatność.
• Skalowanie: używaj runnerów w chmurze lub hostuj samodzielnie Promptfoo dla dużych zestawów.
• Monitorowanie: połącz z analityką CometAPI, aby śledzić zużycie tokenów per model.

Rekomendacje CometAPI dla Twojego stacku (z Cometapi.com):

• Używaj do wszystkich obciążeń ewaluacyjnych, aby minimalizować koszty.
• Korzystaj z playgroundu do szybkich testów.
• Monitoruj alerty wykorzystania, by utrzymać budżet.
• Eksploruj modele obrazu/wideo do multimodalnych ewaluacji w Promptfoo.

Podsumowanie: podnieś poziom tworzenia aplikacji LLM już dziś

Integracja CometAPI z Promptfoo zapewnia potężne, ekonomiczne i skalowalne rozwiązanie dla nowoczesnego tworzenia aplikacji AI. Zyskujesz niezrównaną elastyczność modeli, rygorystyczne testowanie, oszczędności kosztów i spokój dzięki automatycznemu red teamingowi — przy pełnej kontroli.

Zacznij od małych kroków: ustaw klucz, uruchom przykładową konfigurację i rozbudowuj zestaw testów. Oszczędność czasu i pieniędzy będzie się kumulować wraz z rozwojem Twoich aplikacji AI.

Gotowy do wdrożenia? Przejdź do CometAPI, aby uzyskać bezpłatny klucz, i zanurz się w dokumentacji Promptfoo. W celu konsultingu niestandardowego lub zaawansowanych konfiguracji na Cometapi.com poznaj nasze zasoby.