Promptfoo — LLM промпттарын, модельдерін және қолданбаларын тестілеуге, бағалауға және red teaming жүргізуге арналған ашық бастапқы кодты CLI құралы. Оны CometAPI-мен—500+ модель үшін біріздендірілген, OpenAI-мен үйлесімді бірыңғай API—жұптау арқылы әзірлеушілер бір ғана кілтпен GPT, Claude, Gemini, Grok, DeepSeek және басқаларын тестілей алады, көбіне тікелей провайдерлерден 20–40% арзан. Бұл нұсқаулық орнатуды, конфигурацияларды, кеңейтілген қолдануды және шынайы деректермен дәлелденген артықшылықтарды қамтиды.
Featured Snippet-ке оңтайландырылған қысқаша түйін
Promptfoo — LLM промпттарын, модельдерін және қолданбаларын тестілеуге, бағалауға және red teaming жүргізуге арналған ашық бастапқы кодты CLI құралы. Оны CometAPI-мен—500+ модель үшін біріздендірілген, OpenAI-мен үйлесімді бірыңғай API—жұптау арқылы әзірлеушілер бір ғана кілтпен GPT, Claude, Gemini, Grok, DeepSeek және басқаларын тестілей алады, көбіне тікелей провайдерлерден 20–40% арзан. Бұл нұсқаулық орнатуды, конфигурацияларды, кеңейтілген қолдануды және шынайы деректермен дәлелденген артықшылықтарды қамтиды.
Promptfoo деген не?
Promptfoo — тестке негізделген LLM әзірлеуге арналған, тәжірибеде сыналған ашық бастапқы кодты CLI және кітапхана. Қолмен сынақтан өткізудің орнына, ол промпттар, модельдер, RAG жүйелері және агенттер бойынша бағалауды автоматтандырады. Негізгі мүмкіндіктері:
- Модельдерді қатар-қатар салыстыруға арналған матрица түріндегі көріністер.
- Автоматтандырылған ассерциялар (дәл сәйкестік, regex, LLM-as-judge, семантикалық ұқсастық және т.б.).
- Промпт инъекциясы, jailbreak және бренд тәуекелдері сияқты осалдықтарға арналған red teaming (50+ плагин түрі).
- CI/CD интеграциясы, кэштеу, параллелизм және live reloading.
- 60+ провайдерді, жеке скрипттерді және HTTP endpoint-терін қолдау.
Қолданылу статистикасы (2026): 156 Fortune 500 компаниясы қолданады, миллиондаған пайдаланушыға қызмет көрсететін қолданбаларға қуат береді және Shopify секілді командалардың сеніміне ие. MIT лицензиясы және белсенді қауымдастығы бар.
Promptfoo «it works on my machine» көзқарасын қайталанатын, сандық өлшенетін бенчмарктермен алмастырады — LLM қолданбалары продакшенге шыққан сайын бұл аса маңызды.
Неліктен Promptfoo-ды CometAPI-мен бірге қолдану керек?
CometAPI — әзірлеушіге бағытталған, OpenAI-мен толық үйлесімді, OpenAI, Anthropic, Google, xAI, DeepSeek және басқалардан келген 500+ заманауи модельді (LLM, бейне, сурет, эмбеддинг) біріктіретін бірыңғай API. Толық OpenAI-үйлесімді, сондықтан бар кодыңыз base_url параметрін ғана өзгертіп жұмыс істей береді.
Комбоның негізгі артықшылықтары:
- Модельдердің ауқымды таңдауы және кілттерді басқарудың қажеті жоқ: Бір кілтпен GPT-5 варианттары, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora-ға ұқсас модельдер және т.б. Тіркелгілерді алмастырудың қажеті жоқ.
- Елеулі құн үнемдеу: CometAPI модельдерді ресми тарифтерден кемінде 20–40% арзан бағамен ұсынады, төлем — қолданғаныңша. Нақты пайдаланушы есептері мен бенчмарктер тікелей провайдерлермен немесе OpenRouter сынды баламалармен салыстырғанда тұрақты үнемділікті көрсетеді.
- Promptfoo-да нативті қолдау:
cometapi:арнайы провайдері chat, completion, embedding және image түрлерімен. Бағалау және red teaming үшін оңай. - Сенімділік және жылдамдық: 99.9% қолжетімділік, <400ms орташа кідіріс, кәсіпорын деңгейіндегі құпиялылық (промпттар оқытуға қолданылмайды), қолдану дашбордтары және failover маршрутизациясы.
- Бағалау жұмыс ағындары үшін икемділік: Frontier модельдерін A/B тестілеу, RAG дәлдігін бенчмарктеу немесе агенттерді әртүрлі провайдерлерде арзан бағамен red team жасау.
Көлемді тестілеуде Promptfoo арқылы CometAPI-ге ауысу бағалау шығындарын едәуір қысқартумен қатар қамтуды кеңейтеді. Мысалы, бірнеше Claude/GPT эквивалентін қатар салыстыру тривиалды әрі қолжетімді болады. Командалар бірінші күннен-ақ 20%+ үнемдеуді хабарлайды, толық портативтілікпен (lock-in жоқ).
Соңғы контекст (2026): Модельдер тез жаңартылып жатқанда (мыс., Claude Opus 4–8, GPT-5 сериясы, Gemini жетістіктері), CometAPI сияқты бірыңғай платформалар және Promptfoo сияқты бағалау құралдары бюджетсіз «жарылмай» ептілікті сақтау үшін өте маңызды. Promptfoo экожүйесі провайдерлерді қолдауды кеңейтуді, соның ішінде CometAPI-мен тереңірек интеграцияны жалғастыруда.
Алдын ала талаптар
- Node.js (v18+ ұсынылады): Promptfoo негізінен Node-қа сүйенеді.
- CometAPI тіркелгісі мен кілті: Тегін тіркеліңіз CometAPI сайтында, тесттік кредиттер бар. Кілтті console/token бетінде алыңыз.
- Promptfoo орнатылған:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- YAML және терминалмен базалық таныстық.
- (Қалауынша) Python — жеке провайдерлер үшін немесе Docker — оқшаулау үшін.
Орнатуды тексеру: promptfoo --version.
Promptfoo-ды CometAPI-пен интеграциялауды баптау жолы
1. CometAPI API кілтіңізді орнатыңыз
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo бұл мәнді cometapi провайдері үшін автоматты түрде оқиды.
Бағалауларды іске қоспас бұрын COMETAPI_KEY орнатыңыз:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. CometAPI провайдері пішімін таңдаңыз
promptfooconfig.yaml ішінде:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Толық синтаксис: cometapi:<type>:<model>. Type әдепкіде chat. config арқылы барлық OpenAI параметрлері қолданылады.
Осы провайдер түрлерін қолданыңыз:
| Type | Use case |
|---|---|
| chat | Әңгімелесу аяқтаулары, vision және мультимодальды промпттар |
| completion | Мәтіндік completion модельдері |
| embedding | Мәтіндік эмбеддинг бағалаулары |
| image | Сурет генерациясы бағалаулары |
Сондай-ақ әдепкі chat режимі үшін cometapi:your-model-id қолдана аласыз.
3. CLI арқылы жедел бағалау іске қосыңыз
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Бұл нәтижелер, бағалар және айырмашылықтармен веб-көрерменді генерациялайды.
4. Толыққанды Promptfoo конфигурация файлын жасаңыз
Төмендегі promptfooconfig.yaml бір промптты CometAPI моделінде бағалайды:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Config файлын Promptfoo арқылы іске қосыңыз:
npx promptfoo@latest eval -c promptfooconfig.yaml
Автоматтандырылған осалдық сканері үшін promptfoo redteam setup орындаңыз.
Тұрақты бағалауларға арналған егжей-тегжейлі қадамдық жұмыс ағыны
- Бизнеске сыни сценарийлерді анықтаңыз: Шынайы қолдануды бейнелейтін тесттік жиындар жасаңыз (мыс., тұтынушы қолдауы, код генерациясы, шығармашылық тапсырмалар).
- Промпт инженериясын итерациялау: Айнымалыларды (
{{var}}) және файлға негізделген промпттарды қолданыңыз. Нұсқаларды бақылаңыз. - Модельдерді салыстыру матрицасы: 5–10 модель бойынша бағалау жүргізіңіз. Құнды, кідірісті, сапа ұпайларын талдаңыз.
- Бағалау және ассерциялар: Ережеге негізделген, модельге негізделген (LLM judge) және жеке JS/Python бағалаушыларын біріктіріңіз.
- CI/CD интеграциясы: GitHub Actions-қа қосыңыз:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Бақылау және итерация: Шығын/кідіріс түсініктері үшін Promptfoo көрерменін және CometAPI дашбордын пайдаланыңыз.
Мысал нәтижелерін талдау: Жеңіс ставкаларын көрсететін кестелерді күтіңіз, мыс., белгілі тапсырмалар үшін Claude — пайымдауда жақсырақ, GPT — жылдамдықта, DeepSeek — құнда.
Promptfoo құрамында CometAPI vs. тікелей провайдерлер vs. баламалар
| Aspect | CometAPI + Promptfoo | Direct (OpenAI/Anthropic) | Other Aggregators (e.g., OpenRouter) |
|---|---|---|---|
| Models Available | 500+ unified | Вендорға байланысты шектеулі | Көп, бірақ тұрақсыз |
| Pricing | Ресми бағадан 20–40% төмен | Толық тариф | Ресми баға + үстеме |
| Key Management | Бір кілт | Бірнеше | Бірнеше |
| Latency/Uptime | <400ms, 99.9% | Өзгермелі | Өзгермелі |
| Promptfoo Native | Иә, толық қолдау | Иә | Жартылай |
| Privacy | Промпттар оқытуға қолданылмайды | Провайдер саясаты | Өзгермелі |
| Best For | Кең ауқымды тест пен прод | Бір вендорға байлану | Қарапайым маршрутизация |
Деректерге негізделген түсінік: Орта деңгейлі модель бойынша 1M токенге CometAPI жиі тікелей қолдануға қарағанда $5–20+ үнемдейді, бұл бағалау циклдарында (жүздеген/мыңдаған қоңыраулар) еселене түседі.
Жиі кездесетін ақауларды жою
- API кілті қателері:
COMETAPI_KEYорта айнымалысын тексеріңіз (echo $COMETAPI_KEY). Консольде кредиттерді тексеріңіз. - Модель табылмады: Модельдер тізімін шығарыңыз:
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Нақты атауларды қолданыңыз. - Rate limit-тер: CometAPI жоғары ағындарды ақылды басқарады; конфигурацияда
delayорнатыңыз немесе параллелизмді азайтыңыз. - Бағалауда жоғары кідіріс: Кэштеуді қосыңыз (
cache: true). Бастапқы сынақтар үшін кішірек модельдерді қолданыңыз. - Ассерция сәтсіздіктері: Рубрикаларды реттеңіз немесе көбірек мысал қосыңыз. LLM бағалаушылары тұрақсыз болуы мүмкін — бірнеше іске қосу нәтижесін орташа алыңыз (
repeat: 3). - Сурет/vision мәселелері: Модельдің осы модальдіктерді қолдайтынын және URL-дердің жарамды екенін тексеріңіз.
- YAML талдау: Promptfoo схемасымен немесе онлайн құралдармен тексеріңіз.
- Рұқсаттар/CORS: Жеке HTTP үшін тақырыптарды тексеріңіз.
Pro Tip: Толық журнал үшін promptfoo eval --verbose орындаңыз. Ақауларға CometAPI статусын/дашбордын тексеріңіз.
Ақауларды жою
Promptfoo API кілтін таба алмайды
promptfoo eval орындалатын дәл сол shell сессиясында COMETAPI_KEY экспортталғанын растаңыз.
Провайдер түрі модельге сәйкес келмейді
Әңгімелесу және мультимодальды модельдер үшін chat, эмбеддинг модельдері үшін embedding, сурет генерациясы үшін image қолданыңыз.
Модель ID қате береді
your-model-id мәнін CometAPI Models бетінде көрсетілген нақты модель ID-мен алмастырыңыз.
Кеңейтілген кеңестер және үздік тәжірибелер
- Құнды оңтайландыру: Промпт итерациясын арзан модельдерден (мыс., GPT-5-mini немесе CometAPI арқылы DeepSeek) бастаңыз, кейін праймумдармен растаңыз.
- Жеке провайдерлер: CometAPI аясынан тыс қажет болса, JS/Python арқылы кеңейтіңіз.
- RAG және агент тестілеуі: Іздеу айнымалыларын және құрал қоңырауларын біріктіріңіз.
- Қауіпсіздік: Продакшенге шығар алдында толық red team жасаңыз. Promptfoo + CometAPI құпиялылық бағыты көмектеседі.
- Масштабтау: Үлкен жиындар үшін cloud runner-ларды қолданыңыз немесе Promptfoo-ды өзіңіз хосттаңыз.
- Бақылау: Модель бойынша токен шығынын бақылау үшін CometAPI аналитикасын қолданыңыз.
Сіздің стекиніз үшін Cometapi.com ұсыныстары:
- Барлық бағалау жүктемелері үшін қолданыңыз — шығынды азайту.
- Жылдам сынақтар үшін playground-ты пайдаланыңыз.
- Бюджеттен аспау үшін пайдалануды бақылау ескертулерін қосыңыз.
- Promptfoo-да мультимодальды бағалау үшін сурет/бейне модельдерін зерттеңіз.
Қорытынды: LLM әзірлеуді бүгін жақсартыңыз
CometAPI мен Promptfoo интеграциясы — заманауи AI әзірлеу үшін қуатты, үнемді және ауқымдалатын шешім. Сіз бұрын-соңды болмаған модель икемділігін, қатаң тестілеуді, шығын тиімділігін және автоматтандырылған red teaming арқылы тыныштықты аласыз — толық бақылауды сақтай отырып.
Кішіден бастаңыз: кілтті орнатыңыз, мысал конфигін іске қосыңыз және тест жиыныңызды кеңейтіңіз. Уақыт пен қаржы үнемі қолданбаларыңыз өскен сайын еселене түседі.
Дайынсыз ба? Тегін кілт алу үшін CometAPI сайтына өтіңіз және Promptfoo құжаттамасына кірісіңіз. Cometapi.com сайтындағы жеке консалтинг немесе кеңейтілген орнатулар үшін ресурстарымызды қараңыз.