Promptfoo, LLM istemleri, modelleri ve uygulamalarını test etmek, değerlendirmek ve red team çalışmaları için kullanılan açık kaynak bir CLI aracıdır. Bunu CometAPI ile eşleştirmek—500+ model için birleşik, OpenAI ile uyumlu bir API—geliştiricilerin tek bir anahtarla GPT, Claude, Gemini, Grok, DeepSeek ve daha fazlası üzerinde test yapmasına olanak tanır; genellikle doğrudan sağlayıcılara kıyasla %20–40 daha düşük maliyetle. Bu rehber kurulum, yapılandırmalar, ileri düzey kullanım ve gerçek verilerle desteklenen faydaları kapsar.
Öne Çıkan Snippet’e Uygun Özet
Promptfoo, LLM istemleri, modelleri ve uygulamalarını test etmek, değerlendirmek ve red team çalışmaları için kullanılan açık kaynak bir CLI aracıdır. Bunu CometAPI ile eşleştirmek—500+ model için birleşik, OpenAI ile uyumlu bir API—geliştiricilerin tek bir anahtarla GPT, Claude, Gemini, Grok, DeepSeek ve daha fazlası üzerinde test yapmasına olanak tanır; genellikle doğrudan sağlayıcılara kıyasla %20–40 daha düşük maliyetle. Bu rehber kurulum, yapılandırmalar, ileri düzey kullanım ve gerçek verilerle desteklenen faydaları kapsar.
Promptfoo nedir?
Promptfoo, test odaklı LLM geliştirme için sahada kanıtlanmış açık kaynak bir CLI ve kütüphanedir. Elle deneme-yanılma yerine, istemler, modeller, RAG sistemleri ve ajanlar genelinde değerlendirmeleri otomatikleştirir. Öne çıkan yetenekler şunlardır:
- Matris görünümleriyle yan yana model karşılaştırmaları.
- Otomatik doğrulamalar (tam eşleşme, regex, hakem olarak LLM, anlamsal benzerlik vb.).
- İstem enjeksiyonu, jailbreak ve marka riski gibi zafiyetler için red team çalışmaları (50+ eklenti türü).
- CI/CD entegrasyonu, önbellekleme, eşzamanlılık ve canlı yeniden yükleme.
- 60+ sağlayıcı, özel betikler ve HTTP uç noktaları için destek.
Adoption Stats (2026): 156 Fortune 500 şirketi tarafından kullanılıyor, milyonlarca kullanıcıya hizmet veren uygulamaları güçlendiriyor ve Shopify ekipleri dâhil birçok ekip tarafından güveniliyor. Güçlü bir topluluk ivmesiyle MIT lisanslıdır.
Promptfoo, üretime geçerken kritik olan, tekrarlanabilir ve ölçülebilir kıyaslamalarla "benim makinemde çalışıyor" yaklaşımının yerini alır.
Neden Promptfoo ile CometAPI kullanmalı?
CometAPI, OpenAI, Anthropic, Google, xAI, DeepSeek ve diğerlerinden 500+ son teknoloji modeli (LLM’ler, görüntü, video, gömme) bir araya getiren, geliştirici odaklı birleşik bir API’dir. Tamamen OpenAI ile uyumludur; bu nedenle mevcut kod basit bir base_url değişikliğiyle çalışır.
Key Benefits of the Combo:
- Anahtar yönetimi olmadan devasa model çeşitliliği: Tek bir anahtarla GPT-5 varyantlarını, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora benzeri modeller vb. test edin. Hesaplar arasında mekik yok.
- Önemli maliyet tasarrufu: CometAPI, modelleri resmi tarifelerin en az %20–40 altında, kullandıkça öde modeliyle fiyatlar (abonelik yok). Gerçek kullanıcı raporları ve kıyaslamalar, doğrudan kullanım veya OpenRouter gibi rakiplere göre tutarlı tasarruflar gösteriyor.
- Yerel Promptfoo desteği: chat, completion, embedding ve image türleriyle özel
cometapi:sağlayıcısı. Değerlendirmeler ve red team çalışmaları için sorunsuzdur. - Güvenilirlik ve hız: 99.9% çalışma süresi, <400ms ortalama gecikme, kurumsal gizlilik (istemlerle eğitim yok), kullanım panoları ve yedekli yönlendirme.
- Değerlendirme iş akışları için esneklik: Bütçeyi zorlamadan öncü modellerde A/B testleri yapın, RAG doğruluğunu kıyaslayın veya sağlayıcılar arasında ajanlara red team uygulayın.
Yüksek hacimli testlerde, Promptfoo üzerinden CometAPI’ye geçmek değerlendirme maliyetlerini önemli ölçüde azaltırken kapsamı genişletir. Örneğin, birden çok Claude/GPT eşdeğerini yan yana test etmek hem çok kolay hem de uyguna gelir. Ekipler ilk günden %20+ tasarruf bildirmekte, tam taşınabilirlik (sıfır kilitlenme) korunmaktadır.
Latest Context (2026): Hızlı model sürümleri (ör. Claude Opus 4-8, GPT-5 serisi, Gemini atılımları) ile, CometAPI gibi birleşik platformlar ve Promptfoo gibi değerlendirme araçları, bütçeleri patlatmadan çevik kalmak için kritik önemdedir. Promptfoo ekosistemi, CometAPI ile daha derin entegrasyon dâhil sağlayıcı desteğini genişletmeye devam ediyor.
Önkoşullar
- Node.js (v18+ önerilir): Promptfoo ağırlıkla Node tabanlıdır.
- CometAPI Hesabı ve Anahtarı: Deneme kredileri için CometAPI üzerinden ücretsiz kaydolun. Anahtarı console/token adresinden alın.
- Promptfoo yüklü:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- YAML ve terminale temel aşinalık.
- (Opsiyonel) Özel sağlayıcılar için Python veya izolasyon için Docker.
Kurulumu doğrulayın: promptfoo --version.
Promptfoo ile CometAPI entegrasyonunu nasıl yapılandırırsınız
1. CometAPI API anahtarınızı ayarlayın
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo bunu cometapi sağlayıcısı için otomatik olarak okur.
Değerlendirmeleri çalıştırmadan önce COMETAPI_KEY değerini ayarlayın:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. CometAPI sağlayıcı formatını seçin
promptfooconfig.yaml içinde:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Tam söz dizimi: cometapi:<type>:<model>. Tür varsayılan olarak chat olur. config aracılığıyla tüm OpenAI parametrelerini destekler.
Şu sağlayıcı türlerini kullanın:
| Type | Kullanım amacı |
|---|---|
| chat | Sohbet tamamlamaları, görsel ve multimodal istemler |
| completion | Metin tamamlama modelleri |
| embedding | Metin gömme değerlendirmeleri |
| image | Görüntü üretim değerlendirmeleri |
Ayrıca varsayılan chat modu için cometapi:your-model-id kullanabilirsiniz.
3. Hızlı bir CLI değerlendirmesi çalıştırın
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Bu, puanlar, çıktılar ve farkları içeren bir web görüntüleyicisi üretir.
4. Kapsamlı bir Promptfoo yapılandırma dosyası oluşturun
Aşağıdaki promptfooconfig.yaml, aynı istemi bir CometAPI modeline karşı değerlendirir:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Yapılandırma dosyasını Promptfoo ile çalıştırın:
npx promptfoo@latest eval -c promptfooconfig.yaml
Otomatik güvenlik açığı taraması için promptfoo redteam setup çalıştırın.
Sağlam değerlendirmeler için ayrıntılı adım adım iş akışı
- İş açısından kritik senaryoları tanımlayın: Gerçek kullanımı yansıtan test paketleri oluşturun (örn. müşteri desteği, kod üretimi, yaratıcı görevler).
- İstem mühendisliği iterasyonu: Değişkenleri (
{{var}}) ve dosya tabanlı istemleri kullanın. Sürümleri izleyin. - Model karşılaştırma matrisi: 5–10 modelde değerlendirmeler çalıştırın. Maliyet, gecikme ve kalite puanlarını analiz edin.
- Puanlama ve doğrulamalar: Kural tabanlı, model tabanlı (LLM hakemi) ve özel JS/Python değerlendiricilerini birleştirin.
- CI/CD entegrasyonu: GitHub Actions’a ekleyin:
- name: Promptfoo Eval
run: promptfoo eval --ci
- İzleyin ve yineleyin: Harcama/gecikme içgörüleri için Promptfoo’nun görüntüleyicisi + CometAPI panosunu kullanın.
Örnek Çıktı Analizi: Kazanım oranlarını gösteren tablolar bekleyin; örn., belirli görevlerde akıl yürütmede Claude daha iyi, hızda GPT, maliyette DeepSeek.
Promptfoo’da CometAPI vs. Doğrudan Sağlayıcılar vs. Alternatifler
| Aspect | CometAPI + Promptfoo | Direct (OpenAI/Anthropic) | Other Aggregators (e.g., OpenRouter) |
|---|---|---|---|
| Models Available | 500+ unified | Limited per vendor | Many, but variable |
| Pricing | 20-40% below official | Full rate | Official + fees |
| Key Management | Single key | Multiple | Multiple |
| Latency/Uptime | <400ms, 99.9% | Varies | Varies |
| Promptfoo Native | Yes, full support | Yes | Partial |
| Privacy | No training on prompts | Provider policy | Varies |
| Best For | Broad testing & production | Single-vendor lock-in | Simple routing |
Data Insight: Orta seviye model kullanımında 1M token için, CometAPI genellikle doğrudana kıyasla milyon başına $5-20+ tasarruf sağlar; bu tasarruf değerlendirme döngülerinde (yüzlerce/binlerce çağrı) bileşik etki yaratır.
Yaygın Sorunların Giderilmesi
- API anahtarı hataları:
COMETAPI_KEYortam değişkenini doğrulayın (echo $COMETAPI_KEY). Krediler için konsolu kontrol edin. - Model bulunamadı: Modelleri
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/modelsüzerinden listeleyin. Tam adları kullanın. - Oran sınırları: CometAPI üst sağlayıcıları akıllıca yönetir; yapılandırmada
delayayarlayın veya eşzamanlılığı azaltın. - Değerlendirmelerde yüksek gecikme: Önbelleği etkinleştirin (
cache: true). İlk testler için daha küçük modeller kullanın. - Doğrulama hataları: Rubrikleri ayarlayın veya daha fazla örnek kullanın. LLM hakemleri tutarsız olabilir—birden çok çalıştırmanın ortalamasını alın (
repeat: 3). - Görüntü/Görüş sorunları: Modelin modaliteyi desteklediğinden emin olun; geçerli URL’ler sağlayın.
- YAML ayrıştırma: Promptfoo şeması veya çevrimiçi araçlarla doğrulayın.
- İzinler/CORS: Özel HTTP için başlıkları kontrol edin.
Pro Tip: Ayrıntılı günlükler için promptfoo eval --verbose çalıştırın. Kesintiler için CometAPI durumunu/panosunu kontrol edin.
Sorun Giderme
Promptfoo API anahtarını bulamıyor
COMETAPI_KEY değişkeninin, promptfoo eval komutunu çalıştıran aynı kabuk oturumunda dışa aktarıldığını doğrulayın.
Sağlayıcı türü modelle eşleşmiyor
Sohbet ve multimodal modeller için chat, gömme modeller için embedding ve görüntü üretim modelleri için image kullanın.
Model kimliği başarısız oluyor
your-model-id ifadesini CometAPI Models sayfasındaki tam model kimliğiyle değiştirin.
İleri İpuçları ve En İyi Uygulamalar
- Maliyet optimizasyonu: Promt iterasyonu için önce ucuz modellerle (ör. GPT-5-mini veya CometAPI üzerinden DeepSeek) başlayın, sonra premium ile doğrulayın.
- Özel sağlayıcılar: CometAPI’nin ötesinde ihtiyaç olursa JS/Python ile genişletin.
- RAG ve Ajan Testleri: Getirme değişkenlerini ve araç çağrılarını entegre edin.
- Güvenlik: Üretim öncesi kapsamlı red team yapın. Promptfoo + CometAPI’nin gizlilik odağı yardımcı olur.
- Ölçekleme: Büyük paketler için bulut çalıştırıcıları kullanın veya Promptfoo’yu kendiniz barındırın.
- İzleme: Model başına token harcaması için CometAPI analitikleriyle birleştirin.
Cometapi.com’dan Yığınınız için CometAPI Önerileri:
- Maliyetleri en aza indirmek için tüm değerlendirme iş yüklerinde kullanın.
- Hızlı testler için playground’dan yararlanın.
- Bütçeyi aşmamak için kullanım uyarılarını izleyin.
- Promptfoo’da multimodal değerlendirmeler için görüntü/video modellerini keşfedin.
Sonuç: LLM geliştirmeyi bugün bir üst seviyeye taşıyın
CometAPI ile Promptfoo’yu entegre etmek, modern yapay zekâ geliştirme için güçlü, ekonomik ve ölçeklenebilir bir çözüm sunar. Benzersiz model esnekliği, sıkı testler, maliyet verimliliği ve otomatik red team sayesinde iç huzuru kazanırsınız—üstelik tam kontrol sizde kalır.
Küçük başlayın: Anahtarı ayarlayın, örnek yapılandırmayı çalıştırın ve test paketinizi genişletin. Uygulamalarınız büyüdükçe zaman ve para tasarrufu katlanarak artacaktır.
Hazır mısınız? Ücretsiz anahtarınız için CometAPI’ye gidin ve Promptfoo dokümantasyonuna dalın. Cometapi.com’daki özel danışmanlık veya ileri kurulumlar için kaynaklarımızı keşfedin.