CometAPI'yi Promptfoo ile entegre etmek: Bilmeniz gereken her şey

Promptfoo, LLM istemleri, modeller ve uygulamaları için test, değerlendirme ve red teaming yapmaya yönelik açık kaynaklı bir CLI aracıdır. Bunu 500+ model için OpenAI-uyumlu, birleşik bir API olan CometAPI ile eşleştirmek, geliştiricilerin tek bir anahtarla GPT, Claude, Gemini, Grok, DeepSeek ve daha fazlasını test etmesine imkân tanır; üstelik doğrudan sağlayıcılara kıyasla çoğu zaman %20-40 daha düşük maliyetle. Bu kılavuz kurulum, yapılandırmalar, ileri düzey kullanım ve gerçek veriye dayalı faydaları kapsar.

Öne Çıkan Snippet için Optimize Edilmiş Özet

Promptfoo, LLM istemleri, modeller ve uygulamaları için test, değerlendirme ve red teaming yapmaya yönelik açık kaynaklı bir CLI aracıdır. Bunu 500+ model için OpenAI-uyumlu, birleşik bir API olan CometAPI ile eşleştirmek, geliştiricilerin tek bir anahtarla GPT, Claude, Gemini, Grok, DeepSeek ve daha fazlasını test etmesine imkân tanır; üstelik doğrudan sağlayıcılara kıyasla çoğu zaman %20-40 daha düşük maliyetle. Bu kılavuz kurulum, yapılandırmalar, ileri düzey kullanım ve gerçek veriye dayalı faydaları kapsar.

Promptfoo nedir?

Promptfoo, test odaklı LLM geliştirme için sahada kanıtlanmış, açık kaynaklı bir CLI ve kütüphanedir. Elle deneme-yanılma yapmak yerine, istemler, modeller, RAG sistemleri ve ajanlar genelinde değerlendirmeleri otomatikleştirir. Temel yetenekler:

• Matris görünümleriyle yan yana model karşılaştırmaları.
• Otomatik doğrulamalar (tam eşleşme, regex, hakem olarak LLM, anlamsal benzerlik vb.).
• İstem enjeksiyonu, jailbreak ve marka riskleri gibi zafiyetler için red teaming (50+ eklenti türü).
• CI/CD entegrasyonu, önbellekleme, eşzamanlılık ve canlı yenileme.
• 60+ sağlayıcı, özel betikler ve HTTP uç noktaları desteği.

Benimsenme İstatistikleri (2026): 156 Fortune 500 şirketi tarafından kullanılıyor, milyonlarca kullanıcıya hizmet veren uygulamaları güçlendiriyor ve Shopify gibi ekipler tarafından güveniliyor. MIT lisanslıdır ve güçlü bir topluluk ivmesine sahiptir.

Promptfoo, "benim makinemde çalışıyor" anlayışının yerine tekrarlanabilir, ölçülebilir kıyaslamalar getirir—LLM uygulamaları üretime taşınırken kritik önem taşır.

Neden Promptfoo ile CometAPI kullanmalı?

CometAPI, OpenAI, Anthropic, Google, xAI, DeepSeek ve diğerlerinden 500+ en yeni modeli (LLM, görüntü, video, gömme) bir araya getiren, geliştirici odaklı birleşik bir API’dir. Tamamen OpenAI uyumlu olduğundan, mevcut kod basit bir base_url değişikliğiyle çalışır.

Kombonun Temel Faydaları:

1. Anahtar Yönetimi Olmadan Büyük Model Çeşitliliği: GPT-5 varyantları, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, Sora benzeri modeller vb. tek bir anahtarla test edin. Hesap karmaşası yok.
2. Önemli Maliyet Tasarrufu: CometAPI, modelleri resmi tarifelere kıyasla en az %20-40 daha düşük fiyatlarla sunar; kullan-ödeme esaslıdır (abonelik yok). Gerçek kullanıcı raporları ve kıyaslamalar, doğrudan veya OpenRouter gibi rakiplere karşı tutarlı tasarruflar gösterir.
3. Doğal Promptfoo Desteği: Sohbet, tamamlama, gömme ve görüntü türleriyle özel cometapi: sağlayıcısı. Değerlendirmeler ve red teaming için sorunsuz.
4. Güvenilirlik ve Hız: %99,9 çalışma süresi, <400ms ortalama gecikme, kurumsal gizlilik (istemler eğitimde kullanılmaz), kullanım panoları ve failover yönlendirme.
5. Değerlendirme İş Akışları İçin Esneklik: Sınır modellerini ucuza A/B test edin, RAG doğruluğunu kıyaslayın veya sağlayıcılar genelinde ajanları kırmızı ekip testine tabi tutun—bütçeyi zorlamadan.

Yüksek hacimli testlerde, Promptfoo üzerinden CometAPI’ye geçmek, değerlendirme maliyetlerini dramatik biçimde düşürürken kapsamı genişletir. Örneğin, birden fazla Claude/GPT eşdeğerini yan yana test etmek hem çok kolay hem de ekonomiktir. Ekipler, ilk günden %20+ tasarruf bildiriyor; tam taşınabilirlik (kilitlenme yok) korunuyor.

Güncel Bağlam (2026): Hızlı model sürümleri (ör. Claude Opus 4-8, GPT-5 serisi, Gemini atılımları) ile CometAPI gibi birleşik platformlar + Promptfoo gibi değerlendirme araçları, bütçeleri şişirmeden çevik kalmak için kritik. Promptfoo ekosistemi, CometAPI ile daha derin entegrasyon dâhil olmak üzere sağlayıcı desteğini genişletmeye devam ediyor.

Önkoşullar

• Node.js (v18+ önerilir): Promptfoo öncelikle Node tabanlıdır.
• CometAPI Hesabı ve Anahtarı: CometAPI üzerinden ücretsiz kaydolun ve test kredileri alın. Anahtarınızı console/token adresinden edinin.
• Promptfoo Kurulu:

  npm install -g promptfoo
  # Or npx promptfoo@latest for one-off use

• YAML ve terminale temel aşinalık.
• (İsteğe bağlı) Özel sağlayıcılar için Python veya izolasyon için Docker.

Kurulumu doğrulayın: promptfoo --version.

Promptfoo ile CometAPI Entegrasyonunu Nasıl Yapılandırırsınız

1. CometAPI API anahtarınızı ayarlayın

export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile

Promptfoo, cometapi sağlayıcısı için bunu otomatik olarak okur.

Değerlendirmeleri çalıştırmadan önce COMETAPI_KEY değişkenini ayarlayın:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

2. CometAPI sağlayıcı biçimini seçin

promptfooconfig.yaml içinde:

providers:
  - cometapi:chat:gpt-5-mini          # Defaults to chat
  - cometapi:chat:claude-3-5-sonnet-20241022
  - cometapi:image:flux-schnell       # Image gen
  - cometapi:embedding:text-embedding-3-small
  # Or shorthand
  - cometapi:gpt-5.4-pro

Tam sözdizimi: cometapi:<type>:<model>. Tür varsayılan olarak chat’tir. Tüm OpenAI parametrelerini config üzerinden destekler.

Şu sağlayıcı türlerini kullanın:

Varsayılan sohbet modu için cometapi:your-model-id da kullanabilirsiniz.

3. Hızlı bir CLI değerlendirmesi çalıştırın

# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id

# With full config
promptfoo eval

Bu, puanlar, çıktılar ve farkları içeren bir web görüntüleyicisi üretir.

4. Kapsamlı bir Promptfoo yapılandırma dosyası oluşturun

Aşağıdaki promptfooconfig.yaml, aynı istemi bir CometAPI modeline karşı değerlendirir:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Yapılandırma dosyasını Promptfoo ile çalıştırın:

npx promptfoo@latest eval -c promptfooconfig.yaml

Otomatik zafiyet taraması için promptfoo redteam setup komutunu çalıştırın.

Sağlam değerlendirmeler için ayrıntılı adım adım iş akışı

1. İşe kritik senaryoları tanımlayın: Gerçek kullanımı yansıtan test paketleri oluşturun (örn. müşteri desteği, kod üretimi, yaratıcı görevler).
2. İstem mühendisliği iterasyonu: Değişkenler ({{var}}) ve dosya tabanlı istemler kullanın. Sürümleri takip edin.
3. Model karşılaştırma matrisi: 5-10 modelde değerlendirmeleri çalıştırın. Maliyet, gecikme, kalite puanlarını analiz edin.
4. Puanlama ve doğrulamalar: Kural tabanlı, model tabanlı (hakem olarak LLM) ve özel JS/Python değerlendiricileri birleştirin.
5. CI/CD entegrasyonu: GitHub Actions’a ekleyin:

   - name: Promptfoo Eval
     run: promptfoo eval --ci

1. İzleme ve yineleme: Harcama/gecikme içgörüleri için Promptfoo görüntüleyicisi + CometAPI panosunu kullanın.

Örnek Çıktı Analizi: Belirli görevlerde, örneğin akıl yürütmede Claude’un daha iyi, hızda GPT’nin, maliyette DeepSeek’in öne çıktığını gösteren kazanma oranları tabloları bekleyin.

Promptfoo’da CometAPI vs. Doğrudan Sağlayıcılar vs. Alternatifler

Veri İçgörüsü: Orta seviye model kullanımında 1M token için CometAPI, doğrudana göre sıklıkla milyon başına 5-20+ $ tasarruf sağlar; bu, değerlendirme döngülerinde (yüzlerce/binlerce çağrı) bileşik hâle gelir.

Sık karşılaşılan sorunların giderilmesi

• API anahtarı hataları: COMETAPI_KEY ortam değişkenini doğrulayın (echo $COMETAPI_KEY). Kredileri konsoldan kontrol edin.
• Model bulunamadı: Modelleri curl -H "Authorization: Bearer $COMETAPI_KEY" https://api.cometapi.com/v1/models ile listeleyin. Tam adları kullanın.
• Oran sınırlamaları: CometAPI, yukarı akışı akıllıca yönetir; yapılandırmada delay ayarlayın veya eşzamanlılığı azaltın.
• Değerlendirmelerde yüksek gecikme: Önbelleği etkinleştirin (cache: true). İlk testler için daha küçük modeller kullanın.
• Doğrulama başarısızlıkları: Rubrikleri ayarlayın veya daha fazla örnek kullanın. Hakem olarak LLM tutarsız olabilir—birden çok çalıştırmanın ortalamasını alın (repeat: 3).
• Görüntü/Görsel sorunları: Modelin ilgili modları desteklediğinden emin olun; geçerli URL’ler sağlayın.
• YAML ayrıştırma: Promptfoo şeması veya çevrimiçi araçlarla doğrulayın.
• İzinler/CORS: Özel HTTP için başlıkları kontrol edin.

İpucu: Ayrıntılı günlükler için promptfoo eval --verbose çalıştırın. Kesintiler için CometAPI durum/pano sayfasını kontrol edin.

Sorun Giderme

Promptfoo API anahtarını bulamıyor

promptfoo eval komutunu çalıştırdığınız aynı kabuk oturumunda COMETAPI_KEY’in dışa aktarıldığını doğrulayın.

Sağlayıcı türü modelle eşleşmiyor

Sohbet ve çok modlu modeller için chat, gömme modelleri için embedding, görüntü oluşturma için image kullanın.

Model kimliği başarısız oluyor

your-model-id ifadesini CometAPI Models sayfasındaki tam bir model kimliğiyle değiştirin.

İleri Düzey İpuçları ve En İyi Uygulamalar

• Maliyet optimizasyonu: İstem iterasyonu için (CometAPI üzerinden) GPT-5-mini veya DeepSeek gibi ucuz modellerle başlayın, ardından premium ile doğrulayın.
• Özel sağlayıcılar: CometAPI’nin ötesine geçmeniz gerekirse JS/Python ile genişletin.
• RAG ve Ajan Testleri: Alma değişkenlerini ve araç çağrılarını entegre edin.
• Güvenlik: Üretim öncesi kapsamlı red teaming yapın. Promptfoo + CometAPI’nin gizlilik odağı yardımcı olur.
• Ölçekleme: Büyük paketler için bulut yürütücüler kullanın veya Promptfoo’yu kendiniz barındırın.
• İzleme: Model başına token harcaması için CometAPI analizleriyle birleştirin.

Yığınınız için CometAPI Önerileri (Cometapi.com’dan):

• Maliyetleri en aza indirmek için tüm değerlendirme iş yüklerinde kullanın.
• Hızlı testler için playground’u kullanın.
• Bütçe altında kalmak için kullanım uyarılarını izleyin.
• Promptfoo’da çok modlu değerlendirmeler için görüntü/video modellerini keşfedin.

Sonuç: LLM geliştirmelerinizi bugün yükseltin

CometAPI ile Promptfoo’yu entegre etmek, modern yapay zekâ geliştirme için güçlü, ekonomik ve ölçeklenebilir bir çözüm sunar. Benzersiz model esnekliği, sıkı testler, maliyet verimliliği ve otomatik red teaming ile iç huzuru elde ederken tam kontrol sizde kalır.

Küçük başlayın: Anahtarı ayarlayın, örnek yapılandırmayı çalıştırın ve test paketinizi genişletin. Zaman ve para tasarrufu, AI uygulamalarınız büyüdükçe bileşik şekilde artacaktır.

Hazır mısınız? Ücretsiz anahtar için CometAPI adresine gidin ve Promptfoo belgelerine dalın. Cometapi.com’da özel danışmanlık veya gelişmiş kurulumlar için kaynaklarımızı keşfedin.