Promptfoo adalah alat CLI sumber terbuka untuk menguji, mengevaluasi, dan melakukan red teaming terhadap prompt, model, dan aplikasi LLM. Memadukannya dengan CometAPI—API terpadu yang kompatibel dengan OpenAI untuk 500+ model—memungkinkan pengembang menguji GPT, Claude, Gemini, Grok, DeepSeek, dan lainnya hanya dengan satu kunci, sering kali dengan biaya 20–40% lebih rendah dibanding penyedia langsung. Panduan ini mencakup penyiapan, konfigurasi, penggunaan lanjutan, dan manfaat berbasis data nyata.
Ringkasan yang Dioptimalkan untuk Cuplikan Unggulan
Promptfoo adalah alat CLI sumber terbuka untuk menguji, mengevaluasi, dan melakukan red teaming terhadap prompt, model, dan aplikasi LLM. Memadukannya dengan CometAPI—API terpadu yang kompatibel dengan OpenAI untuk 500+ model—memungkinkan pengembang menguji GPT, Claude, Gemini, Grok, DeepSeek, dan lainnya hanya dengan satu kunci, sering kali dengan biaya 20–40% lebih rendah dibanding penyedia langsung. Panduan ini mencakup penyiapan, konfigurasi, penggunaan lanjutan, dan manfaat berbasis data nyata.
Apa itu Promptfoo?
Promptfoo adalah CLI dan pustaka sumber terbuka yang telah teruji untuk pengembangan LLM berbasis pengujian. Alih-alih coba-coba manual, alat ini mengotomatiskan evaluasi lintas prompt, model, sistem RAG, dan agen. Kemampuan utama meliputi:
- Perbandingan model berdampingan dengan tampilan matriks.
- Asersi otomatis (exact match, regex, LLM-as-judge, kemiripan semantik, dll.).
- Red teaming untuk kerentanan seperti prompt injection, jailbreak, dan risiko merek (50+ jenis plugin).
- Integrasi CI/CD, caching, konkurensi, dan live reloading.
- Dukungan untuk 60+ penyedia, skrip kustom, dan endpoint HTTP.
Statistik Adopsi (2026): Digunakan oleh 156 perusahaan Fortune 500, mendukung aplikasi yang melayani jutaan pengguna, dan dipercaya oleh tim di Shopify dan lainnya. Berlisensi MIT dengan momentum komunitas yang kuat.
Promptfoo menggantikan "it works on my machine" dengan tolok ukur yang dapat diulang dan terukur—penting saat aplikasi LLM memasuki produksi.
Mengapa Menggunakan CometAPI dengan Promptfoo?
CometAPI adalah API terpadu berorientasi pengembang yang menggabungkan 500+ model mutakhir (LLM, gambar, video, embedding) dari OpenAI, Anthropic, Google, xAI, DeepSeek, dan lainnya. Kompatibel penuh dengan OpenAI, sehingga kode yang ada tetap berfungsi hanya dengan perubahan base_url.
Manfaat Utama dari Kombinasi Ini:
- Ragam Model yang Luas Tanpa Manajemen Kunci: Uji varian GPT-5, Claude Opus 4.x, Gemini 3.x, Grok 4, DeepSeek V4, Flux, DALL-E, model mirip Sora, dan lainnya dari satu kunci. Tanpa perlu mengelola banyak akun.
- Penghematan Biaya Signifikan: CometAPI menetapkan harga model setidaknya 20–40% di bawah tarif resmi dengan bayar sesuai pemakaian (tanpa langganan). Laporan pengguna dan tolok ukur menunjukkan penghematan konsisten dibanding akses langsung atau agregator seperti OpenRouter.
- Dukungan Native di Promptfoo: Provider
cometapi:khusus dengan tipe chat, completion, embedding, dan image. Mulus untuk evaluasi dan red teaming. - Keandalan & Kecepatan: Uptime 99,9%, latensi rata-rata <400ms, privasi kelas enterprise (tanpa pelatihan pada prompt), dasbor penggunaan, dan failover routing.
- Fleksibilitas untuk Alur Evaluasi: A/B test model frontier dengan biaya rendah, benchmarking akurasi RAG, atau red teaming agen lintas penyedia tanpa membengkakkan biaya.
Dalam pengujian volume tinggi, beralih ke CometAPI melalui Promptfoo dapat memangkas biaya evaluasi secara drastis sambil memperluas cakupan. Misalnya, menguji beberapa padanan Claude/GPT berdampingan menjadi mudah dan terjangkau. Tim melaporkan penghematan 20%+ sejak hari pertama, dengan portabilitas penuh (tanpa lock-in).
Konteks Terbaru (2026): Dengan rilis model yang cepat (mis. Claude Opus 4–8, seri GPT-5, kemajuan Gemini), platform terpadu seperti CometAPI + alat evaluasi seperti Promptfoo sangat penting untuk tetap lincah tanpa meledakkan anggaran. Ekosistem Promptfoo terus memperluas dukungan penyedia, termasuk integrasi CometAPI yang lebih dalam.
Prasyarat
- Node.js (disarankan v18+): Promptfoo terutama berbasis Node.
- Akun & Kunci CometAPI: Daftar gratis di CometAPI untuk kredit uji. Dapatkan kunci dari console/token.
- Promptfoo Terpasang:
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- Pemahaman dasar YAML dan terminal.
- (Opsional) Python untuk provider kustom, atau Docker untuk isolasi.
Verifikasi instalasi: promptfoo --version.
Cara Mengonfigurasi Integrasi Promptfoo dengan CometAPI
1. Atur kunci API CometAPI Anda
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo membacanya secara otomatis untuk provider cometapi.
Set COMETAPI_KEY sebelum Anda menjalankan evaluasi:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. Pilih Format Provider CometAPI
Dalam promptfooconfig.yaml:
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
Sintaks lengkap: cometapi:<type>:<model>. Tipe default adalah chat. Mendukung semua parameter OpenAI melalui config.
Gunakan tipe provider berikut:
| Tipe | Kasus penggunaan |
|---|---|
| chat | Chat completions, vision, dan prompt multimodal |
| completion | Model text completion |
| embedding | Evaluasi embedding teks |
| image | Evaluasi pembuatan gambar |
Anda juga dapat menggunakan cometapi:your-model-id untuk mode chat default.
3. Jalankan Evaluasi CLI Cepat
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
Ini menghasilkan penampil web dengan skor, output, dan diff.
4. Buat File Konfigurasi Promptfoo yang Komprehensif
Berikut promptfooconfig.yaml mengevaluasi prompt yang sama terhadap model CometAPI:
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Jalankan file konfigurasi dengan Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml
Jalankan promptfoo redteam setup untuk pemindaian kerentanan otomatis.
Alur Kerja Langkah demi Langkah untuk Evaluasi yang Andal
- Tentukan Skenario Bisnis Kritis: Buat suite uji yang mencerminkan penggunaan nyata (mis. dukungan pelanggan, pembuatan kode, tugas kreatif).
- Iterasi Prompt Engineering: Gunakan variabel (
{{var}}) dan prompt berbasis file. Lacak versi. - Matriks Perbandingan Model: Jalankan evaluasi di 5–10 model. Analisis biaya, latensi, skor kualitas.
- Penilaian & Asersi: Gabungkan berbasis aturan, berbasis model (LLM judge), dan penilai JS/Python kustom.
- Integrasi CI/CD: Tambahkan ke GitHub Actions:
- name: Promptfoo Eval
run: promptfoo eval --ci
- Monitor & Iterasi: Gunakan penampil Promptfoo + dasbor CometAPI untuk wawasan pengeluaran/latensi.
Contoh Analisis Output: Harapkan tabel yang menunjukkan win rate, misalnya Claude lebih baik pada penalaran, GPT pada kecepatan, DeepSeek pada biaya untuk tugas tertentu.
CometAPI vs. Penyedia Langsung vs. Alternatif di Promptfoo
| Aspek | CometAPI + Promptfoo | Langsung (OpenAI/Anthropic) | Agregator Lain (mis. OpenRouter) |
|---|---|---|---|
| Model Tersedia | 500+ terpadu | Terbatas per vendor | Banyak, tetapi bervariasi |
| Harga | 20–40% di bawah tarif resmi | Tarif penuh | Resmi + biaya tambahan |
| Manajemen Kunci | Satu kunci | Banyak | Banyak |
| Latensi/Uptime | <400ms, 99,9% | Bervariasi | Bervariasi |
| Native Promptfoo | Ya, dukungan penuh | Ya | Parsial |
| Privasi | Tidak melatih pada prompt | Kebijakan penyedia | Bervariasi |
| Paling Cocok Untuk | Pengujian luas & produksi | Terkunci satu vendor | Routing sederhana |
Wawasan Data: Untuk 1 juta token penggunaan model kelas menengah, CometAPI sering menghemat $5–20+ per juta dibanding langsung, yang bertambah dalam loop evaluasi (ratusan/ribuan panggilan).
Pemecahan Masalah Umum
- Kesalahan Kunci API: Verifikasi variabel lingkungan
COMETAPI_KEY(echo $COMETAPI_KEY). Periksa konsol untuk kredit. - Model Tidak Ditemukan: Daftar model via
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/models. Gunakan nama persis. - Batas Laju: CometAPI menangani upstream secara cerdas; setel
delaydi config atau kurangi konkurensi. - Latensi Tinggi dalam Evaluasi: Aktifkan caching (
cache: true). Gunakan model lebih kecil untuk pengujian awal. - Kegagalan Asersi: Sesuaikan rubrik atau gunakan lebih banyak contoh. LLM judge bisa tidak konsisten—rata-ratakan beberapa kali (
repeat: 3). - Masalah Gambar/Visi: Pastikan model mendukung modalitas; berikan URL yang valid.
- Penguraian YAML: Validasi dengan skema Promptfoo atau alat daring.
- Izin/CORS: Untuk HTTP kustom, periksa header.
Kiat Pro: Jalankan promptfoo eval --verbose untuk log terperinci. Periksa status/dasbor CometAPI untuk gangguan.
Pemecahan Masalah
Promptfoo tidak dapat menemukan kunci API
Pastikan COMETAPI_KEY diekspor dalam sesi shell yang sama yang menjalankan promptfoo eval.
Tipe provider tidak cocok dengan model
Gunakan chat untuk model percakapan dan multimodal, embedding untuk model embedding, dan image untuk model pembuatan gambar.
ID model gagal
Ganti your-model-id dengan ID model yang persis dari Halaman Model CometAPI.
Tips Tingkat Lanjut & Praktik Terbaik
- Optimasi Biaya: Mulai dengan model murah (mis. GPT-5-mini atau DeepSeek via CometAPI) untuk iterasi prompt, lalu validasi dengan model premium.
- Provider Kustom: Perluas dengan JS/Python jika butuh di luar CometAPI.
- Pengujian RAG & Agen: Integrasikan variabel retrieval dan pemanggilan tool.
- Keamanan: Lakukan red teaming menyeluruh sebelum produksi. Promptfoo + fokus privasi CometAPI membantu.
- Skalabilitas: Gunakan runner cloud atau self-host Promptfoo untuk suite besar.
- Monitoring: Padukan dengan analitik CometAPI untuk pengeluaran token per model.
Rekomendasi CometAPI untuk Stack Anda (dari Cometapi.com):
- Gunakan untuk semua beban kerja evaluasi demi meminimalkan biaya.
- Manfaatkan playground untuk pengujian cepat.
- Pantau peringatan penggunaan agar tetap di bawah anggaran.
- Jelajahi model gambar/video untuk evaluasi multimodal di Promptfoo.
Kesimpulan: Tingkatkan Pengembangan LLM Anda Hari Ini
Mengintegrasikan CometAPI dengan Promptfoo menghadirkan solusi yang kuat, ekonomis, dan skalabel untuk pengembangan AI modern. Anda mendapatkan fleksibilitas model yang tak tertandingi, pengujian yang ketat, efisiensi biaya, dan ketenangan melalui red teaming otomatis—semua sambil mempertahankan kontrol penuh.
Mulailah dari yang kecil: Atur kunci, jalankan konfigurasi contoh, dan perluas suite pengujian Anda. Waktu dan biaya yang dihemat akan berlipat seiring pertumbuhan aplikasi AI Anda.
Siap mengimplementasikan? Kunjungi CometAPI untuk kunci gratis Anda dan telusuri dokumentasi Promptfoo. Untuk konsultasi kustom atau penyiapan lanjutan di Cometapi.com, jelajahi sumber daya kami.