Promptfoo は、LLM のプロンプト、モデル、アプリケーションのテスト、評価、レッドチーミングのためのオープンソース CLI ツールです。これを CometAPI（500 以上のモデルに対応する OpenAI 互換の統合 API）と組み合わせることで、開発者は単一のキーで GPT、Claude、Gemini、Grok、DeepSeek などを横断的にテストでき、しばしば公式プロバイダよりも 20〜40% 低コストで利用できます。本ガイドでは、セットアップ、設定、上級の使い方、実データに裏打ちされた利点を解説します。
フィーチャードスニペット最適化サマリー
Promptfoo は、LLM のプロンプト、モデル、アプリケーションのテスト、評価、レッドチーミングのためのオープンソース CLI ツールです。これを CometAPI（500 以上のモデルに対応する OpenAI 互換の統合 API）と組み合わせることで、開発者は単一のキーで GPT、Claude、Gemini、Grok、DeepSeek などを横断的にテストでき、しばしば公式プロバイダよりも 20〜40% 低コストで利用できます。本ガイドでは、セットアップ、設定、上級の使い方、実データに裏打ちされた利点を解説します。
Promptfoo とは？
Promptfoo は、実戦投入で鍛えられたオープンソースの CLI およびライブラリで、テスト駆動の LLM 開発を実現します。手動の試行錯誤に代わり、プロンプト、モデル、RAG システム、エージェントにわたる評価を自動化します。主な機能は次のとおりです。
- マトリックス表示によるモデルの横並び比較
- 自動アサーション（完全一致、正規表現、LLM 判定、意味的類似度 など）
- プロンプトインジェクション、脱獄、ブランドリスク（50+ のプラグインタイプ）などの脆弱性に対するレッドチーミング
- CI/CD 連携、キャッシュ、並列実行、ライブリロード
- 60 以上のプロバイダ、カスタムスクリプト、HTTP エンドポイントに対応
導入状況（2026年）： Fortune 500 の 156 社で利用、数百万人のユーザーに提供されるアプリを支え、Shopify をはじめとするチームに信頼されています。MIT ライセンスでコミュニティの勢いも強力です。
Promptfoo は「自分の環境では動く」を、プロダクション移行に不可欠な、再現可能で定量的なベンチマークへと置き換えます。
なぜ Promptfoo と CometAPI を併用するのか？
CometAPI は、OpenAI、Anthropic、Google、xAI、DeepSeek などの500 以上の最先端モデル（LLM、画像、動画、埋め込み）を集約する開発者ファーストの統合 API です。完全な OpenAI 互換で、base_url を変更するだけで既存コードが動作します。
組み合わせの主なメリット：
- キー管理不要で膨大なモデルバリエーション： GPT-5 の各種バリアント、Claude Opus 4.x、Gemini 3.x、Grok 4、DeepSeek V4、Flux、DALL-E、Sora 風モデルなどを単一のキーから利用可能。複数アカウントのやりくりは不要です。
- 大幅なコスト削減： CometAPI は公式料金より少なくとも 20〜40% 低価格で従量課金（サブスク不要）。実ユーザーのレポートやベンチマークで、直契約や OpenRouter などの競合と比べて一貫したコスト削減が示されています。
- Promptfoo にネイティブ対応：
cometapi:専用プロバイダが chat、completion、embedding、image をサポート。評価やレッドチーミングにシームレスです。 - 信頼性と速度： 稼働率 99.9%、平均レイテンシ <400ms、エンタープライズ向けプライバシー（プロンプト学習なし）、利用ダッシュボード、フェイルオーバールーティング。
- 評価ワークフローの柔軟性： 先端モデルの A/B テストを低コストで実施、RAG 精度のベンチマーク、複数プロバイダにわたるエージェントのレッドチーミングが可能。
大量テストでは、Promptfoo 経由で CometAPI に切り替えることで、評価コストを大幅に削減しつつ、より広いカバレッジを実現できます。たとえば、Claude と GPT の同等モデルを横並びでテストするのが簡単かつ低コストになります。ロックインなしの完全な可搬性を保ちつつ、初日から 20% 以上の削減を報告するチームもあります。
最新状況（2026年）： 急速なモデルリリース（例：Claude Opus 4-8、GPT-5 シリーズ、Gemini の進化）が続く中、CometAPI のような統合プラットフォームと Promptfoo のような評価ツールは、予算を膨張させずにアジャイル性を保つために不可欠です。Promptfoo のエコシステムは CometAPI との統合を含め、プロバイダ対応を拡充し続けています。
前提条件
- Node.js（v18+ 推奨）：Promptfoo は主に Node ベースです。
- CometAPI アカウントとキー： CometAPI で無料登録してテストクレジットを取得。console/token でキーを取得。
- Promptfoo のインストール：
npm install -g promptfoo
# Or npx promptfoo@latest for one-off use
- YAML とターミナルの基礎知識
- （オプション）カスタムプロバイダ向けに Python、または分離実行のための Docker
インストール確認：promptfoo --version
CometAPI と Promptfoo の統合を設定する方法
1. CometAPI の API キーを設定
export COMETAPI_KEY=your_actual_key_here
# Persist with .env or shell profile
Promptfoo は cometapi プロバイダ用にこれを自動的に読み込みます。
評価を実行する前に COMETAPI_KEY を設定します：
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2. CometAPI プロバイダ形式を選択
promptfooconfig.yaml で：
providers:
- cometapi:chat:gpt-5-mini # Defaults to chat
- cometapi:chat:claude-3-5-sonnet-20241022
- cometapi:image:flux-schnell # Image gen
- cometapi:embedding:text-embedding-3-small
# Or shorthand
- cometapi:gpt-5.4-pro
完全な構文は cometapi:<type>:<model>。Type の既定は chat。config で OpenAI のすべてのパラメータに対応します。
以下のプロバイダ種別を使用します：
| 種別 | 用途 |
|---|---|
| chat | チャット補完、ビジョン、マルチモーダルのプロンプト |
| completion | テキスト補完モデル |
| embedding | テキスト埋め込みの評価 |
| image | 画像生成の評価 |
既定のチャットモードには cometapi:your-model-id も使用できます。
3. すぐに CLI 評価を実行
# Simple one-off
npx promptfoo@latest eval --prompts "Write a haiku about AI" -r cometapi:chat:your-model-id
# With full config
promptfoo eval
スコア、出力、差分を表示する Web ビューアが生成されます。
4. 包括的な Promptfoo 設定ファイルを作成
次の promptfooconfig.yaml は同一プロンプトを CometAPI モデルに対して評価します：
prompts:
- "Classify this support request: {{message}}"
providers:
- id: cometapi:chat:your-model-id
config:
temperature: 0.2
max_tokens: 256
tests:
- vars:
message: "The API key works locally but fails in production."
assert:
- type: contains-any
value:
- authentication
- configuration
Promptfoo で設定ファイルを実行：
npx promptfoo@latest eval -c promptfooconfig.yaml
自動脆弱性スキャンには promptfoo redteam setup を実行します。
堅牢な評価のための詳細なステップバイステップワークフロー
- ビジネスクリティカルなシナリオを定義： 実運用に即したテストスイートを作成（例：カスタマーサポート、コード生成、クリエイティブタスク）。
- プロンプトエンジニアリングの反復： 変数（
{{var}}）やファイルベースのプロンプトを活用。バージョン管理を行う。 - モデル比較マトリックス： 5〜10 モデルで評価を実施。コスト、レイテンシ、品質スコアを分析。
- スコアリングとアサーション： ルールベース、モデルベース（LLM ジャッジ）、カスタム JS/Python 採点を組み合わせる。
- CI/CD への統合： GitHub Actions に追加：
- name: Promptfoo Eval
run: promptfoo eval --ci
- 監視と反復： Promptfoo のビューアと CometAPI ダッシュボードを併用して、コスト/レイテンシの洞察を得る。
出力例の分析： 勝率を示す表を想定。例えば、特定タスクでは推論は Claude、速度は GPT、コストは DeepSeek が優位など。
Promptfoo における CometAPI 対 直接プロバイダ 対 代替手段
| 観点 | CometAPI + Promptfoo | 直接（OpenAI/Anthropic） | 他のアグリゲータ（例：OpenRouter） |
|---|---|---|---|
| 利用可能なモデル | 500+ 統合 | ベンダごとに限定 | 多いがばらつきあり |
| 価格 | 公式より 20〜40% 低価格 | 正規料金 | 正規料金 + 手数料 |
| キー管理 | 単一キー | 複数キー | 複数キー |
| レイテンシ/稼働率 | <400ms、99.9% | 変動 | 変動 |
| Promptfoo 対応 | はい（フルサポート） | はい | 一部 |
| プライバシー | プロンプト学習なし | プロバイダ方針による | ばらつきあり |
| 最適な用途 | 幅広いテストと本番運用 | 単一ベンダーへのロックイン | シンプルなルーティング |
データの示唆： 中位モデルで 1M トークンを使用する場合、CometAPI はしばしば直契約比で 1M あたり $5〜20+ 節約でき、評価ループ（数百〜数千コール）では複利的に効いてきます。
よくある問題のトラブルシューティング
- API キーのエラー： 環境変数
COMETAPI_KEYを確認（echo $COMETAPI_KEY）。コンソールでクレジットを確認。 - モデルが見つからない：
curl -H "Authorization: Bearer $COMETAPI_KEY"https://api.cometapi.com/v1/modelsでモデル一覧を取得。正確な名前を使用。 - レート制限： CometAPI は上流を賢く処理します。設定で
delayを指定するか、同時実行数を下げる。 - 評価の高遅延： キャッシュ（
cache: true）を有効化。初期テストは小型モデルを使用。 - アサーション失敗： 評価基準を調整または例を増やす。LLM ジャッジは不安定な場合があるため、複数回実行（
repeat: 3）で平均化。 - 画像/ビジョンの問題： モデルが該当モダリティに対応しているか確認。正しい URL を指定。
- YAML のパース： Promptfoo のスキーマまたはオンラインツールで検証。
- 権限/CORS： カスタム HTTP の場合、ヘッダーを確認。
プロのヒント： 詳細ログは promptfoo eval --verbose。障害が疑われる場合は CometAPI のステータス/ダッシュボードを確認。
トラブルシューティング
Promptfoo が API キーを見つけられない
promptfoo eval を実行するのと同じシェルセッションで COMETAPI_KEY がエクスポートされていることを確認してください。
プロバイダ種別がモデルと一致しない
会話型およびマルチモーダルモデルには chat、埋め込みモデルには embedding、画像生成モデルには image を使用してください。
モデル ID が失敗する
your-model-id を CometAPI Models ページに記載の正確なモデル ID に置き換えてください。
上級のヒントとベストプラクティス
- コスト最適化： まずは安価なモデル（例：CometAPI 経由の GPT-5-mini や DeepSeek）でプロンプトを反復し、その後プレミアムで検証。
- カスタムプロバイダ： CometAPI の範囲を超える場合は JS/Python で拡張。
- RAG とエージェントのテスト： 取得変数やツール呼び出しを統合。
- セキュリティ： 本番前に徹底的なレッドチーミングを実施。Promptfoo + CometAPI のプライバシー重視が役立つ。
- スケーリング： 大規模スイートにはクラウドランナーを使用、または Promptfoo を自前ホスト。
- モニタリング： CometAPI の分析でモデルごとのトークン消費を可視化。
あなたのスタック向けの CometAPI 推奨事項（Cometapi.com より）：
- すべての評価ワークロードで使用してコストを最小化。
- クイックテストにはプレイグラウンドを活用。
- 予算内に収めるため使用アラートを監視。
- Promptfoo でのマルチモーダル評価に画像/動画モデルを活用。
結論：LLM 開発を今日からレベルアップ
CometAPI と Promptfoo を統合すれば、現代の AI 開発において強力で経済的かつスケーラブルなソリューションが手に入ります。モデルの柔軟性、厳密なテスト、コスト効率、自動レッドチーミングによる安心感を獲得しつつ、完全なコントロールを維持できます。
まずは小さく：キーを設定し、サンプル設定を実行し、テストスイートを拡充しましょう。アプリが成長するほど、時間とコストの節約効果が積み上がっていきます。
今すぐ導入しますか？ 無料キーは CometAPI から。Promptfoo のドキュメントもご覧ください。Cometapi.com でのコンサルティングや高度なセットアップはリソースをご参照ください。