Memilih gateway API AI bukan lagi masalah yang sama seperti dua tahun lalu. Pada 2024, kebanyakan pembangun sama ada menghubungi OpenAI secara terus atau menjalankan LiteLLM secara setempat. Kini ada pilihan hos dengan papan pemuka harga, had kredit per kunci, dan katalog model yang merangkumi puluhan penyedia. Kategori ini telah berkembang sehingga memilih yang salah bermakna anda mungkin terpaksa mengundurkan kerja integrasi sebenar kemudian.
Artikel ini membandingkan empat gateway yang kerap muncul dalam perbincangan pembangun: CometAPI, Portkey, LiteLLM, dan Cloudflare AI Gateway. Tujuannya bukan untuk memilih pemenang — setiap satu sesuai untuk situasi berbeza — tetapi untuk memperjelas apa yang masing-masing lakukan supaya anda boleh memadankan alat dengan kes penggunaan anda.
Nota tentang nama model: Pengecam model yang digunakan dalam artikel ini (seperti
gpt-5.4,claude-opus-4-7) ialah pengecam platform CometAPI. Ia bukan nama rasmi daripada OpenAI atau Anthropic, yang mempunyai konvensyen penamaan berbeza.
Apa Sebenarnya Yang Dilakukan Alat Ini
Sebelum membandingkan ciri, sebaiknya jelaskan apa yang dilakukan oleh sebuah gateway API AI. Minimum: ia berada di antara aplikasi anda dan satu atau lebih penyedia AI, meneruskan permintaan dan mengembalikan respons. Di luar minimum itu, gateway berbeza dengan ketara.
Sesetengah gateway — contohnya Cloudflare AI Gateway — terutamanya berfungsi sebagai lapisan laluan terus yang menambah pembalakan dan cache tanpa menyentuh kunci API atau harga anda. Yang lain, seperti CometAPI, bertindak sebagai penjual semula: anda bayar mereka, mereka bayar penyedia asas, dan perbezaan harga adalah sebahagian daripada cadangan nilai. LiteLLM pula berbeza — ia ialah perisian yang anda jalankan sendiri, bukan perkhidmatan hos.
Memahami perbezaan ini penting sebelum anda menilai mana-mana ciri khusus.
Perbandingan Ciri
Jadual di bawah menggunakan maklumat daripada dokumentasi rasmi setiap produk atau papan pemuka umum setakat Mei 2026. Ciri yang ditanda dengan sengkang (—) tidak disahkan dalam sumber rasmi ketika penulisan.
| Ciri | CometAPI | Portkey | LiteLLM | Cloudflare AI Gateway |
|---|---|---|---|---|
| Penerapan | Dihoskan (SaaS) | Dihoskan + hos sendiri | Hos sendiri (sumber terbuka) | Dihoskan (Cloudflare edge) |
| Katalog model | 500+ model merentas penyedia | 1,600+ LLM melalui API bersatu | Bergantung pada konfigurasi anda | OpenAI, Anthropic, Workers AI |
| Model harga | Penjual semula (bayar CometAPI) | Laluan terus + yuran platform | Kos infrastruktur sahaja | Laluan terus (tingkat percuma tersedia) |
| API serasi OpenAI | Ya (api.cometapi.com/v1) | Ya (api.portkey.ai/v1) | Ya (setempat atau jauh) | Ya (melalui URL gateway) |
| Had kredit per kunci | Ya (papan pemuka) | Ya | Ya (melalui konfigurasi) | — |
| Nisbah harga berasaskan kumpulan | Ya (lalai 0.8x, dalaman 0.1x) | — | — | — |
| Pembalakan permintaan | Ya (4 jenis log) | Ya | Ya | Ya |
| Pemantauan kadar kejayaan | Ya (paparan masa operasi 30 hari) | Ya | Ya | Ya |
| Tingkat percuma | Ya (akaun baharu) | Ya | Sumber terbuka (kos infra) | Ya |
| Pilihan hos sendiri | Tidak (perusahaan: pelayan berdedikasi) | Ya | Ya (kes penggunaan teras) | Tidak |
Sumber: CometAPI dashboard, Portkey homepage, LiteLLM GitHub, Cloudflare AI Gateway documentation
Menyambung ke Setiap Gateway
Keempat-empat gateway mendedahkan titik akhir yang serasi OpenAI, bermakna struktur klien yang sama berfungsi untuk semuanya — anda ubah base_url, kelayakan, dan dalam kes Portkey, cara anda menyatakan model.
Python
import osfrom openai import OpenAIdef require_env(name: str) -> str: """Raise a clear error if a required environment variable is missing.""" val = os.environ.get(name) if not val: raise ValueError(f"Missing required environment variable: {name}") return val# ── CometAPI ────────────────────────────────────────────────────────────────# Hosted reseller with 500+ models. Use CometAPI model identifiers (e.g. "gpt-5.4").cometapi_client = OpenAI( base_url="https://api.cometapi.com/v1", api_key=require_env("COMETAPI_KEY"),)# ── Portkey ─────────────────────────────────────────────────────────────────# Hosted gateway with observability and 1,600+ LLMs.# Route to a provider by prefixing the model name: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc.# x-portkey-api-key is required; it authenticates requests to Portkey's gateway.portkey_client = OpenAI( base_url="https://api.portkey.ai/v1", api_key=require_env("PORTKEY_API_KEY"), default_headers={ "x-portkey-api-key": require_env("PORTKEY_API_KEY"), },)# ── LiteLLM ──────────────────────────────────────────────────────────────────# Self-hosted proxy. Provider credentials (OPENAI_API_KEY etc.) are set server-side.# By default the proxy does not validate the client API key — "anything" works.# If you have enabled virtual keys on your LiteLLM instance, pass a virtual key instead.litellm_client = OpenAI( base_url=os.environ.get("LITELLM_BASE_URL", "http://localhost:4000"), api_key=os.environ.get("LITELLM_API_KEY", "anything"),)# ── Cloudflare AI Gateway ───────────────────────────────────────────────────# URL-based pass-through. Keep your real provider API key — Cloudflare does not replace it.cf_account_id = require_env("CF_ACCOUNT_ID")cf_gateway_id = require_env("CF_GATEWAY_ID")cloudflare_client = OpenAI( base_url=( f"https://gateway.ai.cloudflare.com/v1" f"/{cf_account_id}/{cf_gateway_id}/openai" ), api_key=require_env("OPENAI_API_KEY"),)def ask(client: OpenAI, model: str, question: str) -> str: """ Minimal wrapper showing the common call pattern across all four gateways. Model format varies by gateway: CometAPI: "gpt-5.4", "claude-opus-4-7", etc. (CometAPI identifiers) Portkey: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc. LiteLLM: whatever model names you configured in your proxy Cloudflare: standard OpenAI model names, e.g. "gpt-4o" This function does not handle finish_reason, tool_calls, or provider errors. For production error handling, see: How to Debug Failed AI API Generations. """ response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": question}], ) return response.choices[0].message.content or ""
Node.js
import OpenAI from "openai";function requireEnv(name) { const val = process.env[name]; if (!val) throw new Error(`Missing required environment variable: ${name}`); return val;}// ── CometAPI ────────────────────────────────────────────────────────────────const cometClient = new OpenAI({ baseURL: "https://api.cometapi.com/v1", apiKey: requireEnv("COMETAPI_KEY"),});// ── Portkey ─────────────────────────────────────────────────────────────────// Route to a provider by prefixing the model: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet"const portkeyClient = new OpenAI({ baseURL: "https://api.portkey.ai/v1", apiKey: requireEnv("PORTKEY_API_KEY"), defaultHeaders: { "x-portkey-api-key": requireEnv("PORTKEY_API_KEY"), },});// ── LiteLLM ──────────────────────────────────────────────────────────────────// Self-hosted. Default mode accepts any API key value.// Set LITELLM_BASE_URL if your server runs on a different host or port.const litellmClient = new OpenAI({ baseURL: process.env.LITELLM_BASE_URL ?? "http://localhost:4000", apiKey: process.env.LITELLM_API_KEY ?? "anything",});// ── Cloudflare AI Gateway ───────────────────────────────────────────────────const cfClient = new OpenAI({ baseURL: `https://gateway.ai.cloudflare.com/v1/${requireEnv("CF_ACCOUNT_ID")}/${requireEnv("CF_GATEWAY_ID")}/openai`, apiKey: requireEnv("OPENAI_API_KEY"),});/** * Minimal wrapper showing the common call pattern. * Model format varies by gateway — see Python example above for details. * Does not handle finish_reason or error recovery; add those for production use. */async function ask(client, model, question) { const response = await client.chat.completions.create({ model, messages: [{ role: "user", content: question }], }); return response.choices[0].message.content ?? "";}
Pola sambungan adalah sama untuk keempat-empatnya. Perbezaan bermakna muncul di tempat lain: apa yang anda boleh perhatikan, apa yang anda boleh kawal, dan apa yang berlaku apabila sesuatu gagal.
Kekuatan Sebenar Setiap Alat
CometAPI
Tawaran utama CometAPI ialah katalog hos dengan lebih 500 titik akhir model, termasuk model penjanaan imej dan video di samping model teks. Harga dijalankan melalui sistem nisbah berasaskan kumpulan — kumpulan lalai menggunakan pengganda 0.8x kepada kadar asas CometAPI. Anda boleh mengkonfigurasi kumpulan nisbah berbeza untuk kegunaan dalaman (0.1x) berbanding pelanggan berbayar, yang memudahkan pembinaan produk bertingkat tanpa mengurus akaun berasingan.
Papan pemuka memberi anda empat jenis log (panggilan API standard, penjanaan imej, penjanaan video, Midjourney), paparan masa operasi 30 hari, dan had kredit per kunci. Had kredit membolehkan anda memberikan kunci API kepada pelanggan atau kontraktor dengan siling perbelanjaan yang keras, yang menyelesaikan masalah sebenar apabila anda mengagihkan akses kepada akaun bersama.
Apa yang CometAPI tidak tawarkan: hos sendiri (pelanggan perusahaan boleh meminta pelayan berdedikasi, tetapi ini bukan pilihan hos sendiri standard), pembatasan kadar pada peringkat gateway, atau SSO.
Sesuai untuk: Pembangun indie dan pasukan kecil yang mahu memaut merentas banyak model — termasuk imej dan video — dengan satu kunci API dan satu hubungan pengebilan, serta memerlukan kawalan bajet per kunci.
Portkey
Portkey ialah gateway hos yang dibina berasaskan kebolehcerapan. Ia memberi anda akses kepada 1,600+ LLM melalui API bersatu, dengan penghalaan dikendalikan dengan meletakkan awalan nama model dengan penyedia (@openai/gpt-4o, @anthropic/claude-3-5-sonnet). Ini bermakna anda tidak memerlukan konfigurasi klien berasingan untuk setiap penyedia — satu klien Portkey mengendalikan semuanya, dan anda tukar rentetan model.
Selain penghalaan, Portkey menyediakan penjejakan permintaan, pengurusan versi prompt, dan penghalaan sandaran yang anda konfigurasikan dalam papan pemuka dan bukannya dalam kod. Pilihan hos sendiri bermakna anda boleh menjalankan Portkey pada infrastruktur anda sendiri jika pematuhan memerlukannya.
Repositori GitHub untuk gateway sumber terbuka Portkey diselenggara secara aktif — semak kiraan bintang semasa secara langsung dan jangan bergantung pada nombor yang disebut di sini, kerana ia berubah kerap.
Sesuai untuk: Pasukan yang memerlukan jejak audit, penghalaan berbilang penyedia daripada satu konfigurasi klien, atau ingin mengurus pendedahan kunci API merentas pembangun.
LiteLLM
LiteLLM ialah pakej Python dan pelayan proksi, bukan perkhidmatan hos. Anda menjalankannya sendiri. Ini perbezaan yang bermakna: tiada pihak ketiga mengendalikan permintaan anda atau memegang kunci API anda. Kelayakan penyedia (kunci OpenAI sebenar anda, kunci Anthropic, dsb.) ditetapkan sebagai pembolehubah persekitaran di sisi pelayan; klien hanya menunjuk ke proksi setempat.
Secara lalai, LiteLLM tidak memvalidasi kunci API yang dihantar klien — sebarang nilai berfungsi. Jika anda mengaktifkan pengurusan kunci maya, klien menghantar kunci maya yang LiteLLM sahkan terhadap pangkalan datanya sendiri. Apa pun, proksi akan menterjemah permintaan berformat OpenAI kepada apa sahaja format yang dijangka oleh penyedia huluan, jadi kod aplikasi anda tidak berubah apabila anda menambah penyedia baharu.
Komprominya ialah beban operasi: anda bertanggungjawab menjalankan, menskalakan, dan mengemas kini pelayan.
Sesuai untuk: Pasukan dengan kapasiti devops, organisasi dengan kekangan pematuhan yang melarang proksi API pihak ketiga, atau sesiapa yang mahukan penghalaan merentas penyedia tanpa mempercayakan kandungan permintaan kepada vendor SaaS.
Cloudflare AI Gateway
Cloudflare AI Gateway mempunyai struktur yang berbeza daripada tiga yang lain. Anda tidak menukar kunci API atau membayar Cloudflare untuk akses model. Sebaliknya, anda menggantikan URL asas penyedia dengan URL yang diurus Cloudflare yang menambah pembalakan, cache, dan pembatasan kadar di edge.
Kerana Cloudflare berada di antara aplikasi anda dan penyedia, ia boleh menyimpan dalam cache permintaan yang sama — berguna jika aplikasi anda menghantar prompt yang sama berulang kali. Tingkat percuma meliputi kebanyakan kes penggunaan pembangun indie. Keterbatasannya ialah skop: Cloudflare tidak mengagregat model merentas penyedia. Anda masih memerlukan akaun dan kunci penyedia berasingan untuk setiap penyedia yang anda gunakan.
Sesuai untuk: Pembangun yang sudah berada pada infrastruktur Cloudflare, atau sesiapa yang mahukan cache dan pembalakan di atas akaun penyedia sedia ada tanpa memperkenalkan hubungan pengebilan baharu atau menukar kunci API.
Pempadanan Senario
| Senario | Alat yang disyorkan | Sebab |
|---|---|---|
| Aplikasi indie, mahu cuba 10+ model dengan satu kunci API | CometAPI | Katalog luas, persediaan ringkas, had kredit per kunci |
| Perlu penjanaan imej + video dalam integrasi yang sama | CometAPI | Titik akhir bersatu untuk model teks, imej dan video |
| Pasukan 5 orang, perlu menjejak siapa menggunakan model apa | Portkey | Penjejakan permintaan, pengurusan pasukan |
| Lalukan ke 1,600+ LLM dengan satu konfigurasi klien | Portkey | Penghalaan @provider/model, tiada persediaan per penyedia |
| Mahukan penghalaan sandaran merentas penyedia tanpa perubahan kod | Portkey | Konfigurasi sandaran deklaratif dalam papan pemuka |
| Perusahaan dengan keperluan kediaman data | LiteLLM (hos sendiri) | Tiada pengendalian trafik pihak ketiga |
| Bajet sifar, selesa dengan pengurusan sendiri | LiteLLM | Sumber terbuka, tiada kos platform |
| Sudah menggunakan OpenAI secara langsung, mahu cache | Cloudflare AI Gateway | Hanya tukar URL, tiada hubungan pengebilan baharu |
| Perlukan RBAC untuk berbilang pasukan | Portkey atau LiteLLM | Kedua-duanya mempunyai pengurusan pasukan/peranan; CometAPI dan Cloudflare tiada |
Apa Yang Empat Alat Ini Tidak Liputi
Perbandingan ini merangkumi gateway yang paling kerap muncul dalam perbincangan pembangun indie. Pasaran merangkumi pilihan lain yang patut diketahui: Helicone memfokuskan pada kebolehcerapan tanpa bertindak sebagai proksi, OpenRouter mengkhususkan diri dalam penghalaan kepada model open-weight dan penyelidikan, dan AWS Bedrock ialah perkhidmatan AI terurus Amazon yang disasarkan kepada beban kerja perusahaan. Jika keperluan anda tidak sesuai dengan mana-mana empat di atas, itulah tempat seterusnya untuk dilihat.
Beralih
Jika anda kini menghubungi penyedia secara langsung dan mempertimbangkan gateway, perubahan kodnya kecil. Untuk CometAPI, anda menambah satu pembolehubah persekitaran dan menukar base_url. Untuk Portkey, anda menambah satu pengepala dan menukar cara anda menyatakan model (@openai/gpt-4o dan bukannya gpt-4o). Untuk Cloudflare, anda menukar URL tanpa menyentuh kunci API penyedia anda. Untuk LiteLLM, anda menjalankan pelayan setempat terlebih dahulu, kemudian arahkan klien anda kepadanya.
Persoalan yang lebih besar bukan bagaimana untuk beralih, tetapi sama ada anda memerlukannya. Jika anda menghubungi satu penyedia, tiada masalah keterlihatan kos, dan tidak memerlukan penghalaan merentas model, gateway menambah kerumitan tanpa manfaat. Jika anda menggunakan berbilang penyedia, mengagihkan kunci kepada kontraktor, atau mendapati bil yang tidak dijangka kerap berlaku, beban integrasi itu berbaloi.
Soalan Lazim (FAQ)
Bolehkah saya gunakan gateway ini bersama-sama?
Ya. Sesetengah pasukan menjalankan LiteLLM hos sendiri untuk beban kerja sensitif dan CometAPI untuk selebihnya. Cloudflare AI Gateway boleh diletakkan di hadapan permintaan CometAPI jika anda mahu lapisan cache Cloudflare di atas — walaupun ini menambah satu hop rangkaian.
Adakah gateway ini menyimpan prompt saya?
Bergantung pada alat dan konfigurasi anda. Portkey dan CometAPI membalak permintaan secara lalai; kedua-duanya mempunyai tetapan pengekalan. LiteLLM hanya menyimpan apa yang anda konfigurasikan untuk disimpan, pada infrastruktur anda sendiri. Tingkah laku pembalakan Cloudflare diterangkan dalam dokumentasi AI Gateway mereka. Baca terma privasi bagi mana-mana perkhidmatan hos sebelum menghantar kandungan sensitif melaluinya.
Apa yang berlaku jika gateway terhenti?
Untuk gateway hos (CometAPI, Portkey, Cloudflare), gangguan pada gateway bermakna aplikasi anda tidak boleh mencapai penyedia AI melalui laluan tersebut. LiteLLM yang berjalan setempat mempunyai ciri ketersediaan yang sama seperti pelayan anda sendiri. Sebelum komited kepada mana-mana gateway hos untuk penggunaan produksi, semak SLA dan sama ada ia menawarkan jatuh balik terus-ke-penyedia jika gateway sendiri tidak tersedia.
Ada cara percuma untuk menilai setiap satu sebelum membuat komitmen?
Ya. CometAPI dan Portkey kedua-duanya mempunyai tingkat percuma. LiteLLM ialah sumber terbuka dan hanya menanggung kos infrastruktur yang anda jalankan. Cloudflare AI Gateway adalah percuma dalam had yang bermurah hati. Anda boleh menjalankan keempat-empatnya terhadap prompt ujian yang sama sebelum membuat keputusan.
Bagaimana saya memilih nama model yang betul untuk setiap gateway?
Setiap gateway mempunyai konvensyennya sendiri. CometAPI menggunakan pengecamnya sendiri (gpt-5.4, claude-opus-4-7). Portkey menggunakan format @provider/model-name (@openai/gpt-4o, @anthropic/claude-3-5-sonnet). LiteLLM menggunakan nama model yang anda takrif dalam konfigurasi proksi anda. Cloudflare melepaskan nama model penyedia standard tanpa perubahan. Semak dokumentasi setiap gateway untuk senarai model terkini sebelum menulis kod.
Adakah menukar gateway menjejaskan had kadar sedia ada saya?
Ya. Jika anda berpindah daripada panggilan OpenAI terus kepada gateway yang mengurus hubungan dengan penyedia (seperti CometAPI), had kadar efektif anda ditentukan oleh akaun gateway dengan OpenAI, bukan akaun peribadi anda. Sahkan tingkah laku had kadar dengan gateway sebelum memindahkan trafik produksi.