AI API шлюзін таңдау екі жыл бұрынғыдай мәселе емес. 2024 жылы әзірлеушілердің көбі не OpenAI-ға тікелей қоңырау шалды, не жергілікті түрде LiteLLM іске қосты. Енді хостингтік нұсқалар бар: баға бақылау тақталары, әр кілт бойынша кредит лимиттері, және ондаған провайдерді қамтитын модель каталогтары. Санат сонша кеңейді, қате таңдау кейін нақты интеграция жұмысының бір бөлігін қайта жасауға әкелуі мүмкін.
Бұл мақала әзірлеушілер талқылауларында жиі аталатын төрт шлюзді салыстырады: CometAPI, Portkey, LiteLLM және Cloudflare AI Gateway. Мақсат – жеңімпазды таңдау емес (әрқайсысы әртүрлі жағдайларда орынды), керісінше әрқайсысының нақты не істейтінін ашып жазып, өзіңіздің қолдану жоспарыңызға дұрыс құралды сәйкестендіруге көмектесу.
Модель атаулары туралы ескерту: Бұл мақалада қолданылған модель идентификаторлары (мысалы,
gpt-5.4,claude-opus-4-7) — CometAPI платформасының идентификаторлары. Олар OpenAI немесе Anthropic-тың ресми атаулары емес, олардың атау беру конвенциялары өзгеше.
Бұл құралдар нақты не істейді
Мүмкіндіктерді салыстырмас бұрын, AI API шлюзі не істейтінін нақтылау пайдалы. Ең азы: ол сіздің қолданбаңыз бен бір немесе бірнеше AI провайдерінің арасында тұрып, сұранымдарды форвардтап, жауаптарды қайтарады. Осы минимумнан кейін шлюздер едәуір ажырайды.
Кейбір шлюздер — мысалы, Cloudflare AI Gateway — негізінен логтау мен кэштеуді қосатын, алдыңғы жақтан өтетін қабат, ол сіздің API кілтіңізге немесе бағаңызға қол тигізбейді. Басқалары, CometAPI сияқты, қайта сатушы ретінде жұмыс істейді: сіз оларға төлейсіз, олар бағынатын провайдерге төлейді, және бағадағы айырмашылық құндылық ұсынысының бір бөлігі. LiteLLM тағы басқаша — бұл хостингтік қызмет емес, өзіңіз іске қосатын бағдарламалық жасақтама.
Бұл айырмашылықты түсіну кез келген нақты мүмкіндікті бағаламас бұрын маңызды.
Мүмкіндіктерді салыстыру
Төмендегі кесте 2026 жылғы мамыр айындағы әр өнімнің ресми құжаттамасы немесе көпшілікке қолжетімді бақылау тақтасындағы ақпаратқа сүйенеді. Сызғышпен (—) белгіленген мүмкіндіктер жазу сәтінде ресми дереккөздерде расталмады.
| Мүмкіндік | CometAPI | Portkey | LiteLLM | Cloudflare AI Gateway |
|---|---|---|---|---|
| Орналастыру | Хостед (SaaS) | Хостед + өз-өзіңіз орналаст | Өз-өзіңіз орналастыру (ашық код) | Хостед (Cloudflare edge) |
| Модель каталогы | Провайдерлер бойынша 500+ модель | Біріктірілген API арқылы 1,600+ LLM | Сіздің конфигурацияңызға байланысты | OpenAI, Anthropic, Workers AI |
| Баға үлгісі | Қайта сатушы (төлем CometAPI арқылы) | Pass-through + платформалық төлем | Тек инфрақұрылым құны | Pass-through (тегін деңгей қолжетімді) |
| OpenAI-мен үйлесімді API | Иә (api.cometapi.com/v1) | Иә (api.portkey.ai/v1) | Иә (жергілікті немесе қашық) | Иә (gateway URL арқылы) |
| Әр кілт бойынша несие шектері | Иә (тақта) | Иә | Иә (конфиг арқылы) | — |
| Топқа негізделген баға коэффициенттері | Иә (әдепкі 0.8x, ішкі 0.1x) | — | — | — |
| Сұранымдарды журналдау | Иә (4 лог түрі) | Иә | Иә | Иә |
| Сәттілік деңгейін бақылау | Иә (30 күндік қолжетімділік көрінісі) | Иә | Иә | Иә |
| Тегін деңгей | Иә (жаңа аккаунттар) | Иә | Ашық код (инфра құны) | Иә |
| Өз инфрақұрымыңызда орналастыру | Жоқ (кәсіпорын: арнайы сервер) | Иә | Иә (негізгі жағдай) | Жоқ |
Дереккөздер: CometAPI бақылау тақтасы, Portkey басты беті, LiteLLM GitHub, Cloudflare AI Gateway құжаттамасы
Әр шлюзге қосылу
Төрт шлюздің бәрі OpenAI-мен үйлесімді endpoint ұсынады, демек бәріне бірдей клиент құрылымы жұмыс істейді — тек base_url, аутентификация деректері, ал Portkey жағдайында модельді көрсету тәсілі өзгереді.
Python
import osfrom openai import OpenAIdef require_env(name: str) -> str: """Raise a clear error if a required environment variable is missing.""" val = os.environ.get(name) if not val: raise ValueError(f"Missing required environment variable: {name}") return val# ── CometAPI ────────────────────────────────────────────────────────────────# Hosted reseller with 500+ models. Use CometAPI model identifiers (e.g. "gpt-5.4").cometapi_client = OpenAI( base_url="https://api.cometapi.com/v1", api_key=require_env("COMETAPI_KEY"),)# ── Portkey ─────────────────────────────────────────────────────────────────# Hosted gateway with observability and 1,600+ LLMs.# Route to a provider by prefixing the model name: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc.# x-portkey-api-key is required; it authenticates requests to Portkey's gateway.portkey_client = OpenAI( base_url="https://api.portkey.ai/v1", api_key=require_env("PORTKEY_API_KEY"), default_headers={ "x-portkey-api-key": require_env("PORTKEY_API_KEY"), },)# ── LiteLLM ──────────────────────────────────────────────────────────────────# Self-hosted proxy. Provider credentials (OPENAI_API_KEY etc.) are set server-side.# By default the proxy does not validate the client API key — "anything" works.# If you have enabled virtual keys on your LiteLLM instance, pass a virtual key instead.litellm_client = OpenAI( base_url=os.environ.get("LITELLM_BASE_URL", "http://localhost:4000"), api_key=os.environ.get("LITELLM_API_KEY", "anything"),)# ── Cloudflare AI Gateway ───────────────────────────────────────────────────# URL-based pass-through. Keep your real provider API key — Cloudflare does not replace it.cf_account_id = require_env("CF_ACCOUNT_ID")cf_gateway_id = require_env("CF_GATEWAY_ID")cloudflare_client = OpenAI( base_url=( f"https://gateway.ai.cloudflare.com/v1" f"/{cf_account_id}/{cf_gateway_id}/openai" ), api_key=require_env("OPENAI_API_KEY"),)def ask(client: OpenAI, model: str, question: str) -> str: """ Minimal wrapper showing the common call pattern across all four gateways. Model format varies by gateway: CometAPI: "gpt-5.4", "claude-opus-4-7", etc. (CometAPI identifiers) Portkey: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc. LiteLLM: whatever model names you configured in your proxy Cloudflare: standard OpenAI model names, e.g. "gpt-4o" This function does not handle finish_reason, tool_calls, or provider errors. For production error handling, see: How to Debug Failed AI API Generations. """ response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": question}], ) return response.choices[0].message.content or ""
Node.js
import OpenAI from "openai";function requireEnv(name) { const val = process.env[name]; if (!val) throw new Error(`Missing required environment variable: ${name}`); return val;}// ── CometAPI ────────────────────────────────────────────────────────────────const cometClient = new OpenAI({ baseURL: "https://api.cometapi.com/v1", apiKey: requireEnv("COMETAPI_KEY"),});// ── Portkey ─────────────────────────────────────────────────────────────────// Route to a provider by prefixing the model: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet"const portkeyClient = new OpenAI({ baseURL: "https://api.portkey.ai/v1", apiKey: requireEnv("PORTKEY_API_KEY"), defaultHeaders: { "x-portkey-api-key": requireEnv("PORTKEY_API_KEY"), },});// ── LiteLLM ──────────────────────────────────────────────────────────────────// Self-hosted. Default mode accepts any API key value.// Set LITELLM_BASE_URL if your server runs on a different host or port.const litellmClient = new OpenAI({ baseURL: process.env.LITELLM_BASE_URL ?? "http://localhost:4000", apiKey: process.env.LITELLM_API_KEY ?? "anything",});// ── Cloudflare AI Gateway ───────────────────────────────────────────────────const cfClient = new OpenAI({ baseURL: `https://gateway.ai.cloudflare.com/v1/${requireEnv("CF_ACCOUNT_ID")}/${requireEnv("CF_GATEWAY_ID")}/openai`, apiKey: requireEnv("OPENAI_API_KEY"),});/** * Minimal wrapper showing the common call pattern. * Model format varies by gateway — see Python example above for details. * Does not handle finish_reason or error recovery; add those for production use. */async function ask(client, model, question) { const response = await client.chat.completions.create({ model, messages: [{ role: "user", content: question }], }); return response.choices[0].message.content ?? "";}
Төртеуі үшін де қосылу үлгісі бірдей. Айырмашылықтар басқа жерлерде білінеді: нені бақылай аласыз, нені басқара аласыз және бірдеңе бұзылғанда не болады.
Әр құрал нақты қайда мықты
CometAPI
CometAPI-дың негізгі ұсынысы — 500-ден аса модель endpoint-тері бар хостингтік каталог, оған мәтіндік модельдермен қатар бейне және сурет генерациялау модельдері кіреді. Бағалау топқа негізделген коэффициент жүйесі арқылы жүреді — әдепкі топ CometAPI-дың базалық бағаларына 0.8x көбейткішін қолданады. Сіз ішкі пайдалану үшін (0.1x) және ақылы клиенттер үшін әртүрлі коэффициент топтарын баптай аласыз, бұл жеке аккаунттарды басқармай-ақ өнімнің деңгейлік тарифтерін құруды практикалық етеді.
Бақылау тақтасы төрт лог түрін (стандарт API қоңыраулары, сурет генерациясы, бейне генерациясы, Midjourney), 30 күндік қолжетімділік көрінісін және әр кілт бойынша несие шектерін береді. Несие шектері ортақ аккаунтқа қол жеткізуді таратқанда клиенттерге немесе мердігерлерге жұмсалатын шығынға қатаң шек қоюға мүмкіндік береді — бұл нақты мәселені шешеді.
CometAPI ұсынбайтыны: өз-өзіңіз орналастыру (кәсіпорын клиенттер арнайы сервер сұрай алады, бірақ бұл стандартты self-host емес), шлюз деңгейіндегі rate limiting, немесе SSO.
Ең үйлесетін: Бір API кілті мен бір биллинг қатынасымен көптеген модельдерге — соның ішінде сурет және бейне — роутинг жасағысы келетін инди әзірлеушілер мен шағын командалар; әр кілт бойынша бюджет бақылауы қажет командалар.
Portkey
Portkey — бақылау мүмкіндіктеріне (observability) негізделген хостингтік шлюз. Ол бірыңғай API арқылы 1,600+ LLM-ге қол жеткізу береді, ал роутинг модель атауына провайдерді префикс ретінде қосу арқылы жасалады (@openai/gpt-4o, @anthropic/claude-3-5-sonnet). Бұл әр провайдер үшін бөлек клиент конфигурациясын қажет етпейді — бір Portkey клиент бәрін өңдейді, сіз тек модель жолын ауыстырасыз.
Роутингтен бөлек, Portkey сұранымдарды трассалау, prompt нұсқаларын жүргізу және кодты өзгертпей, бақылау тақтасында бапталатын fallback роутинг ұсынады. Өз-өзіңіз орналастыру опциясы сәйкестік талап еткен жағдайда Portkey-ді өз инфрақұрымыңызда іске қосуға мүмкіндік береді.
Portkey-дің ашық бастапқы кодты шлюзіне арналған GitHub репозиторийі белсенді түрде қолдауда — ағымдағы жұлдыз санын тікелей тексеріңіз, ол жиі өзгеріп тұрады.
Ең үйлесетін: Аудит іздері қажет командалар, бір клиент конфигурациясынан көп провайдерге роутинг қажет ететіндер, немесе әзірлеушілер арасында API кілттерін басқаруды қалайтындар.
LiteLLM
LiteLLM — бұл хостингтік қызмет емес, Python пакеті мен прокси-сервер. Оны өзіңіз іске қосасыз. Бұл маңызды айырмашылық: сіздің сұранымдарыңызды өңдейтін немесе API кілттеріңізді ұстайтын үшінші тарап жоқ. Провайдер құпия деректері (сіздің нақты OpenAI кілтіңіз, Anthropic кілті, т.б.) сервер жағындағы орта айнымалылары ретінде орнатылады; клиент тек жергілікті проксиға нұсқайды.
Әдепкі бойынша, LiteLLM клиент жіберген API кілтін тексермейді — кез келген мән жарай береді. Виртуалды кілттерді басқаруды қоссаңыз, клиенттер LiteLLM өз дерекқорына қарсы тексеретін виртуалды кілттерді береді. Қалай болғанда да, прокси OpenAI-ға ұқсас сұранымдарды жоғарыдағы провайдер күткен форматқа аударады, сондықтан жаңа провайдер қосқанда қолданба коды өзгермейді.
Кемшілігі — операциялық жүктеме: серверді іске қосу, масштабтау және жаңарту сіздің жауапкершілігіңізде.
Ең үйлесетін: DevOps мүмкіндігі бар командалар, үшінші тарап API проксилеріне трафикті жіберуге тыйым салатын сәйкестік шектеулері бар ұйымдар, немесе SaaS вендорға сұраным мазмұнын сеніп тапсырмай-ақ көп провайдерді роутинг жасағысы келетіндер.
Cloudflare AI Gateway
Cloudflare AI Gateway құрылымдық тұрғыдан қалған үшеуінен өзгеше. Сіз API кілтіңізді өзгертпейсіз және модельге қолжетімділік үшін Cloudflare-ге төлемейсіз. Оның орнына, провайдердің базалық URL-ін логтау, кэштеу және шетте (edge) rate limiting қосатын Cloudflare басқарылатын URL-ге ауыстырасыз.
Cloudflare сіздің қолданбаңыз бен провайдер арасында тұрғандықтан, бірдей сұранымдарды кэштей алады — егер қолданбаңыз бірдей prompt-тарды жиі жіберсе, бұл пайдалы. Тегін деңгей инди әзірлеушілердің көпшілігіне жеткілікті. Шектеуі — ауқым: Cloudflare провайдерлер арасындағы модельдерді агрегацияламайды. Сіз әлі де әр провайдер үшін бөлек аккаунттар мен кілттерге мұқтаж боласыз.
Ең үйлесетін: Cloudflare инфрақұрылымын қазірдің өзінде пайдаланатын әзірлеушілер, немесе жаңа биллинг қатынасын енгізбей, API кілттерін өзгертпей, бар провайдер аккаунттарының үстіне кэштеу мен логтауды қосуды қалайтындар.
Сценарийді сәйкестендіру
| Сценарий | Ұсынылатын құрал | Себеп |
|---|---|---|
| Инди қосымша, бір API кілтімен 10+ модельді байқап көру | CometAPI | Кең каталог, қарапайым орнату, әр кілт бойынша несие лимиттері |
| Бір интеграцияда сурет + бейне генерациясы қажет | CometAPI | Мәтін, сурет және бейне модельдеріне бірыңғай endpoint |
| 5 адамдық команда, кім қандай модель қолданатынын бақылау | Portkey | Сұранымдарды трассалау, команда менеджменті |
| Бір клиент конфигімен 1,600+ LLM-ге роутинг | Portkey | @provider/model роутингі, әр провайдерге жеке орнату жоқ |
| Кодты өзгертпей провайдерлер арасында fallback роутинг | Portkey | Бақылау тақтасында декларативті fallback конфигі |
| Деректер резиденттілігі талаптары бар кәсіпорын | LiteLLM (self-hosted) | Үшінші тарап трафикті өңдемейді |
| Бюджет нөл, өзін-өзі басқаруға дайын | LiteLLM | Ашық код, платформалық құн жоқ |
| OpenAI-ды тікелей қолданудасыз, кэштеу қажет | Cloudflare AI Gateway | Тек URL алмастыру, жаңа биллинг қатынасы жоқ |
| Бірнеше командаға RBAC қажет | Portkey немесе LiteLLM | Екеуінде де команда/роль менеджменті бар; CometAPI және Cloudflare-де жоқ |
Бұл төртеу қамтымайтын нәрселер
Бұл салыстыру инди әзірлеуші талқылауларында жиі көрінетін шлюздерді қамтиды. Нарықта білуге тұрарлық өзге опциялар бар: Helicone — прокси ретінде әрекет етпей, бақылауға шоғырланған, OpenRouter — ашық салмақты және зерттеу модельдеріне роутингке маманданған, ал AWS Bedrock — кәсіпорын жүктемелеріне бағытталған Amazon басқарылатын AI қызметі. Егер талаптарыңыз жоғарыдағы төртеуге сай келмесе, келесі қарайтын орындар — осылар.
Ауысып өту
Егер қазір провайдерге тікелей қоңырау шалып, шлюзді қарастырып жүрсеңіз, код өзгерісі шағын. CometAPI үшін бір орта айнымаласын қосып, base_url-ді өзгерту жеткілікті. Portkey үшін қосымша хедер қосып, модельді көрсету тәсілін өзгерту керек (@openai/gpt-4o орнына gpt-4o). Cloudflare үшін провайдер API кілтін қозғамай-ақ URL-ді өзгерту жеткілікті. LiteLLM үшін алдымен жергілікті серверді іске қосып, кейін клиентті соған нұсқау керек.
Үлкен сұрақ — қалай ауысу емес, қажет пе, жоқ па. Егер сіз бір провайдерге қоңырау шалып, шығын көрінерлігімен мәселе жоқ болса, және кросс-модель роутинг қажет болмаса, шлюз артық күрделілік қосады. Егер бірнеше провайдерді қолдансаңыз, кілттерді мердігерлерге таратсаңыз, немесе күтпеген шоттар қайталанатын проблема болса, интеграциялық шығын өзін ақтайды.
Жиі қойылатын сұрақтар
Бұл шлюздерді бірге қолдана аламын ба?
Иә. Кейбір командалар сезімтал жүктемелер үшін LiteLLM-ді self-hosted режимінде жүргізіп, қалғанының бәріне CometAPI қолданады. Cloudflare AI Gateway қажет болса CometAPI сұранымдарының алдына қойылып, Cloudflare-дің кэштеу қабатын үстіне қосуға болады — бірақ бұл қосымша желілік hop қосады.
Бұл шлюздер менің prompt-тарымды сақтай ма?
Құралға және конфигурацияңызға байланысты. Portkey және CometAPI әдепкіде сұранымдарды логтайды; екеуінде де сақтау мерзімін баптау бар. LiteLLM өз инфрақұрылымыңызда өзіңіз баптағанды ғана сақтайды. Cloudflare-дің логтау тәртібі олардың AI Gateway құжаттамасында сипатталған. Құпия контентті хостингтік қызмет арқылы жібермес бұрын, құпиялылық шарттарын оқыңыз.
Егер шлюз құлап қалса, не болады?
Хостингтік шлюздер үшін (CometAPI, Portkey, Cloudflare) шлюздың істен шығуы — қолданбаңыздың сол жол арқылы AI провайдерге жете алмауы. Жергілікті LiteLLM өз серверіңіздің қолжетімділік сипаттамасына ие. Кез келген хостингтік шлюзді продакшнда қолданбас бұрын, оның SLA-сын және шлюздің өзі қолжетімсіз болғанда тікелей провайдерге fallback ұсынатынын тексеріңіз.
Әрқайсысын міндеттелмей тұрып тегін бағалай аламын ба?
Иә. CometAPI және Portkey екеуінде де тегін деңгей бар. LiteLLM — ашық бастапқы код, тек өзіңіз жүргізетін инфрақұрылымның құны бар. Cloudflare AI Gateway — жомарт шектер аясында тегін. Шешім қабылдар алдында төртеуін де бірдей тест prompt-тарымен сынай аласыз.
Әр шлюз үшін дұрыс модель атауларын қалай таңдаймын?
Әр шлюздің өз конвенциясы бар. CometAPI өз идентификаторларын қолданады (gpt-5.4, claude-opus-4-7). Portkey @provider/model-name форматында (@openai/gpt-4o, @anthropic/claude-3-5-sonnet) қолданады. LiteLLM прокси конфигіңізде анықтаған модель атауларын пайдаланады. Cloudflare стандарт провайдер модель атауларын өзгеріссіз өткізеді. Код жазбас бұрын әр шлюздің құжаттамасынан ағымдағы модель тізімін тексеріңіз.
Шлюзді ауыстыру қолданыстағы rate limit-терге әсер ете ме?
Иә. Егер OpenAI-ға тікелей қоңыраулардан провайдер қатынасын өзі басқаратын шлюзге (CometAPI сияқты) өтсеңіз, тиімді rate limit-теріңіз жеке аккаунтыңызға емес, шлюздің OpenAI-дағы аккаунтына тәуелді болады. Продакшн трафикті көшірмес бұрын шлюзбен rate limit мінез-құлқын растаңыз.