Å velge en AI API-gateway er ikke det samme problemet som for to år siden. I 2024 ringte de fleste utviklere enten OpenAI direkte eller startet LiteLLM lokalt. Nå finnes det hostede alternativer med prisdashbord, kredittgrenser per nøkkel og modellkataloger som spenner over dusinvis av leverandører. Kategorien har blitt så stor at et feil valg kan bety at du må gjøre om reelt integrasjonsarbeid senere.
Denne artikkelen sammenligner fire gateways som dukker opp igjen og igjen i utviklerdiskusjoner: CometAPI, Portkey, LiteLLM og Cloudflare AI Gateway. Målet er ikke å kåre en vinner — hver av dem gir mening i ulike situasjoner — men å forklare hva de faktisk gjør, slik at du kan matche verktøyet til ditt brukstilfelle.
Merk om modellnavn: Modellidentifikatorene brukt i denne artikkelen (som
gpt-5.4,claude-opus-4-7) er CometAPI-plattformidentifikatorer. De er ikke offisielle navn fra OpenAI eller Anthropic, som har egne navnekonvensjoner.
Hva disse verktøyene faktisk gjør
Før vi sammenligner funksjoner, er det nyttig å være presis på hva en AI API-gateway gjør. Minst: den sitter mellom applikasjonen din og én eller flere AI-leverandører, videresender forespørsler og returnerer svar. Utover dette minstekravet divergerer gatewayene betydelig.
Noen gateways — Cloudflare AI Gateway, for eksempel — er primært et gjennomstrømningslag som legger til logging og caching uten å ta i bruk API-nøkkelen eller prisingen din. Andre, som CometAPI, fungerer som en forhandler: du betaler dem, de betaler underliggende leverandør, og prisforskjellen er en del av verdiforslaget. LiteLLM er annerledes igjen — det er programvare du kjører selv, ikke en hostet tjeneste.
Å forstå dette skillet er viktig før du vurderer enkeltfunksjoner.
Sammenligning av funksjoner
Tabellen nedenfor bruker informasjon fra hvert produkts offisielle dokumentasjon eller offentlige dashbord per mai 2026. Funksjoner markert med en strek (—) var ikke bekreftet i offisielle kilder på skrivetidspunktet.
| Funksjon | CometAPI | Portkey | LiteLLM | Cloudflare AI Gateway |
|---|---|---|---|---|
| Distribusjon | Hostet (SaaS) | Hostet + selvhostet | Selvhostet (åpen kildekode) | Hostet (Cloudflare edge) |
| Modellkatalog | 500+ modeller på tvers av leverandører | 1,600+ LLM-er via enhetlig API | Avhenger av konfigurasjonen din | OpenAI, Anthropic, Workers AI |
| Prismodell | Forhandler (betal CometAPI) | Gjennomstrømning + plattformavgift | Kun infrastrukturkostnad | Gjennomstrømning (gratisnivå tilgjengelig) |
| OpenAI-kompatibelt API | Ja (api.cometapi.com/v1) | Ja (api.portkey.ai/v1) | Ja (lokalt eller eksternt) | Ja (via gateway-URL) |
| Kredittgrenser per nøkkel | Ja (dashbord) | Ja | Ja (via konfigurasjon) | — |
| Gruppebaserte prisforhold | Ja (0.8x standard, 0.1x internt) | — | — | — |
| Forespørselslogging | Ja (4 loggtyper) | Ja | Ja | Ja |
| Overvåking av suksessrate | Ja (30-dagers oppetidsvisning) | Ja | Ja | Ja |
| Gratisnivå | Ja (nye kontoer) | Ja | Åpen kildekode (infrastrukturkostnad) | Ja |
| Mulighet for selvhosting | Nei (enterprise: dedikert server) | Ja | Ja (kjernebrukstilfelle) | Nei |
Kilder: CometAPI-dashbord, Portkey-hjemmeside, LiteLLM GitHub, Cloudflare AI Gateway-dokumentasjon
Kobling til hver gateway
Alle fire gatewayene eksponerer et OpenAI-kompatibelt endepunkt, noe som betyr at samme klientstruktur fungerer for dem alle — du bytter base_url, legitimasjon og, i Portkeys tilfelle, hvordan du angir modellen.
Python
import osfrom openai import OpenAIdef require_env(name: str) -> str: """Raise a clear error if a required environment variable is missing.""" val = os.environ.get(name) if not val: raise ValueError(f"Missing required environment variable: {name}") return val# ── CometAPI ────────────────────────────────────────────────────────────────# Hosted reseller with 500+ models. Use CometAPI model identifiers (e.g. "gpt-5.4").cometapi_client = OpenAI( base_url="https://api.cometapi.com/v1", api_key=require_env("COMETAPI_KEY"),)# ── Portkey ─────────────────────────────────────────────────────────────────# Hosted gateway with observability and 1,600+ LLMs.# Route to a provider by prefixing the model name: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc.# x-portkey-api-key is required; it authenticates requests to Portkey's gateway.portkey_client = OpenAI( base_url="https://api.portkey.ai/v1", api_key=require_env("PORTKEY_API_KEY"), default_headers={ "x-portkey-api-key": require_env("PORTKEY_API_KEY"), },)# ── LiteLLM ──────────────────────────────────────────────────────────────────# Self-hosted proxy. Provider credentials (OPENAI_API_KEY etc.) are set server-side.# By default the proxy does not validate the client API key — "anything" works.# If you have enabled virtual keys on your LiteLLM instance, pass a virtual key instead.litellm_client = OpenAI( base_url=os.environ.get("LITELLM_BASE_URL", "http://localhost:4000"), api_key=os.environ.get("LITELLM_API_KEY", "anything"),)# ── Cloudflare AI Gateway ───────────────────────────────────────────────────# URL-based pass-through. Keep your real provider API key — Cloudflare does not replace it.cf_account_id = require_env("CF_ACCOUNT_ID")cf_gateway_id = require_env("CF_GATEWAY_ID")cloudflare_client = OpenAI( base_url=( f"https://gateway.ai.cloudflare.com/v1" f"/{cf_account_id}/{cf_gateway_id}/openai" ), api_key=require_env("OPENAI_API_KEY"),)def ask(client: OpenAI, model: str, question: str) -> str: """ Minimal wrapper showing the common call pattern across all four gateways. Model format varies by gateway: CometAPI: "gpt-5.4", "claude-opus-4-7", etc. (CometAPI identifiers) Portkey: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet", etc. LiteLLM: whatever model names you configured in your proxy Cloudflare: standard OpenAI model names, e.g. "gpt-4o" This function does not handle finish_reason, tool_calls, or provider errors. For production error handling, see: How to Debug Failed AI API Generations. """ response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": question}], ) return response.choices[0].message.content or ""
Node.js
import OpenAI from "openai";function requireEnv(name) { const val = process.env[name]; if (!val) throw new Error(`Missing required environment variable: ${name}`); return val;}// ── CometAPI ────────────────────────────────────────────────────────────────const cometClient = new OpenAI({ baseURL: "https://api.cometapi.com/v1", apiKey: requireEnv("COMETAPI_KEY"),});// ── Portkey ─────────────────────────────────────────────────────────────────// Route to a provider by prefixing the model: "@openai/gpt-4o", "@anthropic/claude-3-5-sonnet"const portkeyClient = new OpenAI({ baseURL: "https://api.portkey.ai/v1", apiKey: requireEnv("PORTKEY_API_KEY"), defaultHeaders: { "x-portkey-api-key": requireEnv("PORTKEY_API_KEY"), },});// ── LiteLLM ──────────────────────────────────────────────────────────────────// Self-hosted. Default mode accepts any API key value.// Set LITELLM_BASE_URL if your server runs on a different host or port.const litellmClient = new OpenAI({ baseURL: process.env.LITELLM_BASE_URL ?? "http://localhost:4000", apiKey: process.env.LITELLM_API_KEY ?? "anything",});// ── Cloudflare AI Gateway ───────────────────────────────────────────────────const cfClient = new OpenAI({ baseURL: `https://gateway.ai.cloudflare.com/v1/${requireEnv("CF_ACCOUNT_ID")}/${requireEnv("CF_GATEWAY_ID")}/openai`, apiKey: requireEnv("OPENAI_API_KEY"),});/** * Minimal wrapper showing the common call pattern. * Model format varies by gateway — see Python example above for details. * Does not handle finish_reason or error recovery; add those for production use. */async function ask(client, model, question) { const response = await client.chat.completions.create({ model, messages: [{ role: "user", content: question }], }); return response.choices[0].message.content ?? "";}
Tilkoblingsmønsteret er det samme for alle fire. De meningsfulle forskjellene viser seg andre steder: hva du kan observere, hva du kan kontrollere, og hva som skjer når noe feiler.
Hva hvert verktøy faktisk er bra til
CometAPI
CometAPIs hovedtilbud er en hostet katalog med over 500 modellendepunkter, inkludert bilde- og videogenereringsmodeller ved siden av tekstmodeller. Prisingen styres via et gruppebasert forholdssystem — standardgruppen bruker en 0.8x-multiplikator på CometAPIs basispriser. Du kan konfigurere ulike forholdsgrupper for internt bruk (0.1x) versus betalende kunder, noe som gjør det praktisk å bygge et nivåinndelt produkt uten å håndtere separate kontoer.
Dashbordet gir deg fire typer logger (standard API-kall, bildegenerering, videogenerering, Midjourney), en 30-dagers oppetidsvisning og kredittgrenser per nøkkel. Kredittgrenser lar deg gi API-nøkler til klienter eller konsulenter med et hardt tak på forbruk, som løser et reelt problem når du distribuerer tilgang til en delt konto.
Hva CometAPI ikke tilbyr: selvhosting (enterprise-kunder kan be om en dedikert server, men dette er ikke et standard selvhostet alternativ), ratebegrensning på gateway-nivå eller SSO.
Best egnet: Indie-utviklere og små team som vil rute på tvers av mange modeller — inkludert bilde og video — med én API-nøkkel og ett kundeforhold, og som trenger budsjettsperrer per nøkkel.
Portkey
Portkey er en hostet gateway bygget rundt observabilitet. Den gir tilgang til 1,600+ LLM-er via et enhetlig API, med ruting håndtert ved å prefikse modellnavnet med leverandøren (@openai/gpt-4o, @anthropic/claude-3-5-sonnet). Dette betyr at du ikke trenger separate klientkonfigurasjoner for hver leverandør — én Portkey-klient håndterer alle, og du bytter bare modellstrengen.
Utover ruting tilbyr Portkey forespørsels-sporing, promptversjonering og fallback-ruting som du konfigurerer i dashbordet i stedet for i kode. Muligheten for selvhosting gjør at du kan kjøre Portkey på egen infrastruktur hvis compliance krever det.
GitHub-repositoriet for Portkeys åpne gateway vedlikeholdes aktivt — sjekk gjeldende antall stjerner direkte i stedet for å stole på et tall sitert her, da det endrer seg ofte.
Best egnet: Team som trenger revisjonsspor, multi-leverandør-ruting fra én klientkonfigurasjon, eller vil håndtere eksponering av API-nøkler på tvers av utviklere.
LiteLLM
LiteLLM er en Python-pakke og en proxy-server, ikke en hostet tjeneste. Du kjører den selv. Dette er et vesentlig skille: ingen tredjepart håndterer forespørslene dine eller holder API-nøklene dine. Leverandørlegitimasjon (din ekte OpenAI-nøkkel, Anthropic-nøkkel osv.) settes som server-side miljøvariabler; klienten peker bare mot den lokale proxyen.
Som standard validerer ikke LiteLLM API-nøkkelen klienter sender — enhver verdi fungerer. Hvis du aktiverer virtuell nøkkelhåndtering, sender klienter virtuelle nøkler som LiteLLM validerer mot sin egen database. Uansett oversetter proxyen forespørsler i OpenAI-format til det formatet upstream-leverandøren forventer, slik at applikasjonskoden din ikke endres når du legger til en ny leverandør.
Avveiningen er operasjonell overhead: du er ansvarlig for å kjøre, skalere og oppdatere serveren.
Best egnet: Team med devops-kapasitet, organisasjoner med compliance-krav som forbyr tredjeparts API-proxyer, eller alle som vil ha ruting på tvers av leverandører uten å betro forespørselsinnhold til en SaaS-leverandør.
Cloudflare AI Gateway
Cloudflare AI Gateway er strukturelt annerledes enn de tre andre. Du endrer ikke API-nøkkelen din eller betaler Cloudflare for modelltilgang. I stedet bytter du ut leverandørens base-URL med en Cloudflare-administrert URL som legger til logging, caching og ratebegrensning på edge.
Fordi Cloudflare sitter mellom applikasjonen din og leverandøren, kan den cache-identiske forespørsler — nyttig hvis applikasjonen din sender samme prompt gjentatte ganger. Gratisnivået dekker de fleste indie-utviklerbehov. Begrensningen er omfang: Cloudflare aggregerer ikke modeller på tvers av leverandører. Du trenger fortsatt separate leverandørkontoer og nøkler for hver leverandør du bruker.
Best egnet: Utviklere som allerede bruker Cloudflares infrastruktur, eller alle som vil ha caching og logging oppå eksisterende leverandørkontoer uten å introdusere et nytt kundeforhold eller endre API-nøkler.
Scenario-tilpasning
| Scenario | Anbefalt verktøy | Begrunnelse |
|---|---|---|
| Indie-app, vil prøve 10+ modeller med én API-nøkkel | CometAPI | Bred katalog, enkel oppsett, kredittgrenser per nøkkel |
| Trenger bilde + video-generering i samme integrasjon | CometAPI | Samlet endepunkt for tekst-, bilde- og videomodeller |
| Team på 5, må spore hvem som bruker hvilken modell | Portkey | Forespørsels-sporing, teamadministrasjon |
| Rute til 1,600+ LLM-er med én klientkonfigurasjon | Portkey | @provider/model-ruting, ingen oppsett per leverandør |
| Vil ha fallback-ruting på tvers av leverandører uten kodeendringer | Portkey | Deklarativ fallback-konfigurasjon i dashbordet |
| Enterprise med krav til dataresidens | LiteLLM (selvhostet) | Ingen tredjepart som håndterer trafikken |
| Budsjettet er null, komfortabel med egen drift | LiteLLM | Åpen kildekode, ingen plattformkostnad |
| Bruker allerede OpenAI direkte, ønsker caching | Cloudflare AI Gateway | Kun URL-bytte, ingen nytt kundeforhold |
| Trenger RBAC for flere team | Portkey eller LiteLLM | Begge har team-/rollehåndtering; CometAPI og Cloudflare har ikke |
Hva disse fire ikke dekker
Denne sammenligningen dekker gatewayene som oftest dukker opp i indie-utviklerdiskusjoner. Markedet inkluderer andre alternativer det er verdt å kjenne til: Helicone fokuserer på observabilitet uten å være en proxy, OpenRouter spesialiserer seg på ruting til open-weight- og forskningsmodeller, og AWS Bedrock er Amazons administrerte AI-tjeneste rettet mot enterprise-arbeidslaster. Hvis kravene dine ikke passer noen av de fire over, er dette de neste stedene å se.
Å bytte
Hvis du i dag kaller en leverandør direkte og vurderer en gateway, er kodeendringen liten. For CometAPI legger du til én miljøvariabel og endrer base_url. For Portkey legger du til en header og endrer hvordan du angir modellen (@openai/gpt-4o i stedet for gpt-4o). For Cloudflare endrer du URL-en uten å røre leverandørens API-nøkkel. For LiteLLM kjører du først en lokal server, og peker deretter klienten din mot den.
Det større spørsmålet er ikke hvordan du bytter, men om du trenger det. Hvis du kaller én enkelt leverandør, ikke har problemer med kostnadsinnsikt, og ikke trenger ruting på tvers av modeller, legger en gateway til kompleksitet uten nytte. Hvis du treffer flere leverandører, deler ut nøkler til konsulenter, eller opplever at uventede regninger er et tilbakevendende problem, er integrasjonsarbeidet verdt det.
FAQ
Kan jeg bruke disse gatewayene sammen?
Ja. Noen team kjører LiteLLM selvhostet for sensitive arbeidslaster og CometAPI for alt annet. Cloudflare AI Gateway kan stå foran CometAPI-forespørsler hvis du vil ha Cloudflares cache-lag oppå — selv om dette legger til et nettverkshopp.
Lagrer disse gatewayene promptene mine?
Det kommer an på verktøyet og konfigurasjonen din. Portkey og CometAPI logger forespørsler som standard; begge har oppbevaringsinnstillinger. LiteLLM lagrer bare det du konfigurerer at den skal lagre, på din egen infrastruktur. Cloudflares loggeadferd er beskrevet i deres AI Gateway-dokumentasjon. Les personverksvilkårene for enhver hostet tjeneste før du sender sensitivt innhold gjennom den.
Hva skjer hvis gatewayen går ned?
For hostede gateways (CometAPI, Portkey, Cloudflare) betyr gateway-nedetid at applikasjonen din ikke når AI-leverandøren via den veien. LiteLLM lokalt har samme tilgjengelighetsegenskaper som din egen server. Før du forplikter deg til en hostet gateway i produksjon, sjekk SLA-en og om den tilbyr direkte-fallback til leverandør hvis selve gatewayen er utilgjengelig.
Finnes det en gratis måte å evaluere hver av dem før man forplikter seg?
Ja. CometAPI og Portkey har begge gratisnivåer. LiteLLM er åpen kildekode og koster kun infrastrukturen du kjører det på. Cloudflare AI Gateway er gratis innenfor romslige grenser. Du kan kjøre alle fire mot de samme testpromptene før du bestemmer deg.
Hvordan velger jeg riktige modellnavn for hver gateway?
Hver gateway har sin egen konvensjon. CometAPI bruker egne identifikatorer (gpt-5.4, claude-opus-4-7). Portkey bruker @provider/model-name-format (@openai/gpt-4o, @anthropic/claude-3-5-sonnet). LiteLLM bruker modellnavnene du definerer i proxy-konfigurasjonen. Cloudflare passerer standard leverandør-modellnavn uendret. Sjekk dokumentasjonen for hver gateway for gjeldende modelliste før du skriver kode.
Påvirker bytte av gateway mine eksisterende rategrenser?
Ja. Hvis du går fra direkte OpenAI-kall til en gateway som håndterer leverandørforholdet (som CometAPI), bestemmes de effektive rategrensene dine av gatewayens konto hos OpenAI, ikke din egen. Verifiser rategrenseadferd med gatewayen før du migrerer produksjonstrafikk.