Antwoord eerst: welke multi-LLM-gateway dekt de volledige stack?
Een productieklare multi-LLM-gateway moet meer doen dan dezelfde prompt naar een ander model doorsturen. Je moet modellen kunnen wisselen zonder de client te herschrijven, kunnen bepalen wanneer een andere route veilig is, elke poging registreren, tokens en kosten toeschrijven, en een faalloop stoppen voordat het een budgetincident wordt.
Elk van de vijf gateways optimaliseert voor een andere eigendomsgrens. Portkey biedt momenteel de duidelijkste managed combinatie van routeringsbeleid, native fallbacks, traces, budgetten en rate limits. LiteLLM biedt een vergelijkbaar brede bedieningslaag voor teams die bereid zijn de proxy zelf te beheren. CometAPI kiest een lichtere aanpak: één OpenAI-compatibele basis-URL en modelparameter dekken een grote gehoste catalogus, terwijl de officiële fallbackgids retry- en fallbackbeslissingen in je applicatie houdt.
Snelle vergelijking van multi-LLM-gateways
| Gateway | Modelwissel | Fallback | Gebruik | Logs | Kostenbeheersing | Beste match |
|---|---|---|---|---|---|---|
| CometAPI | Ja — één base-URL; model wijzigen | Applicatiegestuurd patroon | Responsgebruik plus quotum- en daggebruik-query | Aanvraaglogs en dashboard | Quota per sleutel en outputlimieten per aanvraag | Gehoste multi-modeltoegang met minimale integratiewerk |
| Portkey | Ja — universele API en configs | Native geprioriteerde fallbacks, retries en circuit breakers | Token- en kostentoeschrijving per aanvraag | Pogingsketen met Config ID en Trace ID | Budgetten, rate limits en beleids-guardrails | Managed routing plus diepe observeerbaarheid |
| OpenRouter | Ja — model- en providerroutering | Automatische providerfallback; modelroutering configureerbaar | Analytics en Activiteitsgeschiedenis | Activiteitsgeschiedenis; minder applicatietracing dan Portkey | Prijssortering, maximumprijregels en sleutellimieten | Providerselectie in marketplace-stijl |
| LiteLLM | Ja — OpenAI-compatibele proxy voor veel providers | Router-retries en fallbacks | Bestedings- en toekenning van tokens per gebruiker, sleutel of project | Ingebouwde hooks en externe logging-callbacks | Budgetten en rate limits | Zelfgehoste controle en maatwerk |
| Cloudflare AI Gateway | Ja — uniforme en dynamische routes | Fallback-nodes in dynamische routes | Dashboard-analytics | Persistente aanvraaglogs | Bestedingslimieten, rate limits en fallbacks naar goedkopere modellen | Cloudflare-native edge-operations |
Bewijs: CometAPI wisselen, gebruik en quotumquery en fallbackpatroon; Portkey-gateway, fallbacks en kostenbeheer; OpenRouter-providerroutering en gebruiksanalytics; LiteLLM proxy en router; Cloudflare AI Gateway-functies, dynamische routering en bestedingslimieten.
Applicatiegestuurde fallback werkt in productie. De CometAPI-gids documenteert een werkend patroon, maar het betekent dat retrylogica, circuitbreakerstatus en budgetten per route in je codebase leven en per service opnieuw moeten worden geïmplementeerd, in plaats van één keer in een gateway te worden geconfigureerd en voor elke client te worden afgedwongen.
De 5 capaciteiten die een productie-LLM-gateway nodig heeft
Modelwissel
Modelwissel behoudt één stabiel clientcontract — typisch een OpenAI-compatibele endpoint voor /chat/completions — en selecteert het model via configuratie, beleid of een parameter per aanvraag, zodat je modellen kunt veranderen zonder elke client te updaten.
Alle vijf gateways ondersteunen dit, maar de bedieningslaag verschilt: CometAPI en OpenRouter gebruiken een gehoste endpoint met een model-veld; Portkey voegt configuratiegestuurde routering toe; LiteLLM mapt aliassen in een zelfgehoste config; Cloudflare koppelt selectie aan een edge-route.
Fallbackroutering
Fallbackroutering is een geordende reeks modellen of providers die worden geprobeerd wanneer de primaire route faalt, met een cruciaal onderscheid: retry bij verbindingsfouten, time-outs, 408, 429 en tijdelijke 5xx; faal meteen bij 400, 401, 403 en onbekend-model 404 zodat misconfiguratie zich niet verbergt als een dure fallback.
Portkey, LiteLLM, OpenRouter en Cloudflare bieden gateway-zijde fallbackconfiguratie; CometAPI’s gedocumenteerde patroon houdt de reeks in applicatiecode.
Gebruikstracking
Gebruikstracking registreert prompttokens, outputtokens, aanvraagcounts en modeltoeschrijving voor elke call — niet alleen succesvolle — wat kostenverantwoording en facturatie per tenant mogelijk maakt. Zonder gegevens per poging kan een kostenspike afkomstig zijn van legitiem verkeer, een retry-loop of een fallback naar een duurder model, en mislukte pogingen die partiële tokens verbruikten worden upstream nog steeds gefactureerd.
Portkey en LiteLLM bieden toeschrijving op aanvraag- en pogingsniveau; CometAPI retourneert gebruik per respons plus een quotumquery-endpoint; OpenRouter en Cloudflare leveren analytics-dashboards.
Logs en traces
Logs en traces registreren elke poging — latency, statuscode, routingsbeslissing, model en provider — onder één request-ID, zodat een fallbackketen end-to-end debuggable is. Een uiteindelijke 200-respons bewijst op zichzelf niets: als mislukte pogingen niet onder dezelfde ID worden vastgelegd, kan een stille fallback-loop wekenlang draaien voordat deze in het kostenrapport opduikt.
Portkey biedt de diepste tracing met Config ID en Trace ID per poging; LiteLLM ondersteunt logginghooks en callbacks; OpenRouter’s Activiteitsgeschiedenis dekt gebruik maar minder end-to-end tracing; Cloudflare en CometAPI bieden aanvraaglogs en dashboards.
Kostenbeheersing
Kostenbeheersing betekent afdwingbare uitgaven-guardrails — budgetten, quota, rate limits, maximumprijregels of caps per tenant — die een faalloop stoppen voordat het een budgetincident wordt. Een gebruiksdashboard zonder limieten is rapportage, geen controle: een misconfigureerde retry zonder backoff kan één aanvraag vermenigvuldigen tot honderden factureerbare pogingen, en een stille fallback naar een 10x duurder model kan de maandelijkse rekening in een middag verdubbelen.
Portkey ondersteunt budgetten en beleids-guardrails; LiteLLM handhaaft limieten per sleutel en per model; OpenRouter biedt maximumprijregels; Cloudflare levert bestedingslimieten op edge-routes; CometAPI handhaaft quota per sleutel en outputlimieten.
Beste multi-LLM-gateways in 2026
CometAPI
Kies CometAPI wanneer integratiesimpliciteit het belangrijkst is. De OpenAI-compatibele route gebruikt https://api.cometapi.com/v1, en dezelfde client kan een ander catalogusmodel selecteren door de model-waarde te wijzigen. De publieke modeldirectory-API geeft teams ook een machineleesbare manier om model-ID’s, mogelijkheden, prijzen en endpoints te valideren vóór uitrol. De trade-off is dat retry- en fallbackbeleid jouw verantwoordelijkheid blijft.
Portkey
Kies Portkey wanneer beleid en observeerbaarheid samen beheerd moeten worden. De gedocumenteerde gateway ondersteunt conditionele routering, fallbacks, retries, circuit breakers, load balancing, budgetten en trace-level zichtbaarheid per poging. Dit vermindert op maat gemaakte control-plane code, al moet je nog steeds provider-specifiek gedrag testen.
OpenRouter
Kies OpenRouter wanneer provider-marktplaatsroutering de hoofdvereiste is. Providerordening, prijs- of latentievoorkeuren, parametercompatibiliteit en automatische providerfallback zijn first-class controls. De Activity-weergave is nuttig voor gebruiksgeschiedenis, maar teams die end-to-end applicatietraces nodig hebben, combineren het mogelijk met een andere observeerbaarheidslaag.
LiteLLM
Kies LiteLLM wanneer je de gateway zelf wilt beheren. De proxy en router bieden fallbacks, budgetten, bestedingstracking en logging-callbacks voor veel providers. Het voordeel is controle; de prijs is het beheren van de proxy, opslag, upgrades, secrets en beleidsconfiguratie.
Cloudflare AI Gateway
Cloudflare AI Gateway is vooral aantrekkelijk voor teams die al Cloudflare-infrastructuur gebruiken. Het huidige Dynamic Routing-systeem kan requests op basis van voorwaarden routeren, rate- of budgetlimieten afdwingen en mislukte of over-limiet aanvragen naar fallbackmodellen sturen. Teams moeten nog steeds het ondersteunde API- en authenticatiepad voor hun deployment verifiëren voordat ze erop standaardiseren.
Hoe multi-LLM-gateways in de praktijk vergelijken
Voor een breder platformoverzicht, zie CometAPI’s vergelijking van AI-gateways. Dit artikel blijft smaller: of elke optie kan schakelen, observeren, failoveren en kosten beheersen in één productie-workflow.
Hoe LLM-gateway-fallbacks te testen
Evalueer fallback niet door alleen een featurepagina te lezen. Voer één gescriptte test uit tegen elke gateway: een normale aanvraag, een bewust geratelimiteerde aanvraag, een time-out, een ongeldige API-sleutel en een ongeldige model-ID. Een veilige default is om te retrypen of te fallbacken bij verbindingsfouten, time-outs, HTTP 408, 429 en tijdelijke 5xx-responsen. Behandel 400, 401, 403 en een onbekende model-404 als harde fouten zodat slechte configuratie niet stil verborgen blijft.
De verwachte logvorm is {"request_id": "...", "model": "...", "status": 200, "latency_ms": <measured>, "usage": {...}}. Je test slaagt alleen als de gateway of applicatie mislukte pogingen ook onder dezelfde request-ID registreert. Een uiteindelijke 200-respons alleen kan niet bewijzen dat fallback correct functioneerde.
Hoe LLM-gatewaykosten te meten
Volg kosten per poging, niet alleen per uiteindelijke respons. Bereken voor elke route:
attempt cost = (input tokens × input price + output tokens × output price) / 1,000,000
Per 2 september 2026 vermeldde de publieke modeldirectory-API van CometAPI Gemini 3.7 Flash op $0.75 per miljoen inputtokens en $3.75 per miljoen outputtokens, en Claude Opus 5 op respectievelijk $5 en $25. Bij 1,000 succesvolle Gemini-aanvragen met gemiddeld 2,000 input- en 500 outputtokens is de gemodelleerde kost $3.375. Als 5% van die aanvragen ook op Claude Opus 5 draait als quality-first fallback met hetzelfde tokenvolume, voegt de fallback $1.125 toe, wat het gemodelleerde totaal op $4.50 brengt vóór eventuele factureerbare partiële primaire pogingen.
Daarom moet een gatewaydashboard primaire pogingen, fallbackpogingen, tokens, latency en kosten apart tonen. Reconcileer die records met CometAPI’s quotum- en daggebruikquery, niet alleen het aantal succesvolle responsen.
Welke multi-LLM-gateway moet je kiezen?
- Snelste route naar veel gehoste modellen: CometAPI, met applicatiegestuurde fallback.
- Meest complete managed routeringspolicy: Portkey.
- Provider-marktplaats en automatische providerselectie: OpenRouter.
- Zelfgehoste gateway met aanpasbaar beleid: LiteLLM.
- Edge-native logging, limieten en routering: Cloudflare AI Gateway.
De beslissing komt neer op één vraag: waar leeft het fallback- en retrybeleid? In CometAPI leeft het in je applicatiecode. In Portkey en OpenRouter leeft het in een gehoste configuratie. In LiteLLM leeft het in een zelfgehoste configuratie die jij beheert. In Cloudflare leeft het in een edge-route gekoppeld aan je Cloudflare-account.
Beslissingstabel:
| Jouw vereiste | Aanbevolen |
|---|---|
| Toegang tot veel modellen met één API | CometAPI |
| Managed routeringsbeleid | Portkey |
| Routering op providerniveau | OpenRouter |
| Zelfgehoste gateway | LiteLLM |
| Cloudflare-infrastructuur | Cloudflare AI Gateway |
| Applicatiegestuurde fallback | CometAPI |
| Gecentraliseerde fallback policies | Portkey / LiteLLM / Cloudflare |
Multi-LLM-gateway checklist voor productie
- Definieer welke statuscodes retry, fallback en harde failure triggeren.
- Beperk retries en voeg een circuit breaker toe zodat één providerstoring de uitgaven niet vermenigvuldigt.
- Verifieer tool-calls, gestructureerde output, streaming en veiligheidsgedrag op elk fallbackmodel.
- Koppel één request-ID aan alle pogingen en registreer model, provider, status, latency, tokens en kosten.
- Stel quota of budgetten per tenant in en alarmeer vóór de harde limiet.
- Valideer actuele model-ID’s tegen een live catalogus vóór uitrol.
- Beoordeel dataretentie, providerroutering en regionale vereisten vóór het inschakelen van logs.
Een fallbackroute die tekst retourneert kan de taak nog steeds stil falen als hij tool-calls afwijst, een ander JSON-schema retourneert, in een incompatibel formaat streamt of een ander contentbeleid toepast. Verifieer alle vier op elk fallbackmodel voordat je de route als veilig beschouwt.
Veelgestelde vragen
Welke multi-LLM-gateway ondersteunt modelwissel, gebruikstracking en fallbackroutering?
Alle vijf opties in de matrix ondersteunen die uitkomsten, maar niet op dezelfde manier. Portkey, LiteLLM, OpenRouter en Cloudflare bieden gateway-zijde routeringsfeatures. CometAPI levert modelwissel, gebruikszichtbaarheid en one-key-toegang terwijl het gedocumenteerde fallbackpatroon in applicatiecode draait.
Valt CometAPI automatisch terug op een ander model?
De huidige officiële gids documenteert een applicatiebeheerde reeks: roep een primair CometAPI-model aan, schakel bij een retrybare fout over naar een ander CometAPI-model, en roep desgewenst als laatste een officiële provider aan. Dezelfde CometAPI-API-sleutel en base-URL kunnen worden hergebruikt voor de interne modelwissel.
Kan ik modellen wisselen zonder mijn clientinfrastructuur te wijzigen?
Meestal wel, wanneer de gateway een OpenAI-compatibel contract blootstelt. Met CometAPI houd je de basis-URL op https://api.cometapi.com/v1 en wijzig je de model-waarde. Test modelspecifieke parameters voordat je volledige uitwisselbaarheid aanneemt.
Wanneer moet een aanvraag fallbacken in plaats van falen?
Fallback is doorgaans geschikt voor time-outs, verbindingsfouten, 408, 429 en tijdelijke 5xx-responsen. Authenticatiefouten, ongeldige aanvragen, niet-ondersteunde parameters en onbekende model-ID’s moeten normaal gesproken direct falen.
Hoe verifieer ik gebruikstracking?
Vergelijk tokengebruik in de API-respons, gateway-aanvraaglogs, daggebruik- of quotumrapporten en de eindfactuur. De records moeten overeenkomen qua model, aantal pogingen en tokenvolume.
Vermindert een gateway automatisch LLM-kosten?
Nee. Een gateway creëert de controls die nodig zijn om goedkoop te routeren, uitgaven te begrenzen en retries te observeren. Besparingen hangen af van je routeringsbeleid, modelmix, faalpercentage en of mislukte pogingen factureerbare tokens hebben verbruikt.
Bouw de gatewaytest rond bewijs
Een bruikbare evaluatie van een multi-LLM-gateway eindigt met artefacten: een gedateerde featurematrix, een herhaalbare faaltest, logs op pogingsniveau en een kostenreconciliatie. CometAPI is een praktische start wanneer je brede gehoste modeltoegang wilt via één OpenAI-compatibele base-URL. Teams die gateway-beheerd beleid of zelfgehoste controle nodig hebben, moeten Portkey en LiteLLM met dezelfde test vergelijken in plaats van op featurelabels te vertrouwen.
Voor de volgende implementatiestap, lees hoe je verzoeken over meerdere modellen routeert en de CometAPI failover- en fallbackgids.