Wat is Auto API in CometAPI?
CometAPI Auto API is een intelligent modelrouterings-endpoint waarmee ontwikkelaars geschikte AI-modellen kunnen gebruiken zonder voor elke aanvraag een vaste modelnaam op te geven. In plaats van een individueel model te kiezen zoals GPT, Claude, Gemini of een ander ondersteund model, kunnen ontwikkelaars model=auto sturen, en CometAPI bepaalt automatisch een passend model op basis van de kenmerken en vereisten van de aanvraag.
Voor werklasten waarbij hogere antwoorkwaliteit de voorkeur heeft, kunnen ontwikkelaars auto-high gebruiken. Zowel auto als auto-high zijn routeringsopties in plaats van vaste AI-modellen.
Deze aanpak stelt toepassingen in staat een consistente API te gebruiken terwijl CometAPI achter de schermen de modelselectie afhandelt.
Auto API-parameters en specificaties
Auto API gebruikt dezelfde API-aanvraagstructuur die door het overeenkomstige CometAPI-endpoint wordt ondersteund. Het belangrijkste verschil is de waarde van de parameter model.
| Parameter | Type | Beschrijving |
|---|---|---|
| model | string | Instellen op auto of auto-high |
| messages | array | Gespreksberichten |
| stream | boolean | Schakelt streaming in wanneer ondersteund |
| tools | array | Tooldefinities |
| response_format | object | Configuratie voor gestructureerde output |
| Image input | object/array | Afbeeldingsinhoud wanneer ondersteund |
| File input | object/array | Bestandsinhoud wanneer ondersteund |
| Reasoning parameters | object/string | Door het geselecteerde model ondersteunde instellingen voor redeneren |
Hoe werkt Auto API?
Wanneer een aanvraag model=auto of model=auto-high gebruikt, bekijkt CometAPI eerst de kenmerken van de aanvraag. Deze kenmerken kunnen het type client omvatten, of de aanvraag afbeeldingen of bestanden bevat, de geschatte invoerlengte, het gebruik van tools, vereisten voor gestructureerde output, streaming en parameters met betrekking tot redeneren.
Op basis van deze kenmerken wordt de aanvraag gekoppeld aan het juiste routeringsscenario. CometAPI selecteert vervolgens een in aanmerking komend model uit de overeenkomstige modelpool volgens het geconfigureerde kwaliteitsniveau, modelbeschikbaarheid, prioriteit, gewicht, machtigingen van de gebruikersgroep, mogelijkheden, prijsstelling en kanaalbeschikbaarheid.
Nadat een model is geselecteerd, gaat de aanvraag verder via CometAPI’s normale kanaalrouteringssysteem. Automatische routering bepaalt dus welk model de aanvraag moet afhandelen, terwijl kanaalroutering bepaalt welk beschikbaar providerkanaal die modelaanvraag moet verwerken.
Automatische routering maakt niet automatisch kanalen aan en omzeilt geen bestaande kanaalconfiguratie. Een model moet de vereiste prijs- en kanaalrouteconfiguratie hebben voordat het aanvragen succesvol kan verwerken.
Het model dat wordt geretourneerd in de API-respons kan daarom afwijken van het model dat in de aanvraag is opgegeven. Een aanvraag met model=auto kan bijvoorbeeld een daadwerkelijke modelnaam teruggeven in het veld model. Dit is verwacht gedrag en geeft aan welk model uiteindelijk door de router is geselecteerd.
Auto vs Auto-High: Wat is het verschil?
auto en auto-high gebruiken hetzelfde concept van intelligente routering, maar richten zich op verschillende kwaliteitsniveaus.
Auto is de algemeen toepasbare routeringsoptie. Het is bedoeld om een praktische balans te bieden tussen antwoorkwaliteit, kosten, snelheid en beschikbaarheid. Het is geschikt als standaardkeuze voor de meeste alledaagse toepassingen.
Auto-High is ontworpen voor gebruikers die sterkere modellen en hogere antwoorkwaliteit prefereren. Het is geschikter voor complexe redeneringen, geavanceerd programmeren, gedetailleerde analyses en andere kwaliteitssensitieve werklasten.
auto-high betekent niet dat elke aanvraag naar één specifiek premium model wordt gestuurd. Net als auto selecteert het dynamisch een model uit de geconfigureerde hoogkwalitatieve modelpool op basis van de kenmerken van de aanvraag.
| Feature | auto | auto-high |
|---|---|---|
| Purpose | Automatische routering voor algemeen gebruik | Automatische routering met hogere kwaliteit |
| Model selection | Automatisch | Automatisch |
| Fixed model | Nee | Nee |
| Primary focus | Balans tussen kosten, snelheid, beschikbaarheid en mogelijkheden | Selectie van modellen met hogere kwaliteit |
| Best for | Algemene productie-workloads | Complexe of kwaliteitssensitieve workloads |
| Model can vary | Ja | Ja |
Eenvoudig gezegd: gebruik auto wanneer u een gebalanceerde standaard wilt, en gebruik auto-high wanneer antwoorkwaliteit hogere prioriteit heeft.
Gebruiksscenario's
Algemene AI-toepassingen
Auto is een handige keuze voor chatbots, contentgeneratie, samenvattingen, classificatie, klantenondersteuning en andere AI-toepassingen voor algemeen gebruik. Ontwikkelaars hoeven geen vaste modelselectiestrategie voor elke aanvraag te onderhouden.
Programmeren en ontwikkeling
Programmeertoepassingen profiteren van Auto-routering omdat verzoeken die met programmeren te maken hebben, kunnen worden doorgestuurd naar modellen die zijn geconfigureerd voor software-engineeringtaken. Dit is nuttig voor code-assistenten, IDE-integraties, codegeneratie, debuggen, code review en ontwikkelagents.
Complexe analyse en redeneren
auto-high is geschikt voor taken waarbij antwoorkwaliteit belangrijker is dan het minimaliseren van de modelkosten. Voorbeelden zijn technische analyses, complexe redeneringen, onderzoekstaken, gedetailleerde documentanalyse en geavanceerde agent-workflows.
Multimodale toepassingen
Wanneer ondersteund door de geconfigureerde routeringsregels en kandidaatmodellen, kan Auto verzoeken met afbeeldingen of bestanden routeren naar modellen die deze input kunnen verwerken.
Toepassingen met hoog volume
Auto kan ook nuttig zijn voor toepassingen die een grote verscheidenheid aan aanvragen verwerken. In plaats van selectielogica voor modellen in de applicatiecode te implementeren en te onderhouden, kunnen ontwikkelaars CometAPI centraal de modelselectie laten beheren.
Wat zijn de beperkingen van Auto API?
Auto garandeert niet dat elke aanvraag door hetzelfde model wordt afgehandeld. Omdat de modelselectie dynamisch is, kan het onderliggende model veranderen naarmate routeringscondities en configuraties veranderen.
Auto garandeert ook niet de laagst mogelijke prijs. Het is ontworpen voor intelligente modelselectie en niet uitsluitend om het goedkoopste beschikbare model te kiezen.
Een andere beperking is dat modelspecifieke mogelijkheden kunnen variëren. Verschillende modellen ondersteunen mogelijk verschillende contextlengtes, tools, afbeeldingsinvoer, gestructureerde output of andere functies. Daarom werkt Auto het best wanneer de geconfigureerde kandidaatmodellen over accurate informatie over hun mogelijkheden beschikken.
Tot slot garandeert het selecteren van een model niet dat de aanvraag succesvol kan worden voltooid. Het geselecteerde model moet nog steeds een beschikbaar kanaal hebben voor de relevante gebruikersgroep. Als er geen geschikt kanaal beschikbaar is, kan de aanvraag mislukken, ook al heeft Auto succesvol een model geïdentificeerd.
Hoe gaat Auto om met verschillende soorten verzoeken?
Het belangrijkste voordeel van Auto is dat ontwikkelaars niet handmatig aparte modelselectielogica hoeven te onderhouden voor elk veelvoorkomend verzoektype.
Een normale tekstaanvraag kan worden afgehandeld door de standaardmodelpool. Een programmeeraanvraag kan worden doorgestuurd naar een op programmeren gerichte modelpool. Een aanvraag met grote context kan worden gekoppeld aan modellen die de vereiste invoergrootte ondersteunen. Een afbeeldingsaanvraag kan worden gerouteerd naar een model met visuele mogelijkheden.
Dit stelt hetzelfde API-toegangspunt in staat om verschillende toepassingsscenario’s te ondersteunen, terwijl de integratie aan de clientzijde eenvoudig blijft.
Wat zijn de voordelen van het gebruik van CometAPI Auto API?
Het primaire voordeel van Auto is dat het de scheiding afdwingt tussen toepassingslogica en modelselectielogica.
Zonder automatische routering moeten ontwikkelaars vaak beslissen welk model elke aanvraag moet afhandelen en vervolgens fallbackstrategieën onderhouden wanneer modellen onbeschikbaar, duur of ongeschikt worden voor een bepaalde werklast.
Met Auto kunnen toepassingen een stabiele routeringsidentifier gebruiken, terwijl de onderliggende modelstrategie centraal wordt beheerd.
Deze aanpak kan multimodel-toepassingen vereenvoudigen, modelwijzigingen gemakkelijker uitrollen en de hoeveelheid modelspecifieke routeringslogica verminderen die binnen de toepassing moet worden onderhouden.
Voor teams die met meerdere AI-providers en snel veranderende modelmogelijkheden werken, kan deze abstractie bijzonder waardevol zijn.
Auto API vs specifiek model
| Feature | Auto | Specifiek model |
|---|---|---|
| Automatische modelselectie | Ja | Nee |
| Vaste modelidentiteit | Nee | Ja |
| Eenvoud van toepassing | Hoog | Gemiddeld |
| Modelcontrole | Lager | Hoog |
| Flexibiliteit | Hoog | Lager |
| Voorspelbaarheid | Lager | Hoog |
| Geschikt voor gemengde workloads | Ja | Afhankelijk van het model |
| Geschikt voor reproduceerbare tests | Beperkt | Ja |
| Het beste voor | Dynamische productie-workloads | Modelspecificieke toepassingen |
Hoe gebruikt u CometAPI Auto API
CometAPI Auto API is ontworpen om te werken met een OpenAI-compatibele Chat Completions API. U hoeft geen specifiek onderliggend model te kiezen. Stel de parameter model eenvoudig in op auto of auto-high, en CometAPI selecteert automatisch een passend model op basis van de aanvraag.
Stap 1: Verkrijg API-toegang
Log in bij cometAPI. Als u nog geen gebruiker bent, registreer u dan eerst. Meld u aan bij uw CometAPI-console. Haal de API-sleutel voor toegangsbewijzen van de interface op. Klik op “Add Token” bij de API-token in het persoonlijke centrum, verkrijg de tokensleutel: sk-xxxxx en dien in.
Stap 2: Verzend verzoeken naar Auto API
Selecteer het “auto" of "auto-high”-endpoint om de API-aanvraag te verzenden en stel de request body in. De aanvraagmethode en request body zijn te vinden in de API-documentatie op onze website. Onze website biedt ook Apifox-tests voor uw gemak. Vervang <YOUR_API_KEY> door uw daadwerkelijke CometAPI-sleutel uit uw account.
Het verschil is eenvoudig:
auto— gebalanceerde keuze voor algemene workloads.auto-high— geeft prioriteit aan modelselectie met hogere kwaliteit.
Geen van beide staat voor een vast onderliggend model.
Stap 3: Hoe selecteert CometAPI Auto een model?
Wanneer u een aanvraag verstuurt met model=auto of model=auto-high, identificeert CometAPI eerst de kenmerken van de aanvraag en bepaalt welk routeringsscenario daar het best bij past. Het systeem kan factoren in overweging nemen zoals het clienttype, of de aanvraag afbeeldingen of bestanden bevat, de geschatte invoercontextlengte, het gebruik van tools, vereisten voor gestructureerde output, streaming en andere ondersteunde mogelijkheden.
Na het identificeren van de juiste routeringsbaan selecteert CometAPI kandidaatmodellen uit de overeenkomstige auto- of auto-high-modelpool. Modellen die zijn uitgeschakeld, niet beschikbaar zijn voor de gebruikersgroep, onverenigbaar zijn met de aanvraag of de vereiste context of mogelijkheden niet ondersteunen, worden uitgesloten. De overgebleven kandidaten worden vervolgens geëvalueerd op basis van de geconfigureerde routeringsprioriteit, het gewicht en de beschikbaarheid.
Het geselecteerde model wordt vervolgens doorgegeven aan CometAPI’s bestaande kanaalrouteringssysteem, dat een beschikbaar kanaal zoekt voor dat model en die gebruikersgroep. Daardoor staat het uiteindelijke model niet noodzakelijkerwijs vooraf vast en kan het variëren afhankelijk van de aanvraag en de huidige routeringsconfiguratie.