Was ist die Auto-API in CometAPI?
Die CometAPI Auto-API ist ein intelligenter Endpunkt für Modell-Routing, der Entwicklern ermöglicht, geeignete KI-Modelle zu nutzen, ohne für jede Anfrage einen festen Modellnamen anzugeben. Statt ein einzelnes Modell wie GPT, Claude, Gemini oder ein anderes unterstütztes Modell auszuwählen, können Entwickler model=auto senden, und CometAPI bestimmt automatisch ein passendes Modell basierend auf den Eigenschaften und Anforderungen der Anfrage.
Für Workloads, bei denen eine höhere Antwortqualität bevorzugt wird, können Entwickler auto-high verwenden. Sowohl auto als auch auto-high sind Routing-Optionen und keine festen KI-Modelle.
Dieser Ansatz ermöglicht es Anwendungen, eine konsistente API zu verwenden, während CometAPI die Modellauswahl im Hintergrund übernimmt.
Parameter und Spezifikationen der Auto-API
Die Auto-API verwendet dieselbe API-Anfragestruktur wie der entsprechende CometAPI-Endpunkt. Der Hauptunterschied ist der Wert des Parameters model.
| Parameter | Typ | Beschreibung |
|---|---|---|
| model | Zeichenkette | Auf auto oder auto-high setzen |
| messages | Array | Konversationsnachrichten |
| stream | Boolesch | Aktiviert Streaming, sofern unterstützt |
| tools | Array | Tool-Definitionen |
| response_format | Objekt | Konfiguration für strukturierte Ausgaben |
| Image input | Objekt/Array | Bildinhalt, sofern unterstützt |
| File input | Objekt/Array | Dateiinhalt, sofern unterstützt |
| Reasoning parameters | Objekt/Zeichenkette | Reasoning-bezogene Einstellungen, die vom ausgewählten Modell unterstützt werden |
Wie funktioniert die Auto-API?
Wenn eine Anfrage model=auto oder model=auto-high verwendet, prüft CometAPI zunächst die Eigenschaften der Anfrage. Diese Eigenschaften können den Client-Typ, das Vorhandensein von Bildern oder Dateien, die geschätzte Eingabelänge, die Tool-Nutzung, Anforderungen an strukturierte Ausgaben, Streaming und Reasoning-bezogene Parameter umfassen.
Basierend auf diesen Eigenschaften wird die Anfrage dem passenden Routing-Szenario zugeordnet. CometAPI wählt dann ein geeignetes Modell aus dem entsprechenden Modell-Pool gemäß der konfigurierten Qualitätsstufe, Modellverfügbarkeit, Priorität, Gewichtung, Berechtigungen der Benutzergruppe, Fähigkeiten, Preisgestaltung und Kanalverfügbarkeit aus.
Nachdem ein Modell ausgewählt wurde, durchläuft die Anfrage das normale Kanal-Routing-System von CometAPI. Auto-Routing bestimmt also, welches Modell die Anfrage bearbeiten soll, während Kanal-Routing bestimmt, welcher verfügbare Anbieterkanal diese Modellanfrage verarbeiten soll.
Auto-Routing erstellt nicht automatisch Kanäle und umgeht keine bestehende Kanalkonfiguration. Ein Modell muss über die erforderliche Preis- und Kanalroutenkonfiguration verfügen, bevor es Anfragen erfolgreich verarbeiten kann.
Das im API-Response zurückgegebene Modell kann daher vom im Request angegebenen Modell abweichen. So kann eine Anfrage mit model=auto im Feld model einen tatsächlichen Modellnamen zurückgeben. Dies ist erwartetes Verhalten und zeigt an, welches Modell letztlich vom Router ausgewählt wurde.
Auto vs. Auto-High: Was ist der Unterschied?
auto und auto-high verwenden dasselbe intelligente Routing-Konzept, zielen jedoch auf unterschiedliche Qualitätsniveaus ab.
Auto ist die allgemeine Routing-Option. Sie bietet einen praktischen Ausgleich zwischen Antwortqualität, Kosten, Geschwindigkeit und Verfügbarkeit. Sie eignet sich als Standardwahl für die meisten alltäglichen Anwendungen.
Auto-High ist für Nutzer gedacht, die stärkere Modelle und eine höhere Antwortqualität bevorzugen. Es eignet sich besser für komplexes Reasoning, fortgeschrittenes Programmieren, detaillierte Analysen und andere qualitätssensitive Workloads.
auto-high bedeutet nicht, dass jede Anfrage an ein bestimmtes Premium-Modell gesendet wird. Wie auto wählt es dynamisch ein Modell aus dem konfigurierten Pool hochwertiger Modelle basierend auf den Eigenschaften der Anfrage.
| Merkmal | auto | auto-high |
|---|---|---|
| Zweck | Allgemeines automatisches Routing | Automatisches Routing mit höherer Qualität |
| Modellauswahl | Automatisch | Automatisch |
| Festes Modell | Nein | Nein |
| Primärer Fokus | Balance aus Kosten, Geschwindigkeit, Verfügbarkeit und Fähigkeiten | Höherwertige Modellauswahl |
| Am besten für | Allgemeine Produktions-Workloads | Komplexe oder qualitätssensitive Workloads |
| Modell kann variieren | Ja | Ja |
Kurz gesagt: Verwenden Sie auto, wenn Sie eine ausgewogene Standardauswahl wünschen, und verwenden Sie auto-high, wenn die Antwortqualität höhere Priorität hat.
Anwendungsfälle
Allgemeine KI‑Anwendungen
Auto ist eine praktische Wahl für Chatbots, Inhaltserstellung, Zusammenfassungen, Klassifizierung, Kundensupport und andere allgemeine KI-Anwendungen. Entwickler müssen keine feste Modellauswahlstrategie für jede Anfrage pflegen.
Programmierung und Entwicklung
Programmieranwendungen profitieren vom Auto-Routing, da programmierbezogene Anfragen auf Modelle ausgerichtet werden können, die für Software-Engineering-Aufgaben konfiguriert sind. Dies ist nützlich für Coding-Assistenten, IDE-Integrationen, Code-Generierung, Debugging, Code-Review und Entwicklungsagenten.
Komplexe Analysen und Reasoning
auto-high eignet sich für Aufgaben, bei denen die Antwortqualität wichtiger ist als die Minimierung der Modellkosten. Beispiele sind technische Analysen, komplexes Reasoning, Rechercheaufgaben, detaillierte Dokumentanalysen und anspruchsvolle Agent-Workflows.
Multimodale Anwendungen
Wenn dies durch die konfigurierten Routing-Regeln und Kandidatenmodelle unterstützt wird, kann Auto Anfragen mit Bildern oder Dateien an Modelle routen, die diese Eingaben verarbeiten können.
Anwendungen mit hohem Volumen
Auto ist auch nützlich für Anwendungen, die eine große Vielfalt an Anfragen verarbeiten. Anstatt Modellauswahl-Logik im Anwendungscode zu implementieren und zu pflegen, können Entwickler die Modellauswahl zentral von CometAPI verwalten lassen.
Welche Einschränkungen hat die Auto-API?
Auto garantiert nicht, dass jede Anfrage vom selben Modell bearbeitet wird. Da die Modellauswahl dynamisch ist, kann sich das zugrunde liegende Modell ändern, wenn sich Routing-Bedingungen und Konfigurationen ändern.
Auto garantiert auch nicht den niedrigstmöglichen Preis. Es ist auf intelligente Modellauswahl ausgelegt und wählt nicht einfach das günstigste verfügbare Modell.
Eine weitere Einschränkung ist, dass modellspezifische Fähigkeiten variieren können. Unterschiedliche Modelle unterstützen möglicherweise unterschiedliche Kontextlängen, Tools, Bildeingaben, strukturierte Ausgaben oder andere Funktionen. Daher funktioniert Auto am besten, wenn die konfigurierten Kandidatenmodelle verlässliche Angaben zu ihren Fähigkeiten haben.
Schließlich garantiert die Auswahl eines Modells nicht, dass die Anfrage erfolgreich abgeschlossen werden kann. Das ausgewählte Modell muss weiterhin über eine verfügbare Kanalroute für die relevante Benutzergruppe verfügen. Wenn kein geeigneter Kanal verfügbar ist, kann die Anfrage fehlschlagen, auch wenn Auto ein Modell erfolgreich identifiziert hat.
Wie behandelt Auto unterschiedliche Anfragetypen?
Der entscheidende Vorteil von Auto ist, dass Entwickler nicht für jeden gängigen Anfrage-Typ separate Modellauswahl-Logik manuell pflegen müssen.
Eine normale Textanfrage kann vom Standard-Modell-Pool verarbeitet werden. Eine Programmieranfrage kann an einen auf Programmierung ausgerichteten Modell-Pool geleitet werden. Eine Anfrage mit großem Kontext kann Modellen zugeordnet werden, die die erforderliche Eingabegröße unterstützen. Eine Bildanfrage kann an ein Modell mit Vision-Fähigkeiten geroutet werden.
So kann derselbe API-Einstiegspunkt unterschiedliche Anwendungsszenarien unterstützen, während die Client-seitige Integration einfach bleibt.
Welche Vorteile bietet die CometAPI Auto-API?
Der Hauptvorteil von Auto besteht darin, dass sie die Anwendungslogik von der Modellauswahl-Logik trennt.
Ohne automatisches Routing müssen Entwickler oft entscheiden, welches Modell jede Anfrage bearbeiten soll, und anschließend Fallback-Strategien pflegen, wenn Modelle nicht verfügbar, teuer oder für einen bestimmten Workload ungeeignet sind.
Mit Auto können Anwendungen eine stabile Routing-Kennung verwenden, während die zugrunde liegende Modellstrategie zentral verwaltet wird.
Dieser Ansatz kann Multi-Modell-Anwendungen vereinfachen, Modelländerungen leichter ausrollbar machen und die Menge an modellspezifischer Routing-Logik reduzieren, die innerhalb der Anwendung gepflegt werden muss.
Für Teams, die mit mehreren KI-Anbietern und sich schnell ändernden Modellfähigkeiten arbeiten, kann diese Abstraktion besonders wertvoll sein.
Auto-API vs. Spezifisches Modell
| Merkmal | Auto | Spezifisches Modell |
|---|---|---|
| Automatische Modellauswahl | Ja | Nein |
| Feste Modellidentität | Nein | Ja |
| Einfachheit der Anwendung | Hoch | Mittel |
| Modellkontrolle | Geringer | Hoch |
| Flexibilität | Hoch | Niedriger |
| Vorhersagbarkeit | Geringer | Hoch |
| Geeignet für gemischte Workloads | Ja | Abhängig vom Modell |
| Geeignet für reproduzierbare Tests | Begrenzt | Ja |
| Am besten geeignet für | Dynamische Produktions-Workloads | Modellspezifische Anwendungen |
So verwenden Sie die CometAPI Auto-API
Die CometAPI Auto-API ist für die Arbeit mit einer OpenAI-kompatiblen Chat Completions API konzipiert. Sie müssen kein spezifisches zugrunde liegendes Modell auswählen. Setzen Sie einfach den Parameter model auf auto oder auto-high, und CometAPI wählt basierend auf der Anfrage automatisch ein geeignetes Modell aus.
Schritt 1: API-Zugang erhalten
Melden Sie sich bei CometAPI an. Wenn Sie noch kein Nutzer sind, registrieren Sie sich zuerst. Melden Sie sich in Ihrer CometAPI-Konsole an. Rufen Sie den Zugriffsberechtigungs-API-Schlüssel der Schnittstelle ab. Klicken Sie im persönlichen Bereich beim API-Token auf “Add Token”, erhalten Sie den Token-Schlüssel: sk-xxxxx und senden Sie ab.
Schritt 2: Anfragen an die Auto-API senden
Wählen Sie den “auto"‑ oder "auto-high”‑Endpunkt, um die API-Anfrage zu senden, und setzen Sie den Request-Body. Die Request-Methode und der Request-Body sind in der API-Dokumentation auf unserer Website beschrieben. Unsere Website bietet außerdem Apifox-Tests zur einfachen Erprobung. Ersetzen Sie <YOUR_API_KEY> durch Ihren tatsächlichen CometAPI-Schlüssel aus Ihrem Konto.
Der Unterschied ist einfach:
auto— ausgewogene Wahl für allgemeine Workloads.auto-high— priorisiert die Auswahl höherwertiger Modelle.
Keines von beiden steht für ein festes zugrunde liegendes Modell.
Schritt 3: Wie wählt CometAPI Auto ein Modell aus?
Wenn Sie eine Anfrage mit model=auto oder model=auto-high senden, identifiziert CometAPI zunächst die Eigenschaften der Anfrage und bestimmt, welches Routing-Szenario am besten passt. Das System kann Faktoren wie den Client-Typ, das Vorhandensein von Bildern oder Dateien, die geschätzte Eingabekontextlänge, die Tool-Nutzung, Anforderungen an strukturierte Ausgaben, Streaming und andere unterstützte Fähigkeiten berücksichtigen.
Nach der Identifizierung der passenden Routing-Spur wählt CometAPI Kandidatenmodelle aus dem jeweiligen auto- oder auto-high-Modell-Pool aus. Modelle, die deaktiviert sind, der Benutzergruppe nicht zur Verfügung stehen, mit der Anfrage inkompatibel sind oder den erforderlichen Kontext bzw. die benötigten Fähigkeiten nicht unterstützen, werden ausgeschlossen. Die verbleibenden Kandidaten werden anschließend gemäß der konfigurierten Routing-Priorität, Gewichtung und Verfügbarkeit bewertet.
Das ausgewählte Modell wird dann an das bestehende Kanal-Routing-System von CometAPI übergeben, das einen verfügbaren Kanal für dieses Modell und die Benutzergruppe findet. Dadurch ist das endgültige Modell nicht zwingend im Voraus festgelegt und kann je nach Anfrage und aktueller Routing-Konfiguration variieren.