AUTO API

Qu’est-ce que l’Auto API dans CometAPI ?

CometAPI Auto API est un point de terminaison de routage intelligent des modèles qui permet aux développeurs d’accéder à des modèles d’IA adaptés sans devoir spécifier un modèle fixe pour chaque requête. Au lieu de choisir un modèle individuel tel que GPT, Claude, Gemini ou un autre modèle pris en charge, les développeurs peuvent envoyer model=auto, et CometAPI détermine automatiquement un modèle approprié en fonction des caractéristiques et des exigences de la requête.

Pour les charges de travail où une qualité de réponse plus élevée est privilégiée, les développeurs peuvent utiliser auto-high. auto et auto-high sont tous deux des options de routage plutôt que des modèles d’IA fixes.

Cette approche permet aux applications d’utiliser une API cohérente tandis que CometAPI gère la sélection du modèle en arrière-plan.

Paramètres et spécifications de l’Auto API

Auto API utilise la même structure de requête API que le point de terminaison CometAPI correspondant. La principale différence réside dans la valeur du paramètre model.

Comment fonctionne l’Auto API ?

Lorsqu’une requête utilise model=auto ou model=auto-high, CometAPI examine d’abord les caractéristiques de la requête. Ces caractéristiques peuvent inclure le type de client, la présence d’images ou de fichiers, la longueur d’entrée estimée, l’utilisation d’outils, les exigences de sortie structurée, le streaming et les paramètres liés au raisonnement.

En fonction de ces caractéristiques, la requête est associée au scénario de routage approprié. CometAPI sélectionne ensuite un modèle éligible depuis le pool correspondant, selon le niveau de qualité configuré, la disponibilité des modèles, la priorité, la pondération, les autorisations du groupe d’utilisateurs, les capacités, la tarification et la disponibilité des canaux.

Après la sélection du modèle, la requête poursuit son traitement via le système de routage par canal normal de CometAPI. Le routage automatique détermine donc quel modèle doit traiter la requête, tandis que le routage par canal détermine quel canal fournisseur disponible doit traiter la requête pour ce modèle.

Le routage automatique ne crée pas automatiquement des canaux et ne contourne pas la configuration de canal existante. Un modèle doit disposer des informations de tarification et de routage canal nécessaires avant de pouvoir traiter les requêtes avec succès.

Le modèle renvoyé dans la réponse API peut donc être différent du modèle spécifié dans la requête. Par exemple, une requête avec model=auto peut retourner un nom de modèle réel dans le champ model. C’est un comportement attendu et cela indique quel modèle a finalement été sélectionné par le routeur.

Auto vs Auto-High : quelle est la différence ?

auto et auto-high utilisent le même concept de routage intelligent mais visent des niveaux de qualité différents.

Auto est l’option de routage polyvalente. Elle vise à offrir un équilibre pratique entre qualité de réponse, coût, vitesse et disponibilité. Elle convient comme choix par défaut pour la plupart des applications quotidiennes.

Auto-High est conçu pour les utilisateurs qui privilégient des modèles plus performants et une qualité de réponse supérieure. Il est plus adapté au raisonnement complexe, au développement avancé, à l’analyse détaillée et aux charges de travail sensibles à la qualité.

auto-high ne signifie pas que chaque requête est envoyée à un modèle premium spécifique. Comme auto, il sélectionne dynamiquement un modèle dans le pool de modèles de haute qualité configuré, en fonction des caractéristiques de la requête.

En termes simples, utilisez auto lorsque vous souhaitez un choix équilibré par défaut, et utilisez auto-high lorsque la qualité de réponse est la priorité.

Cas d’usage

Applications d’IA générales

Auto est un choix pratique pour les chatbots, la génération de contenu, le résumé, la classification, le support client et d’autres applications d’IA polyvalentes. Les développeurs n’ont pas besoin de maintenir une stratégie de sélection de modèle fixe pour chaque requête.

Codage et développement

Les applications de codage peuvent bénéficier du routage Auto, car les requêtes liées au développement peuvent être dirigées vers des modèles configurés pour les tâches d’ingénierie logicielle. C’est utile pour les assistants de codage, les intégrations IDE, la génération de code, le débogage, la revue de code et les agents de développement.

Analyse et raisonnement complexes

auto-high convient aux tâches où la qualité de la réponse est plus importante que la minimisation du coût du modèle. Exemples : analyse technique, raisonnement complexe, travaux de recherche, analyse détaillée de documents et workflows d’agents sophistiqués.

Applications multimodales

Lorsque cela est pris en charge par les règles de routage configurées et les modèles candidats, Auto peut acheminer les requêtes contenant des images ou des fichiers vers des modèles capables de traiter ces entrées.

Applications à grand volume

Auto peut également être utile pour les applications qui traitent un large éventail de requêtes. Au lieu d’implémenter et de maintenir une logique de sélection de modèle dans le code applicatif, les développeurs peuvent laisser CometAPI gérer la sélection des modèles de manière centralisée.

Quelles sont les limites de l’Auto API ?

Auto ne garantit pas que chaque requête sera traitée par le même modèle. Étant donné que la sélection du modèle est dynamique, le modèle sous-jacent peut changer à mesure que les conditions et les configurations de routage évoluent.

Auto ne garantit pas non plus le prix le plus bas possible. Il est conçu pour une sélection intelligente de modèles plutôt que pour choisir simplement le modèle le moins cher disponible.

Une autre limite est que les capacités spécifiques aux modèles peuvent varier. Différents modèles peuvent prendre en charge des longueurs de contexte, des outils, des entrées d’images, des sorties structurées ou d’autres fonctionnalités différentes. Par conséquent, Auto fonctionne mieux lorsque les modèles candidats configurés disposent d’informations de capacité exactes.

Enfin, la sélection d’un modèle ne garantit pas que la requête pourra être exécutée avec succès. Le modèle sélectionné doit toujours disposer d’un routage canal disponible pour le groupe d’utilisateurs concerné. Si aucun canal approprié n’est disponible, la requête peut échouer même si Auto a identifié un modèle avec succès.

Comment Auto gère-t-il différents types de requêtes ?

L’avantage clé d’Auto est que les développeurs n’ont pas besoin de maintenir manuellement une logique de sélection de modèle distincte pour chaque type de requête courant.

Une requête texte normale peut être traitée par le pool de modèles par défaut. Une requête de codage peut être dirigée vers un pool orienté développement. Une requête à grand contexte peut être associée à des modèles prenant en charge la taille d’entrée requise. Une requête image peut être acheminée vers un modèle doté de capacités de vision.

Cela permet au même point d’entrée API de prendre en charge différents scénarios applicatifs tout en simplifiant l’intégration côté client.

Quels sont les avantages de l’utilisation de CometAPI Auto API ?

L’avantage principal d’Auto est qu’il sépare la logique applicative de la logique de sélection de modèle.

Sans routage automatique, les développeurs doivent souvent décider quel modèle doit traiter chaque requête, puis maintenir des stratégies de repli lorsque les modèles deviennent indisponibles, coûteux ou inadaptés à une charge de travail particulière.

Avec Auto, les applications peuvent utiliser un identifiant de routage stable tandis que la stratégie de modèle sous-jacente est gérée de manière centralisée.

Cette approche peut simplifier les applications multi-modèles, faciliter le déploiement des changements de modèles et réduire la quantité de logique de routage spécifique aux modèles à maintenir dans l’application.

Pour les équipes travaillant avec plusieurs fournisseurs d’IA et des capacités de modèles en évolution rapide, cette abstraction peut être particulièrement précieuse.

Auto API vs modèle spécifique

Comment utiliser CometAPI Auto API

CometAPI Auto API est conçue pour fonctionner avec une API Chat Completions compatible OpenAI. Vous n’avez pas besoin de choisir un modèle sous-jacent spécifique. Il suffit de définir le paramètre model sur auto ou auto-high, et CometAPI sélectionnera automatiquement un modèle approprié en fonction de la requête.

Étape 1 : Obtenir l’accès à l’API

Connectez-vous à cometAPI. Si vous n’êtes pas encore utilisateur, veuillez d’abord vous inscrire. Connectez-vous à votre CometAPI console. Obtenez la clé d’API d’accès de l’interface. Cliquez sur “Add Token” dans la section API token du centre personnel, récupérez la clé de jeton : sk-xxxxx et validez.

Étape 2 : Envoyer des requêtes à l’Auto API

Sélectionnez le point de terminaison “auto" ou "auto-high” pour envoyer la requête API et définissez le corps de requête. La méthode et le corps de requête sont disponibles dans la documentation API de notre site web. Notre site propose également des tests Apifox pour votre commodité. Remplacez <YOUR_API_KEY> par votre clé CometAPI réelle issue de votre compte.

La différence est simple :

• auto — choix équilibré pour les charges générales.
• auto-high — privilégie la sélection de modèles de plus haute qualité.

Aucun des deux ne représente un modèle sous-jacent fixe.

Étape 3 : Comment CometAPI Auto sélectionne-t-il un modèle ?

Lorsque vous envoyez une requête avec model=auto ou model=auto-high, CometAPI identifie d’abord les caractéristiques de la requête et détermine le scénario de routage le plus approprié. Le système peut prendre en compte des facteurs tels que le type de client, la présence d’images ou de fichiers, la longueur de contexte d’entrée estimée, l’utilisation d’outils, les exigences de sortie structurée, le streaming et d’autres capacités prises en charge.

Après avoir identifié la voie de routage appropriée, CometAPI sélectionne des modèles candidats depuis le pool auto ou auto-high correspondant. Les modèles désactivés, indisponibles pour le groupe d’utilisateurs, incompatibles avec la requête ou incapables de prendre en charge le contexte ou les capacités requis sont exclus. Les candidats restants sont ensuite évalués selon la priorité de routage, la pondération et la disponibilité configurées.

Le modèle sélectionné est ensuite transmis au système de routage par canal existant de CometAPI, qui trouve un canal disponible pour ce modèle et ce groupe d’utilisateurs. Par conséquent, le modèle final n’est pas nécessairement fixé à l’avance et peut varier selon la requête et la configuration de routage en vigueur.