AUTO API

O que é a Auto API da CometAPI?

A Auto API da CometAPI é um endpoint inteligente de roteamento de modelos que permite aos desenvolvedores acessar modelos de IA adequados sem especificar um nome de modelo fixo em cada solicitação. Em vez de escolher um modelo individual como GPT, Claude, Gemini ou outro modelo compatível, os desenvolvedores podem enviar model=auto, e a CometAPI determina automaticamente um modelo apropriado com base nas características e nos requisitos da solicitação.

Para cargas de trabalho nas quais se prefere maior qualidade de resposta, os desenvolvedores podem usar auto-high. Tanto auto quanto auto-high são opções de roteamento, e não modelos de IA fixos.

Essa abordagem permite que os aplicativos usem uma API consistente enquanto a CometAPI cuida da seleção do modelo nos bastidores.

Parâmetros e especificações da Auto API

A Auto API usa a mesma estrutura de solicitação de API suportada pelo endpoint correspondente da CometAPI. A principal diferença é o valor do parâmetro model.

Como a Auto API funciona?

Quando uma solicitação usa model=auto ou model=auto-high, a CometAPI primeiro examina as características da solicitação. Essas características podem incluir o tipo de cliente, se a solicitação contém imagens ou arquivos, o comprimento estimado de entrada, uso de ferramentas, requisitos de saída estruturada, streaming e parâmetros relacionados a raciocínio.

Com base nessas características, a solicitação é associada ao cenário de roteamento apropriado. Em seguida, a CometAPI seleciona um modelo elegível do pool de modelos correspondente de acordo com o nível de qualidade configurado, disponibilidade do modelo, prioridade, peso, permissões do grupo de usuários, capacidades, preços e disponibilidade de canais.

Depois que um modelo for selecionado, a solicitação segue pelo sistema normal de roteamento de canais da CometAPI. Portanto, o roteamento Auto determina qual modelo deve lidar com a solicitação, enquanto o roteamento de canais determina qual canal de provedor disponível deve processar a solicitação desse modelo.

O roteamento Auto não cria canais automaticamente nem ignora a configuração de canais existente. Um modelo deve ter as configurações necessárias de preços e de rota de canal para conseguir processar solicitações com sucesso.

Portanto, o modelo retornado na resposta da API pode ser diferente do modelo especificado na solicitação. Por exemplo, uma solicitação usando model=auto pode retornar um nome de modelo real no campo model. Esse comportamento é esperado e indica qual modelo foi selecionado pelo roteador.

Auto vs Auto-High: qual é a diferença?

auto e auto-high usam o mesmo conceito de roteamento inteligente, mas visam níveis de qualidade diferentes.

Auto é a opção de roteamento de uso geral. Busca oferecer um equilíbrio prático entre qualidade da resposta, custo, velocidade e disponibilidade. É adequado como escolha padrão para a maioria dos aplicativos do dia a dia.

Auto-High foi projetado para usuários que preferem modelos mais robustos e maior qualidade de resposta. É mais adequado para raciocínio complexo, programação avançada, análise detalhada e outras cargas de trabalho sensíveis à qualidade.

auto-high não significa que cada solicitação será enviada para um único modelo premium específico. Assim como auto, ele seleciona dinamicamente um modelo do pool de modelos de alta qualidade configurado, de acordo com as características da solicitação.

Em termos simples, use auto quando quiser um padrão equilibrado e use auto-high quando a qualidade da resposta for a prioridade mais alta.

Casos de uso

Aplicações gerais de IA

Auto é uma escolha conveniente para chatbots, geração de conteúdo, sumarização, classificação, suporte ao cliente e outras aplicações de IA de uso geral. Os desenvolvedores não precisam manter uma estratégia fixa de seleção de modelo para cada solicitação.

Programação e desenvolvimento

Aplicações de programação podem se beneficiar do roteamento Auto porque solicitações relacionadas a código podem ser direcionadas a modelos configurados para tarefas de engenharia de software. Isso é útil para assistentes de código, integrações com IDE, geração de código, depuração, revisão de código e agentes de desenvolvimento.

Análise e raciocínio complexos

auto-high é adequado para tarefas em que a qualidade da resposta é mais importante do que minimizar o custo do modelo. Exemplos incluem análise técnica, raciocínio complexo, tarefas de pesquisa, análise detalhada de documentos e fluxos de trabalho de agentes sofisticados.

Aplicações multimodais

Quando suportado pelas regras de roteamento configuradas e pelos modelos candidatos, Auto pode rotear solicitações que contêm imagens ou arquivos para modelos capazes de processar essas entradas.

Aplicações de alto volume

Auto também pode ser útil para aplicativos que processam uma grande variedade de solicitações. Em vez de implementar e manter lógica de seleção de modelo no código do aplicativo, os desenvolvedores podem permitir que a CometAPI gerencie a seleção de modelos de forma centralizada.

Quais são as limitações da Auto API?

Auto não garante que toda solicitação será tratada pelo mesmo modelo. Como a seleção de modelo é dinâmica, o modelo subjacente pode mudar à medida que as condições e configurações de roteamento mudam.

Auto também não garante o menor preço possível. Ele é projetado para seleção inteligente de modelos, e não simplesmente para escolher o modelo mais barato disponível.

Outra limitação é que os recursos específicos de cada modelo podem variar. Diferentes modelos podem oferecer diferentes comprimentos de contexto, ferramentas, entradas de imagem, saídas estruturadas ou outros recursos. Portanto, Auto funciona melhor quando os modelos candidatos configurados possuem informações precisas de capacidades.

Por fim, selecionar um modelo não garante que a solicitação possa ser concluída com sucesso. O modelo selecionado ainda deve ter uma rota de canal disponível para o grupo de usuários relevante. Se nenhum canal adequado estiver disponível, a solicitação poderá falhar mesmo que o Auto tenha identificado um modelo com sucesso.

Como o Auto lida com diferentes tipos de solicitações?

O principal benefício do Auto é que os desenvolvedores não precisam manter manualmente lógicas separadas de seleção de modelo para cada tipo comum de solicitação.

Uma solicitação de texto normal pode ser tratada pelo pool de modelos padrão. Uma solicitação de programação pode ser direcionada a um pool de modelos orientado a código. Uma solicitação com contexto extenso pode ser combinada com modelos que suportam o tamanho de entrada necessário. Uma solicitação com imagem pode ser roteada para um modelo com recursos de visão.

Isso permite que o mesmo ponto de entrada da API suporte diferentes cenários de aplicação mantendo a integração no lado do cliente simples.

Quais são os benefícios de usar a Auto API da CometAPI?

O principal benefício do Auto é separar a lógica do aplicativo da lógica de seleção de modelos.

Sem roteamento automático, os desenvolvedores geralmente precisam decidir qual modelo deve lidar com cada solicitação e, em seguida, manter estratégias de fallback quando os modelos se tornam indisponíveis, caros ou inadequados para uma determinada carga de trabalho.

Com o Auto, os aplicativos podem usar um identificador de roteamento estável enquanto a estratégia de modelos subjacente é gerenciada de forma centralizada.

Essa abordagem pode simplificar aplicativos com múltiplos modelos, tornar as mudanças de modelo mais fáceis de implantar e reduzir a quantidade de lógica específica de modelo que precisa ser mantida dentro do aplicativo.

Para equipes que trabalham com vários provedores de IA e com capacidades de modelos que mudam rapidamente, essa abstração pode ser particularmente valiosa.

Auto API vs Modelo específico

Como usar a Auto API da CometAPI

A Auto API da CometAPI foi projetada para funcionar com uma API de Chat Completions compatível com OpenAI. Você não precisa escolher um modelo subjacente específico. Basta definir o parâmetro model como auto ou auto-high, e a CometAPI selecionará automaticamente um modelo apropriado com base na solicitação.

Etapa 1: Obter acesso à API

Faça login na CometAPI. Se você ainda não é nosso usuário, registre-se primeiro. Acesse seu console da CometAPI. Obtenha a credencial de acesso (API key) da interface. Clique em “Add Token” no token de API no centro pessoal, obtenha a chave do token: sk-xxxxx e envie.

Etapa 2: Enviar solicitações para a Auto API

Selecione o endpoint “auto” ou “auto-high” para enviar a solicitação de API e defina o corpo da solicitação. O método e o corpo da solicitação são obtidos na documentação da API do nosso site. Nosso site também oferece teste via Apifox para sua conveniência. Substitua <YOUR_API_KEY> pela sua chave real da CometAPI na sua conta.

A diferença é simples:

• auto — escolha equilibrada para cargas de trabalho gerais.
• auto-high — prioriza a seleção de modelos de maior qualidade.

Nenhuma das opções representa um modelo subjacente fixo.

Etapa 3: Como um modelo é selecionado pelo Auto da CometAPI?

Quando você envia uma solicitação com model=auto ou model=auto-high, a CometAPI primeiro identifica as características da solicitação e determina qual cenário de roteamento melhor se adequa. O sistema pode considerar fatores como o tipo de cliente, se a solicitação contém imagens ou arquivos, o comprimento de contexto de entrada estimado, uso de ferramentas, requisitos de saída estruturada, streaming e outros recursos suportados.

Após identificar a trilha de roteamento apropriada, a CometAPI seleciona modelos candidatos do pool correspondente de auto ou auto-high. Modelos que estão desativados, indisponíveis para o grupo de usuários, incompatíveis com a solicitação ou incapazes de suportar o contexto ou recursos exigidos são excluídos. Os candidatos restantes são então avaliados de acordo com a prioridade de roteamento configurada, peso e disponibilidade.

O modelo selecionado é então passado para o sistema de roteamento de canais existente da CometAPI, que encontra um canal disponível para esse modelo e grupo de usuários. Como resultado, o modelo final não é necessariamente fixo de antemão e pode variar de acordo com a solicitação e a configuração de roteamento atual.