AUTO API

Что такое Auto API в CometAPI?

CometAPI Auto API — это интеллектуальная конечная точка маршрутизации моделей, которая позволяет разработчикам обращаться к подходящим ИИ‑моделям без указания фиксированного имени модели для каждого запроса. Вместо выбора отдельной модели, такой как GPT, Claude, Gemini или другая поддерживаемая модель, разработчики могут отправить model=auto, и CometAPI автоматически определит подходящую модель на основе характеристик и требований запроса.

Для задач, где предпочтительно более высокое качество ответа, разработчики могут использовать auto-high. И auto, и auto-high — это варианты маршрутизации, а не фиксированные ИИ‑модели.

Такой подход позволяет приложениям использовать единый API, в то время как CometAPI «за кулисами» занимается выбором модели.

Параметры и спецификации Auto API

Auto API использует ту же структуру запроса, что и соответствующая конечная точка CometAPI. Основное отличие — значение параметра model.

Как работает Auto API?

Когда в запросе используется model=auto или model=auto-high, CometAPI сначала анализирует характеристики запроса. Эти характеристики могут включать тип клиента, наличие изображений или файлов, оценочную длину входного контекста, использование инструментов, требования к структурированному выводу, стриминг и параметры, связанные с рассуждением.

На основе этих характеристик запрос сопоставляется с соответствующим сценарием маршрутизации. Затем CometAPI выбирает подходящую модель из соответствующего пула моделей с учетом настроенного уровня качества, доступности модели, приоритета, веса, прав групп пользователей, возможностей, ценообразования и доступности каналов.

После выбора модели запрос проходит через обычную систему маршрутизации каналов CometAPI. Таким образом, автоматическая маршрутизация определяет, какая модель должна обработать запрос, а маршрутизация по каналам определяет, какой доступный канал провайдера должен обработать запрос для этой модели.

Автоматическая маршрутизация не создает каналы автоматически и не обходит существующую конфигурацию маршрутов каналов. Модель должна иметь необходимые настройки ценообразования и маршрутов каналов, чтобы успешно обрабатывать запросы.

Модель, возвращаемая в ответе API, может отличаться от модели, указанной в запросе. Например, запрос с model=auto может вернуть фактическое имя модели в поле model. Это ожидаемое поведение и указывает, какая модель в итоге была выбрана маршрутизатором.

Auto vs Auto-High: в чем разница?

auto и auto-high используют один и тот же принцип интеллектуальной маршрутизации, но ориентированы на разные уровни качества.

Auto — это универсальный вариант маршрутизации. Он призван обеспечить практичный баланс между качеством ответа, стоимостью, скоростью и доступностью. Подходит как выбор по умолчанию для большинства повседневных приложений.

Auto-High предназначен для пользователей, которым важнее более сильные модели и более высокое качество ответов. Лучше подходит для сложных рассуждений, продвинутого программирования, детализированного анализа и других задач, чувствительных к качеству.

auto-high не означает, что каждый запрос отправляется в одну конкретную премиальную модель. Как и auto, он динамически выбирает модель из настроенного пула высококачественных моделей в зависимости от характеристик запроса.

Проще говоря, используйте auto, когда вам нужен сбалансированный вариант по умолчанию, и используйте auto-high, когда приоритет — качество ответа.

Сценарии использования

Общие ИИ‑приложения

Auto — удобный выбор для чат-ботов, генерации контента, суммаризации, классификации, поддержки клиентов и других универсальных ИИ‑сценариев. Разработчикам не нужно поддерживать стратегию выбора фиксированной модели для каждого запроса.

Программирование и разработка

Приложения для программирования могут выиграть от маршрутизации Auto, поскольку запросы, связанные с кодом, могут направляться к моделям, настроенным для задач разработки ПО. Это полезно для ассистентов программирования, интеграций с IDE, генерации кода, отладки, ревью кода и агентных систем разработки.

Сложный анализ и рассуждение

auto-high подходит для задач, где качество ответа важнее минимизации стоимости модели. Примеры: технический анализ, сложные рассуждения, исследовательские задачи, детальный анализ документов и сложные агентные рабочие процессы.

Мультимодальные приложения

Когда это поддерживается настроенными правилами маршрутизации и кандидатными моделями, Auto может направлять запросы с изображениями или файлами к моделям, способным обрабатывать такие входные данные.

Приложения с большим объемом запросов

Auto также может быть полезен для приложений, обрабатывающих широкий спектр запросов. Вместо реализации и поддержки логики выбора моделей в коде приложения разработчики могут поручить CometAPI централизованно управлять выбором моделей.

Каковы ограничения Auto API?

Auto не гарантирует, что каждый запрос будет обработан одной и той же моделью. Поскольку выбор модели динамический, базовая модель может меняться по мере изменения условий и конфигурации маршрутизации.

Auto также не гарантирует наименьшую возможную цену. Он предназначен для интеллектуального выбора моделей, а не для простого выбора самой дешевой доступной модели.

Еще одно ограничение — различия в возможностях конкретных моделей. Разные модели могут поддерживать разную длину контекста, инструменты, входы изображений, структурированный вывод и другие функции. Поэтому Auto работает лучше всего, когда для кандидатных моделей настроена точная информация о возможностях.

Наконец, выбор модели не гарантирует, что запрос удастся выполнить. Выбранная модель должна иметь доступный маршрут канала для соответствующей группы пользователей. Если подходящий канал недоступен, запрос может завершиться неудачей, даже если Auto успешно определил модель.

Как Auto обрабатывает разные типы запросов?

Ключевое преимущество Auto — разработчикам не нужно вручную поддерживать отдельную логику выбора моделей для каждого распространенного типа запросов.

Обычный текстовый запрос может быть обработан пулом моделей по умолчанию. Запрос, связанный с программированием, может быть направлен к пулу моделей, ориентированных на код. Запрос с большим контекстом может быть сопоставлен с моделями, поддерживающими требуемый объем входных данных. Запрос с изображением может быть направлен к модели с возможностями компьютерного зрения.

Это позволяет одному и тому же входному API поддерживать разные сценарии применения, упрощая клиентскую интеграцию.

Каковы преимущества использования CometAPI Auto API?

Основная польза Auto — разделение логики приложения и логики выбора модели.

Без автоматической маршрутизации разработчикам часто приходится решать, какая модель должна обрабатывать каждый запрос, а затем поддерживать стратегии резервирования на случай, если модели становятся недоступными, дорогими или неподходящими для конкретной нагрузки.

С Auto приложения могут использовать стабильный идентификатор маршрутизации, а стратегия выбора моделей управляется централизованно.

Этот подход упрощает многомодельные приложения, делает изменения моделей легче в разворачивании и сокращает объем модель-специфичной логики маршрутизации, которую нужно поддерживать в самом приложении.

Для команд, работающих с несколькими провайдерами ИИ и быстро меняющимися возможностями моделей, такая абстракция особенно ценна.

Auto API и конкретная модель

Как использовать CometAPI Auto API

CometAPI Auto API разработан для работы с совместимым с OpenAI Chat Completions API. Вам не нужно выбирать конкретную базовую модель. Просто установите параметр model в auto или auto-high, и CometAPI автоматически подберет подходящую модель на основе запроса.

Шаг 1: Получите доступ к API

Войдите в CometAPI. Если вы еще не являетесь нашим пользователем, сначала зарегистрируйтесь. Войдите в ваш CometAPI console. Получите учетные данные — API‑ключ интерфейса. Нажмите «Add Token» в разделе токенов API в личном кабинете, получите ключ токена: sk-xxxxx и отправьте.

Шаг 2: Отправляйте запросы в Auto API

Выберите конечную точку “auto" или "auto-high” для отправки API‑запроса и задайте тело запроса. Метод и тело запроса берутся из нашей документации по API на сайте. На нашем сайте также доступен тест в Apifox для вашего удобства. Замените <YOUR_API_KEY> на ваш фактический ключ CometAPI из вашего аккаунта.

Разница проста:

• auto — сбалансированный выбор для общих нагрузок.
• auto-high — отдает приоритет выбору более качественных моделей.

Ни тот, ни другой не представляют собой фиксированную базовую модель.

Шаг 3: Как CometAPI Auto выбирает модель?

Когда вы отправляете запрос с model=auto или model=auto-high, CometAPI сначала определяет характеристики запроса и выбирает наилучший для него сценарий маршрутизации. Система может учитывать такие факторы, как тип клиента, наличие изображений или файлов, оценочную длину входного контекста, использование инструментов, требования к структурированному выводу, стриминг и другие поддерживаемые возможности.

После определения соответствующего направления маршрутизации CometAPI выбирает кандидатные модели из соответствующего пула auto или auto-high. Модели, которые отключены, недоступны для группы пользователя, несовместимы с запросом или не поддерживают требуемый контекст или функции, исключаются. Оставшиеся кандидаты оцениваются по настроенному приоритету маршрутизации, весу и доступности.

Выбранная модель затем передается в существующую систему маршрутизации каналов CometAPI, которая находит доступный канал для этой модели и группы пользователя. В результате конечная модель не обязательно фиксирована заранее и может меняться в зависимости от запроса и текущей конфигурации маршрутизации.