CometAPI의 Auto API란 무엇인가요?
CometAPI Auto API는 요청마다 고정된 모델명을 지정하지 않고도 적합한 AI 모델에 접근할 수 있게 해주는 지능형 모델 라우팅 엔드포인트입니다. GPT, Claude, Gemini와 같은 개별 지원 모델을 직접 선택하는 대신, 개발자는 model=auto를 전송하면 CometAPI가 요청의 특성과 요구사항을 바탕으로 적절한 모델을 자동으로 결정합니다.
응답 품질을 더 중시하는 워크로드에는 auto-high를 사용할 수 있습니다. auto와 auto-high는 고정 AI 모델이 아니라 라우팅 옵션입니다.
이 접근 방식은 애플리케이션이 일관된 API를 사용할 수 있도록 하면서, CometAPI가 백엔드에서 모델 선택을 처리하도록 합니다.
Auto API 파라미터와 사양
Auto API는 해당 CometAPI 엔드포인트가 지원하는 것과 동일한 API 요청 구조를 사용합니다. 주요한 차이는 model 매개변수의 값입니다.
| 매개변수 | 유형 | 설명 |
|---|---|---|
| model | 문자열 | auto 또는 auto-high로 설정 |
| messages | 배열 | 대화 메시지 |
| stream | 불리언 | 지원되는 경우 스트리밍 활성화 |
| tools | 배열 | 도구 정의 |
| response_format | 객체 | 구조화된 출력 구성 |
| Image input | 객체/배열 | 지원되는 경우 이미지 콘텐츠 |
| File input | 객체/배열 | 지원되는 경우 파일 콘텐츠 |
| Reasoning parameters | 객체/문자열 | 선택된 모델이 지원하는 추론 관련 설정 |
Auto API는 어떻게 작동하나요?
요청에서 model=auto 또는 model=auto-high를 사용할 때, CometAPI는 먼저 요청의 특성을 검사합니다. 여기에는 클라이언트 유형, 이미지나 파일 포함 여부, 추정 입력 길이, 도구 사용, 구조화된 출력 요구사항, 스트리밍, 추론 관련 매개변수 등이 포함될 수 있습니다.
이러한 특성에 기반하여 요청은 적절한 라우팅 시나리오와 매칭됩니다. 이후 CometAPI는 구성된 품질 등급, 모델 가용성, 우선순위, 가중치, 사용자 그룹 권한, 기능, 가격, 채널 가용성을 기준으로 해당 모델 풀에서 적합한 모델을 선택합니다.
모델이 선택되면, 요청은 CometAPI의 일반 채널 라우팅 시스템을 통해 계속 처리됩니다. 자동 라우팅은 요청을 처리할 모델을 결정하고, 채널 라우팅은 해당 모델 요청을 처리할 수 있는 제공자 채널을 결정합니다.
자동 라우팅은 채널을 자동 생성하거나 기존 채널 구성을 우회하지 않습니다. 모델은 요청을 성공적으로 처리하기 위해 필요한 가격 및 채널 라우트 구성을 갖춰야 합니다.
따라서 API 응답에 반환되는 모델은 요청에 지정된 모델과 다를 수 있습니다. 예를 들어, model=auto를 사용한 요청의 model 필드에 실제 모델명이 반환될 수 있습니다. 이는 정상적인 동작이며 라우터가 최종적으로 선택한 모델을 나타냅니다.
Auto vs Auto-High: 차이점은 무엇인가요?
auto와 auto-high는 동일한 지능형 라우팅 개념을 사용하지만 목표로 하는 품질 수준이 다릅니다.
Auto는 범용 라우팅 옵션입니다. 응답 품질, 비용, 속도, 가용성 간의 실용적 균형을 제공하도록 설계되어 대부분의 일상적 애플리케이션의 기본 선택으로 적합합니다.
Auto-High는 더 강력한 모델과 높은 응답 품질을 선호하는 사용자에게 적합합니다. 복잡한 추론, 고급 코딩, 상세 분석 등 품질 민감한 워크로드에 더 적합합니다.
auto-high는 모든 요청이 특정 프리미엄 모델 하나로 전송된다는 의미가 아닙니다. auto와 마찬가지로, 요청 특성에 따라 구성된 고품질 모델 풀에서 동적으로 모델을 선택합니다.
| 특징 | auto | auto-high |
|---|---|---|
| 목적 | 일반 자동 라우팅 | 더 높은 품질의 자동 라우팅 |
| 모델 선택 | 자동 | 자동 |
| 고정 모델 | 아니오 | 아니오 |
| 주된 초점 | 비용, 속도, 가용성 및 기능의 균형 | 더 높은 품질의 모델 선택 |
| 적합한 용도 | 일반 프로덕션 워크로드 | 복잡하거나 품질 민감한 워크로드 |
| 모델 변동 가능 | 예 | 예 |
간단히 말해, 기본적으로 균형 잡힌 선택이 필요하면 auto를 사용하고, 응답 품질이 더 중요하면 auto-high를 사용하세요.
사용 사례
일반 AI 애플리케이션
Auto는 챗봇, 콘텐츠 생성, 요약, 분류, 고객 지원 등 범용 AI 애플리케이션에 편리한 선택입니다. 개발자는 요청마다 고정 모델 선택 전략을 유지할 필요가 없습니다.
코딩 및 개발
코딩 애플리케이션은 Auto 라우팅을 통해 이점을 얻을 수 있습니다. 코딩 관련 요청이 소프트웨어 엔지니어링 작업에 최적화된 모델로 라우팅될 수 있기 때문입니다. 이는 코딩 어시스턴트, IDE 통합, 코드 생성, 디버깅, 코드 리뷰, 개발 에이전트에 유용합니다.
복잡한 분석과 추론
auto-high는 모델 비용 최소화보다 응답 품질이 더 중요한 작업에 적합합니다. 기술적 분석, 복잡한 추론, 리서치 작업, 상세 문서 분석, 정교한 에이전트 워크플로우 등이 예입니다.
멀티모달 애플리케이션
구성된 라우팅 규칙과 후보 모델이 지원하는 경우, Auto는 이미지나 파일을 포함하는 요청을 해당 입력을 처리할 수 있는 모델로 라우팅할 수 있습니다.
대량 처리 애플리케이션
Auto는 다양한 유형의 요청을 대량으로 처리하는 애플리케이션에도 유용합니다. 애플리케이션 코드에서 모델 선택 로직을 구현하고 유지하는 대신, CometAPI가 중앙에서 모델 선택을 관리하도록 할 수 있습니다.
Auto API의 제한 사항은 무엇인가요?
Auto는 모든 요청이 동일한 모델로 처리된다는 것을 보장하지 않습니다. 모델 선택이 동적이므로, 라우팅 조건과 구성에 따라 기반 모델이 변경될 수 있습니다.
Auto는 최저가를 보장하지도 않습니다. 가장 저렴한 모델을 단순히 선택하는 대신, 지능형 모델 선택을 목표로 설계되었습니다.
또 다른 제한 사항은 모델별 기능이 다를 수 있다는 점입니다. 모델마다 지원하는 컨텍스트 길이, 도구, 이미지 입력, 구조화된 출력 등 기능이 달라질 수 있습니다. 따라서 Auto는 구성된 후보 모델의 기능 정보가 정확할수록 최상의 성능을 발휘합니다.
마지막으로, 모델을 선택했다고 해서 요청이 반드시 성공적으로 완료된다는 보장은 없습니다. 선택된 모델은 해당 사용자 그룹에 대해 사용 가능한 채널 라우트가 있어야 합니다. 적절한 채널이 없으면, Auto가 모델을 성공적으로 식별했더라도 요청이 실패할 수 있습니다.
Auto는 다양한 유형의 요청을 어떻게 처리하나요?
Auto의 핵심 장점은 개발자가 일반적인 요청 유형마다 별도의 모델 선택 로직을 수동으로 유지할 필요가 없다는 것입니다.
일반 텍스트 요청은 기본 모델 풀에서 처리될 수 있습니다. 코딩 요청은 코딩 지향 모델 풀로 라우팅될 수 있습니다. 대규모 컨텍스트 요청은 필요한 입력 크기를 지원하는 모델에 매칭될 수 있습니다. 이미지 요청은 비전 기능을 갖춘 모델로 라우팅될 수 있습니다.
이를 통해 동일한 API 엔트리 포인트가 다양한 애플리케이션 시나리오를 지원하면서 클라이언트 측 통합을 간단하게 유지합니다.
CometAPI Auto API를 사용할 때의 이점은 무엇인가요?
Auto의 주요 이점은 애플리케이션 로직을 모델 선택 로직과 분리한다는 것입니다.
자동 라우팅이 없을 경우, 개발자는 각 요청을 처리할 모델을 결정하고, 모델이 사용 불가해지거나 비용이 상승하거나 특정 워크로드에 부적합해지는 상황에 대비한 대체 전략을 유지해야 합니다.
Auto를 사용하면, 애플리케이션은 안정적인 라우팅 식별자를 사용할 수 있고, 기반 모델 전략은 중앙에서 관리됩니다.
이 접근 방식은 멀티 모델 애플리케이션을 단순화하고 모델 변경 배포를 용이하게 하며, 애플리케이션 내부에서 유지해야 하는 모델별 라우팅 로직의 양을 줄일 수 있습니다.
여러 AI 제공자와 빠르게 변화하는 모델 기능을 다루는 팀에게 이 추상화는 특히 유용할 수 있습니다.
Auto API vs 특정 모델
| 특징 | Auto | 특정 모델 |
|---|---|---|
| 자동 모델 선택 | 예 | 아니오 |
| 고정된 모델 정체성 | 아니오 | 예 |
| 애플리케이션 단순성 | 높음 | 보통 |
| 모델 제어 | 낮음 | 높음 |
| 유연성 | 높음 | 낮음 |
| 예측 가능성 | 낮음 | 높음 |
| 혼합 워크로드에 적합 | 예 | 모델에 따라 다름 |
| 재현 가능한 테스트에 적합 | 제한적 | 예 |
| 최적 용도 | 동적인 프로덕션 워크로드 | 모델 특화 애플리케이션 |
CometAPI Auto API 사용 방법
CometAPI Auto API는 OpenAI 호환 Chat Completions API와 함께 작동하도록 설계되었습니다. 특정 하위 모델을 선택할 필요가 없습니다. 단순히 model 매개변수를 auto 또는 auto-high로 설정하면, CometAPI가 요청에 따라 적절한 모델을 자동으로 선택합니다.
1단계: API 액세스 받기
cometAPI에 로그인하세요. 아직 사용자 계정이 없다면 먼저 등록하세요. CometAPI console에 로그인합니다. 인터페이스의 액세스 자격인 API 키를 받으세요. 개인 센터의 API 토큰에서 “Add Token”을 클릭하여 토큰 키: sk-xxxxx를 발급받고 제출하세요.
2단계: Auto API로 요청 보내기
“auto” 또는 “auto-high” 엔드포인트를 선택해 API 요청을 전송하고 요청 본문을 설정하세요. 요청 메서드와 요청 본문은 당사 웹사이트의 API 문서에서 확인할 수 있습니다. 또한 편의를 위해 Apifox 테스트도 제공합니다. <YOUR_API_KEY>를 계정의 실제 CometAPI 키로 교체하세요.
차이는 간단합니다:
auto— 일반 워크로드를 위한 균형 잡힌 선택.auto-high— 더 높은 품질의 모델 선택을 우선시.
어느 쪽도 고정된 기반 모델을 나타내지 않습니다.
3단계: CometAPI Auto는 모델을 어떻게 선택하나요?
model=auto 또는 model=auto-high로 요청을 전송하면, CometAPI는 먼저 요청의 특성을 식별하고 어떤 라우팅 시나리오가 가장 잘 맞는지 결정합니다. 시스템은 클라이언트 유형, 이미지나 파일 포함 여부, 추정 입력 컨텍스트 길이, 도구 사용, 구조화된 출력 요구사항, 스트리밍 및 기타 지원 기능과 같은 요소를 고려할 수 있습니다.
적절한 라우팅 레인을 식별한 후, CometAPI는 해당 auto 또는 auto-high 모델 풀에서 후보 모델을 선택합니다. 비활성화되었거나 사용자 그룹에 사용 불가하거나 요청과 호환되지 않거나 필요한 컨텍스트나 기능을 지원하지 못하는 모델은 제외됩니다. 남은 후보는 구성된 라우팅 우선순위, 가중치, 가용성에 따라 평가됩니다.
선택된 모델은 이후 CometAPI의 기존 채널 라우팅 시스템으로 전달되어, 해당 모델과 사용자 그룹에 사용 가능한 채널을 찾습니다. 그 결과, 최종 모델은 사전에 고정되어 있지 않으며 요청과 현재 라우팅 구성에 따라 달라질 수 있습니다.