요약: 애플리케이션에서 요청을 라우팅한 다음, CometAPI 키 하나와 OpenAI 호환 베이스 URL https://api.cometapi.com/v1을 사용해 선택한 모델을 호출하세요. 반복적이고 검증이 쉬운 작업은 저비용 티어로, 지연에 민감한 고객 상호작용은 빠른 티어로, 모호하거나 영향도가 큰 작업은 고정확도 티어로 보냅니다. 이 라벨은 보편적 모델 서열이 아니라 여러분 팀의 정책으로 유지하고, 모든 티어를 동일한 테스트 세트로 측정하세요.
이 가이드는 간결한 Python 예제, 제한된 폴백, 재시도와 거부 출력을 모두 포함해 비용을 계산하는 모델과 함께 3-티어 라우터를 구축합니다. 예제는 CometAPI 카탈로그의 현재 모델 ID를 사용하지만, 라우팅 로직은 분리되어 있어 애플리케이션을 다시 작성하지 않고도 모델을 교체할 수 있습니다.
LLM 라우팅이란?
LLM 라우팅은 각 요청을 작업, 지연 목표, 품질 요구사항, 예산에 가장 적합한 모델 또는 서비스 티어로 보내는 과정입니다.
작업별로 LLM 요청을 어떻게 라우팅해야 하나요?
2026년 8월 20일 기준, 다음 모델 ID와 카탈로그 가격 필드가 공개 CometAPI Models API를 통해 제공되었습니다. 아래 소비자 추정 요율은 CometAPI pricing guide에 따라 카탈로그의 현재 ratio 값을 입력과 출력의 기준 가격에 적용한 값입니다. 프로덕션 전에 계정에 표시되는 최종 요율을 확인하세요.
| Route | 사용 용도 | Example model | Est. USD / 1M tokens | First fallback |
|---|---|---|---|---|
| Cheap | 태깅, 추출, 중복 제거 | deepseek-v4-flash | $0.176 input / $0.528 output | Fast |
| Fast | 고객 응답, 요약, 실시간 어시스턴트 | gemini-3.7-flash | $0.60 input / $3.00 output | Cheap, then accurate |
| High accuracy | 정책 검토, 복잡한 추론, 영향도 높은 초안 작성 | claude-opus-5 | $4.00 input / $20.00 output | Fast |
“Fast”는 해당 라우트가 지연 목표를 가진다는 뜻이고, “high accuracy”는 더 엄격한 품질 목표를 의미합니다. 어떤 모델이 항상 가장 빠르거나 가장 정확하다는 보장은 아닙니다. 매핑을 고정하기 전에 여러분의 트래픽에서 p50/p95 지연, 작업 통과율, 승인된 출력당 비용을 벤치마크하세요.
LLM 라우터를 위해 CometAPI를 어떻게 설정하나요?
CometAPI API 키, Python 3.10 이상, OpenAI Python 패키지가 필요합니다. 키는 소스 코드가 아니라 서버 측에 보관하세요.
pip install openaiexport COMETAPI_KEY="your-key-here"
예제는 POST /v1/chat/completions를 사용합니다. CometAPI는 이를 여러 제공자에 공통인 인터페이스로 문서화하지만, 파라미터 동작은 모델별로 달라질 수 있습니다. 제공자별 필드를 추가하기 전에 현재 모델 항목과 Chat Completions reference를 확인하세요.
LLM 라우터를 만들 때 무엇이 필요하나요?
안정적인 작업을 서비스 티어에 매핑하세요. 단순한 애플리케이션 신호로 충분하지 않은 경우가 아니라면, 모든 요청을 다른 LLM에 분류시키지 마세요. 지원 태그는 예측 가능하게 저가 티어 작업이고, 실시간 응답은 지연에 민감하며, 정책 검토는 가장 엄격한 품질 게이트가 필요합니다.
출력을 검증하세요. HTTP 상태가 성공이라고 해서 결과가 사용할 수 있다는 뜻은 아닙니다. 작업별 검증기를 라우터에 전달하세요. 분류 검증기는 허용 라벨을 확인할 수 있고, 고객 응답 검증기는 길이와 금지 진술을 강제할 수 있으며, 구조화된 워크플로우는 JSON 스키마를 검증할 수 있습니다.
폴백을 좁게 하세요. 타임아웃, 408, 429, 일시적 5xx, 또는 제한된 품질 게이트 실패 시 다음 승인된 라우트를 시도하세요. 형식이 잘못된 입력, 유효하지 않은 키, 지원되지 않는 파라미터를 숨기기 위해 다른 모델을 사용하지 마세요.
Python으로 LLM 라우터를 어떻게 구축하나요?
import osimport timefrom openai import APIError, OpenAIclient = OpenAI( api_key=os.environ["COMETAPI_KEY"], base_url="https://api.cometapi.com/v1", max_retries=0, timeout=20,)MODELS = { "cheap": "deepseek-v4-flash", "fast": "gemini-3.7-flash", "accurate": "claude-opus-5",}# Put the preferred tier first; later tiers are fallbacks.ROUTES = { "tag": ["cheap", "fast", "accurate"], "reply": ["fast", "cheap", "accurate"], "policy_review": ["accurate", "fast", "cheap"],}def retryable(error): status = getattr(error, "status_code", None) return status is None or status in {408, 429} or (status and status >= 500)def route(task, prompt, validate=lambda text: True): attempts = [] for tier in ROUTES.get(task, ROUTES["reply"]): model = MODELS[tier] started = time.perf_counter() try: response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": prompt}], max_tokens=400, ) text = response.choices[0].message.content or "" attempts.append({ "tier": tier, "model": model, "latency_ms": round((time.perf_counter() - started) * 1000), "accepted": validate(text), }) if attempts[-1]["accepted"]: return { "text": text, "route": tier, "model": model, "usage": response.usage.model_dump() if response.usage else None, "attempts": attempts, } except APIError as error: attempts.append({"tier": tier, "model": model, "status": error.status_code}) if not retryable(error): raise raise RuntimeError(f"No route passed: {attempts}")if __name__ == "__main__": result = route( "reply", "Reply to a customer asking when their refund will arrive. Do not promise a date.", validate=lambda text: 30 <= len(text) <= 600 and "guarantee" not in text.lower(), ) print(result)
폴백 전에 재시도를 어떻게 제한하나요?
SDK 재시도를 0으로 두고 각 모델 호출을 명시적으로 제한하세요. 아래 헬퍼는 재시도 가능한 API 실패에 대해서만 한 번 재시도한 뒤 예외를 발생시켜 외부 라우트가 다음 승인된 티어로 이동할 수 있게 합니다.
MAX_ATTEMPTS_PER_MODEL = 2def call_model(model, prompt): for attempt in range(1, MAX_ATTEMPTS_PER_MODEL + 1): try: return client.chat.completions.create( model=model, messages=[{"role": "user", "content": prompt}], max_tokens=400, ) except APIError as error: if not retryable(error) or attempt == MAX_ATTEMPTS_PER_MODEL: raise time.sleep(min(0.5 * (2 ** (attempt - 1)), 2.0))
route()에서 직접 client.chat.completions.create(...)를 호출하는 대신 call_model(model, prompt)로 교체하세요. 세 가지 티어에서 하나의 요청은 최대 여섯 번의 제공자 호출 후 중지되며, 검증 실패는 동일 출력을 재시도하지 않고 티어별로 한 번씩만 승격됩니다.
python3 llm_task_router.py로 실행하세요. 이후 제공자나 모델 세대를 변경하려면 MODELS를 업데이트하면 됩니다. 작업 정책과 응답 계약은 한 곳에 유지됩니다.
이 예제는 선택한 모델들 간에 공유되는 파라미터만 사용합니다. 모델 호환성을 확인한 뒤 어댑터 계층을 통해 모델별 토큰 제어를 추가하세요.
LLM 라우팅 정책을 어떻게 테스트하나요?
먼저 결정적 정책이 의도한 주 라우트를 선택하는지 확인하세요. 이는 제공자 성능 결과가 아니라 라우팅 기대치입니다:
| Test request | Task value | Expected primary route |
|---|---|---|
| Assign one support category | tag | Cheap |
| Draft a customer-facing reply | reply | Fast |
| Review an ambiguous refund policy | policy_review | High accuracy |
성공적인 라이브 스모크 테스트는 답변과 함께 선택된 티어, 모델 ID, 토큰 사용량, 모든 시도를 반환합니다. 실제 토큰 및 지연 값은 달라질 수 있습니다:
{ "text": "...", "route": "fast", "model": "gemini-3.7-flash", "usage": { "prompt_tokens": "measured value", "completion_tokens": "measured value" }, "attempts": [ { "tier": "fast", "model": "gemini-3.7-flash", "latency_ms": "measured value", "accepted": true } ]}
실제 비교를 위해 동일한 라벨의 요청을 세 모델 모두에 수행하세요. 작업 통과율, p50/p95 지연, 오류율, 입력/출력 토큰, 폴백율, 인검율을 기록하세요. 보통 중요한 지표는 API 호출당 비용이 아니라 승인된 출력당 비용입니다.
멀티 모델 라우팅 비용은 얼마나 드나요?
공정한 비교를 위해 동일한 워크로드 형태를 사용하세요. 총 100만 토큰(입력 80만, 출력 20만)을 가정합니다. 2026년 8월 20일 확인한 카탈로그 기반 요율을 적용하면:
| Route | Calculation | Estimated cost |
|---|---|---|
| Cheap | 0.8 × $0.176 + 0.2 × $0.528 | $0.25 |
| Fast | 0.8 × $0.60 + 0.2 × $3.00 | $1.08 |
| High accuracy | 0.8 × $4.00 + 0.2 × $20.00 | $7.20 |
트래픽이 Cheap 60%, Fast 30%, High accuracy 10%라면, 예상 혼합 토큰 비용은 100만 총 토큰당 약 $1.19입니다. 같은 비중을 전부 고정확도 라우트로 보낼 경우 위 가정하에서 약 $7.20가 됩니다. 이는 가격 계산일 뿐, 혼합 정책이 품질 목표를 충족한다는 증거는 아닙니다.
재시도와 거절은 결과를 바꿉니다. 일회성 재시도율 5%는 $1.19 예측을 대략 $1.25로 올립니다. 저비용 출력이 검증에 실패해 전체 요청이 고정확도 티어에서 반복된다면 두 호출 모두를 계산하세요. 승인된 출력을 추적해 겉보기에는 저렴한 모델이 검토 또는 재생성 비용을 숨기지 않도록 하세요.
가장 흔한 LLM 라우팅 실패는 무엇인가요?
| Signal | 대응 방법 |
|---|---|
| 400 or invalid request | 페이로드를 수정하세요. 폴백하지 마세요. |
| 401 | API 키를 재로딩하거나 교체하세요. 재시도하지 마세요. |
| 403 | 모델 접근 권한과 지원되지 않는 필드를 확인하세요. |
| 429 | 지터를 둔 백오프, 동시성 축소 후, 정책이 허용하면 승인된 폴백을 사용하세요. |
| Temporary 5xx or timeout | 다음 호환 라우트를 시도하고 요청 ID를 유지하세요. |
| Quality gate failed | 한 번 승격하고, 이유를 기록한 뒤, 설정된 라우트 목록 이후에는 중지하세요. |
error and retry guide는 레이트 리밋과 일시적 플랫폼 실패에 대해 백오프로 재시도하고, 잘못된 요청과 인증 실패는 수정할 것을 권장합니다. fallback guide도 마찬가지로 모델 폴백을 순서 있고 명시적으로 유지합니다.
Application Routing vs. CometAPI Auto: 무엇을 사용해야 하나요?
통제와 재현성이 중요할 때는 애플리케이션 라우팅을 사용하세요. 작업이 안정적이고 고정 모델 ID, 티어별 예산, 사용자 정의 검증기, 감사 가능한 폴백 순서가 필요할 때는 결정 로직을 코드에 두세요. 이 접근은 릴리스 간 동일한 모델 맵을 비교하기도 쉽습니다.
라우팅 유지보수 감소가 더 중요할 때는 CometAPI Auto 를 사용하세요. 균형 잡힌 기본값에는 model=auto, 품질 우선에는 model=auto-high를 설정하세요. CometAPI는 요청 특성과 현재 라우팅 풀에 따라 적격 모델을 동적으로 선택하므로, 기반 모델이 달라질 수 있습니다. 이는 매 실행마다 동일 모델이나 모델별 파라미터가 필요한 경우에는 Auto가 덜 적합함을 의미합니다.
프로덕션에서 LLM 라우팅을 어떻게 운영하나요?
모델 레지스트리를 갱신하세요. 배포 또는 시작 시 GET https://api.cometapi.com/api/models를 호출하고, 구성된 ID나 필요한 엔드포인트가 없으면 릴리스를 실패시키세요. 모델 ID, 가격, 기능은 변경될 수 있습니다.
제공자별 옵션을 라우터 밖에 두세요. 공통 Chat Completions 표면이 모든 파라미터가 동일함을 의미하진 않습니다. 예를 들어 logprobs, 추론 제어, 다중 후보 지원은 다를 수 있습니다. 이러한 차이는 검증된 어댑터에 넣으세요.
트래픽과 출력을 제한하세요. 애플리케이션에서 요청이 나가기 전에 동시성을 제한하고, 429에 대해 지터가 있는 지수 백오프를 사용하며, 출력 토큰 상한을 설정하세요. CometAPI의 rate-limit guide도 동일한 애플리케이션 측 제어를 권장합니다.
결정을 로깅하세요. 작업 유형, 정책 버전, 선택된 티어, 모델 ID, 지연, 토큰 사용량, 검증 결과, 재시도 횟수, 폴백 사유, 비용 추정치를 기록하세요. 비밀이나 불필요한 고객 콘텐츠는 로깅하지 마세요.
증거로 라우트를 승격하세요. 작업별 라벨 평가 세트를 유지하세요. 매핑 변경은 점진적으로 롤아웃하고, 이전 정책과 비교하며, 빠른 롤백 경로를 보존하세요.
자주 묻는 질문
CometAPI가 자동으로 어떤 모델이 저가/빠름/고정확도인지 결정하나요?
이 튜토리얼은 그 정책을 애플리케이션 코드에 둡니다. CometAPI는 공유 키, 베이스 URL, 모델 카탈로그, Chat Completions 인터페이스, 문서화된 폴백 빌딩 블록을 제공합니다. 각 티어의 의미와 어떤 모델이 테스트를 통과했는지는 여러분 팀이 정의합니다.
하나의 CometAPI 키로 다른 제공자의 모델을 호출할 수 있나요?
예. OpenAI 호환 텍스트 라우트의 경우 https://api.cometapi.com/v1를 사용하고 model 값을 변경하세요. 배포 전에 최신 카탈로그를 확인해야 합니다.
왜 모든 요청을 가장 저렴한 모델로 보내지 않나요?
최저 토큰 요율이라도 출력이 검증에 실패하거나 재시도가 필요하거나 인검 작업을 만든다면 비용이 커질 수 있습니다. 승인된 결과당 비용을 비교하고, 영향도가 큰 작업은 더 엄격한 품질 게이트 뒤에 두세요.
품질 실패가 폴백을 촉발해야 하나요?
실패가 기계적으로 감지 가능하고 승격이 제한될 때만입니다. 스키마 오류, 필수 필드 누락, 금지된 약속은 한 번의 승격을 정당화할 수 있습니다. 모호한 불만족은 무제한 재시도 루프가 아니라 평가 데이터가 되어야 합니다.
모델 맵은 얼마나 자주 바꿔야 하나요?
현재 카탈로그 데이터와 반복 가능한 평가에서 더 나은 균형을 보여줄 때 변경하세요. 카탈로그에 새 이름이 보인다고 해서 모델을 교체하지 마세요.
나중에 OpenAI 모델을 추가할 수 있나요?
예. 최신 OpenAI 호환 모델 ID를 MODELS에 추가하고 동일한 요청/응답 계약을 테스트한 뒤 라우트 순서에 배치하세요. 클라이언트, 키, 베이스 URL은 그대로입니다.
LLM 라우팅 정책을 어떻게 유지보수 가능하게 유지하나요?
가장 쉬운 멀티 제공자 라우터는 자율적 블랙박스가 아닙니다. 공유 API 접근, 최신 모델 메타데이터, 품질 검증기, 좁은 폴백 체인으로 뒷받침된 짧고 버전 관리되는 작업 정책입니다. CometAPI는 한 개의 키와 하나의 OpenAI 호환 베이스 URL로 연결 작업을 줄여주고, 여러분의 애플리케이션은 비용, 지연, 품질 결정을 통제합니다.