LLM сұрауларын әрбір тапсырмаға сәйкес модельге қалай бағыттау керек

Қысқа жауап: өтініштерді қолданбада бағыттаңыз да, таңдалған модельді шақыру үшін бір CometAPI кілтін және OpenAI-мен үйлесімді базалық URL-ды https://api.cometapi.com/v1 қолданыңыз. Қайталанатын, тексеруге оңай жұмысты төмен құнды деңгейге; кідіріс сезімтал клиенттік өзара әрекеттерді жылдам деңгейге; ал екіұшты немесе жоғары әсерлі жұмысты жоғары дәлдік деңгейіне жіберіңіз. Бұл жапсырмаларды әмбебап модель рейтингі ретінде емес, өзіңіздің саясатыңыз ретінде ұстаңыз және әр деңгейлікті бірдей тест жинағында өлшеп отырыңыз.

Бұл нұсқаулық ықшам Python мысалымен, шектелген фолбэкпен және қайталап көрулер мен қабылданбаған шығыстарды есептейтін құн моделімен үш деңгейлі маршрутизатор құрады. Мысалда CometAPI каталогындағы ағымдағы модель ID-лері қолданылады, бірақ бағыттау логикасы бөлек сақталады — осылайша қолданбаны қайта жазбай-ақ модельдерді ауыстыруға болады.

LLM бағыттау деген не?

LLM бағыттау — әрбір сұранымды оның тапсырмасына, кідіріс мақсаттарына, сапа талаптарына және бюджетіне ең жақсы сәйкес келетін модельге немесе қызмет деңгейіне жіберу процесі.

LLM сұранымдарын тапсырма бойынша қалай бағыттаған жөн?

2026 жылғы 20 тамыздағы жағдай бойынша, келесі модель ID-лері мен каталогтағы баға өрістері жалпыға қолжетімді CometAPI Models API арқылы қолжетімді болды. Төмендегі болжамды тұтынушылық тарифтер CometAPI бағалау нұсқаулығына сәйкес каталогтың ағымдағы ratio мәнін кіріс және шығыс базалық бағаларына қолдану арқылы есептелген (CometAPI pricing guide). Өндірісте қолданар алдында, өз шотыңыз үшін көрсетілген соңғы тарифті растаңыз.

“Жылдам” дегеніміз — бағыттың кідіріс мақсаты барын білдіреді; “жоғары дәлдік” — қатаңырақ сапа мақсаты барын білдіреді. Екеуінің ешқайсысы модельдің әрқашан ең жылдам немесе ең дәл екенін дәлелдемейді. Тұрақты ету алдында өз трафигіңізде p50 және p95 кідірісті, тапсырма табыстылығын және қабылданған шығысқа шаққандағы құнды өлшеңіз.

LLM маршрутизаторы үшін CometAPI-ді қалай орнатуға болады?

Сізге CometAPI API кілті, Python 3.10 немесе одан жаңа, және OpenAI Python пакеті қажет. Кілтті бастапқы кодта емес, сервер жағында сақтаңыз.

pip install openaiexport COMETAPI_KEY="your-key-here"

Мысалда POST /v1/chat/completions қолданылады. CometAPI мұны бірнеше провайдерге ортақ интерфейс ретінде құжаттайды, бірақ параметрлердің мінез-құлқы модельге қарай өзгеруі мүмкін. Провайдерге тән өрістерді қоспас бұрын, ағымдағы модель жазбасын және Chat Completions анықтамасын тексеріңіз.

LLM маршрутизаторын құру үшін не қажет?

Тұрақты міндеттерді қызмет деңгейлеріне сәйкестендіріңіз. Қарапайым қолданбалық сигналдар жеткіліксіз болмайынша, әрбір сұранымды жіктеу үшін басқа LLM-ды қолданбаңыз. Қолдау тегі — болжалды түрде арзан деңгей; тікелей жауап — кідіріс сезімтал; саясатты қарау — ең қатаң сапа қақпасын талап етеді.

Шығысты тексеріңіз. HTTP-тің сәтті күйі нәтиженің қолдануға жарамды екенін білдірмейді. Маршрутизаторға тапсырмаға тән валидатор беріңіз. Жіктеу валидаторы рұқсат етілген жапсырманы тексере алады; клиент жауабы валидаторы ұзындық пен тыйым салынған тұжырымдарды қоя алады; құрылымдалған жұмыс ағыны JSON схемасын тексере алады.

Фолбэкті шектеп қолданыңыз. Уақыт асуы, 408, 429, уақытша 5xx немесе шектелген сапа-қақпа сәтсіздігінен кейін келесі мақұлданған бағытты байқап көріңіз. Бұзылған кіріс, жарамсыз кілт немесе қолдау көрсетілмейтін параметрлерді жасырмас үшін басқа модельді қолданбаңыз.

LLM маршрутизаторын Python-да қалай құрасыз?

import osimport time​from openai import APIError, OpenAI​client = OpenAI(    api_key=os.environ["COMETAPI_KEY"],    base_url="https://api.cometapi.com/v1",    max_retries=0,    timeout=20,)​MODELS = {    "cheap": "deepseek-v4-flash",    "fast": "gemini-3.7-flash",    "accurate": "claude-opus-5",}​# Алдымен қалаулы деңгейді қойыңыз; кейінгілері — фолбэк.ROUTES = {    "tag": ["cheap", "fast", "accurate"],    "reply": ["fast", "cheap", "accurate"],    "policy_review": ["accurate", "fast", "cheap"],}​​def retryable(error):    status = getattr(error, "status_code", None)    return status is None or status in {408, 429} or (status and status >= 500)​​def route(task, prompt, validate=lambda text: True):    attempts = []    for tier in ROUTES.get(task, ROUTES["reply"]):        model = MODELS[tier]        started = time.perf_counter()        try:            response = client.chat.completions.create(                model=model,                messages=[{"role": "user", "content": prompt}],                max_tokens=400,            )            text = response.choices[0].message.content or ""            attempts.append({                "tier": tier,                "model": model,                "latency_ms": round((time.perf_counter() - started) * 1000),                "accepted": validate(text),            })            if attempts[-1]["accepted"]:                return {                    "text": text,                    "route": tier,                    "model": model,                    "usage": response.usage.model_dump() if response.usage else None,                    "attempts": attempts,                }        except APIError as error:            attempts.append({"tier": tier, "model": model, "status": error.status_code})            if not retryable(error):                raise​    raise RuntimeError(f"No route passed: {attempts}")​​if __name__ == "__main__":    result = route(        "reply",        "Қайтарым қашан келетінін сұраған клиентке жауап беріңіз. Датаға уәде бермеңіз.",        validate=lambda text: 30 <= len(text) <= 600 and "guarantee" not in text.lower(),    )    print(result)

Фолбэкке дейінгі қайталамалар санын қалай шектеуге болады?

SDK қайталауларын нөлге қойып, әрбір модель шақыруын нақты шегі бар орағышпен жабыңыз. Төмендегі көмекші тек қайта оп-беруге болатын API ақауларын бір рет қайталайды, содан кейін сыртқы маршрут келесі мақұлданған деңгейге өте алуы үшін қате тастайды.

MAX_ATTEMPTS_PER_MODEL = 2​def call_model(model, prompt):    for attempt in range(1, MAX_ATTEMPTS_PER_MODEL + 1):        try:            return client.chat.completions.create(                model=model,                messages=[{"role": "user", "content": prompt}],                max_tokens=400,            )        except APIError as error:            if not retryable(error) or attempt == MAX_ATTEMPTS_PER_MODEL:                raise            time.sleep(min(0.5 * (2 ** (attempt - 1)), 2.0))

route() ішінде тікелей client.chat.completions.create(...) шақыруын call_model(model, prompt) арқылы ауыстырыңыз. Үш деңгеймен бір сұраным ең көп дегенде алты провайдер шақыруынан кейін тоқтайды; валидатордан өтпеулер бір деңгейде қайта генерацияламай, келесі деңгейге тек бір рет қана эскалацияланады.

Оны python3 llm_task_router.py арқылы іске қосыңыз. Кейін провайдерлерді немесе модель буындарын өзгерту үшін MODELS тізімін жаңартыңыз; тапсырма саясаты және жауап шарты бір жерде қалады.

Мысалда тек таңдалған модельдер ортақ қолдайтын параметрлер қолданылады. Модель сәйкестігін тексергеннен кейін, модельге тән токен басқаруларын адаптер қабаты арқылы қосыңыз.

LLM бағыттау саясатын қалай тестілеуге болады?

Алдымен детерминирленген саясаттың көзделген бастапқы деңгейді таңдайтынын тексеріңіз. Бұлар — бағыттау күтілімдері, провайдер өнімділігінің нәтижелері емес:

Сәтті жедел смоук-тест жауапты әрі таңдалған деңгейді, модель ID-сін, токен қолданылуын және барлық талпыныстарды қайтарады. Нақты токен және кідіріс мәндері өзгермелі:

{  "text": "...",  "route": "fast",  "model": "gemini-3.7-flash",  "usage": {    "prompt_tokens": "өлшенген мән",    "completion_tokens": "өлшенген мән"  },  "attempts": [    {      "tier": "fast",      "model": "gemini-3.7-flash",      "latency_ms": "өлшенген мән",      "accepted": true    }  ]}

Шынайы салыстыру үшін бірдей жапсырмаланған сұранымдарды үш модельдің барлығынан өткізіңіз. Тапсырма табыстылығы, p50 және p95 кідірісі, қате жиілігі, кіріс және шығыс токендері, фолбэк жиілігі және адамдық шолу жиілігін жазыңыз. Көбіне маңызды метрика — API шақыруына кететін құн емес, қабылданған шығысқа шаққандағы құн.

Көпмодельді бағыттаудың құны қанша?

Әділ салыстыру үшін бірдей жұмыс жүктемесін қолданыңыз. 1 миллион жалпы токенді болжап көрейік: 800 000 кіріс токені және 200 000 шығыс токені. 2026 жылғы 20 тамызда тексерілген каталогқа негізделген тарифтерді қолдансақ:

Егер трафиктің 60%-ы арзан, 30%-ы жылдам және 10%-ы жоғары дәлдік болса, болжамды аралас токен құны шамамен 1 миллион токенге $1.19 болады. Дәл осы миксті толықтай жоғары дәлдік бағытына жіберу шамамен $7.20 болар еді. Бұл — баға есептеуі, аралас саясат сіздің сапа мақсатыңызды орындайтынының дәлелі емес.

Қайта сынаулар мен қабылдамаулар нәтижені өзгертеді. 5% бір реттік қайта сынау $1.19 болжамын шамамен $1.25-ке көтереді. Егер төмен құнды шығыс валидатордан өтпей, сұраным толығымен жоғары дәлдік деңгейінде қайталанса, екі шақыруды да есептеңіз. Көрінерлік арзан модель шолу немесе қайта генерациялау құнын жасырмауы үшін, қабылданған шығыстарды қадағалаңыз.

LLM бағыттауда жиі кездесетін ақаулар қандай?

Қате және қайта сынау нұсқаулығы жылдамдық шектеулері мен платформаның уақытша ақауларын бэк-оффпен қайта сынауды ұсынады, ал қате пішімделген сұранымдар мен аутентификация ақауларын түзету керек. Фолбэк нұсқаулығы да модель фолбэгін реттелген және айқын ұстайды.

Қолданбада бағыттау ма, әлде CometAPI Auto ма: қайсысын қолдану керек?

Бақылау мен қайта өндіру қажет болғанда қолданбалық бағыттауды қолданыңыз. Міндеттер тұрақты болғанда және сізге тұрақты модель сәйкестіктері, деңгейге қарай бюджеттер, арнайы валидаторлар мен аудитке болатын фолбэк реті қажет болғанда, шешімді кода қалдырыңыз. Бұл тәсіл әрі бірдей модель картасын релиздер арасында салыстыруды жеңілдетеді.

CometAPI Auto-ны бағыттау қызметін күтіп ұстауды азайту маңызды болғанда қолданыңыз. Теңгерілген әдепкі үшін model=auto, ал сапаға жоғары басымдық қажет болса model=auto-high қойыңыз. CometAPI сұраным сипаттамалары мен ағымдағы бағыттау пулына сүйене отырып, жарамды модельдерді динамикалық таңдайды; сондықтан астарлы модель өзгеруі мүмкін. Бұл Auto-ны әрбір іске қосу дәл бірдей модельді немесе модельге тән параметрлерді талап еткен жағдайларға азырақ лайық етеді.

LLM бағыттауды өндірісте қалай іске қосуға болады?

Модель тізілімін жаңартыңыз. Жан-жақты енгізерде немесе іске қосу кезінде GET https://api.cometapi.com/api/models` шақырыңыз және конфигурацияланған ID немесе қажетті endpoint жоқ болса, релизді тоқтатыңыз. Модель ID-лері, бағалар және мүмкіндіктер өзгеруі мүмкін.

Провайдерге тән опцияларды маршрутизатордан тыс ұстаңыз. Ортақ Chat Completions беті параметрлердің барлығы бірдей дегенді білдірмейді. Мысалы, logprobs, reasoning басқарулары немесе бірнеше кандидаттар қолдауы әртүрлі болуы мүмкін. Бұл айырмашылықтарды тестіден өткен адаптерлерге шығарыңыз.

Трафик пен шығысты шектеңіз. Сұранымдар қолданбадан шықпай тұрып бір мезгілде орындалуды шектеңіз, 429 үшін джиттермен экспоненциалды бэк-офф қолданыңыз және шығыс токендеріне шекті орнатыңыз. CometAPI-дің rate-limit нұсқаулығы дәл осындай қолданба-жақ бақылауларды ұсынады.

Шешімді логтаңыз. Тапсырма түрін, саясат нұсқасын, таңдалған деңгейді, модель ID-сін, кідірісті, токен қолданылуын, валидация нәтижесін, қайта сынау санын, фолбэк себебін және құн бағасын жазыңыз. Құпиялар мен қажетсіз клиент мазмұнын логтамаңыз.

Бағыттарды дәлелмен жылжытыңыз. Әрбір тапсырма үшін жапсырмаланған бағалау жиынтығын сақтаңыз. Сәйкестік картасын кезең-кезеңімен енгізіңіз, оны алдыңғы саясатпен салыстырыңыз және жылдам кері қайту жолын ұстаңыз.

Жиі қойылатын сұрақтар

CometAPI автоматты түрде қай модель арзан, жылдам немесе дәл екенін шешеді ме?

Бұл оқу құралы саясатты қолданба кодында сақтайды. CometAPI ортақ кілтті, базалық URL-ды, модельдер каталогын, Chat Completions интерфейсін және фолбэк құрау блоктарын береді. Әрбір деңгейді нені білдіретінін және қай модель сынақтан өткені — сіздің командаңыз анықтайды.

Бір CometAPI кілті әртүрлі провайдер модельдерін шақыра ала ма?

Иә. OpenAI-мен үйлесімді мәтіндік бағыттар үшін https://api.cometapi.com/v1 қолданыңыз және model мәнін өзгертіңіз. Енгізер алдында ағымдағы каталогты тексеру қажет.

Неге барлық сұранымды ең арзан модельге жібермеске?

Ең төмен токен тарифі шығыстар валидатордан өтпесе, қайта сынауды қажет етсе немесе адамдық шолуға алып келсе, қымбатқа түсуі мүмкін. Қабылданған нәтижеге шаққандағы құнды салыстырыңыз және жоғары әсерлі тапсырмаларды қатаң сапа қақпасының артына қойыңыз.

Сапа сәтсіздігі фолбэкке триггер бола ма?

Тек сәтсіздік машина арқылы анықталатын және эскалация шектелген жағдайда. Схема қатесі, міндетті өрістің жоқтығы немесе тыйым салынған уәде — бір реттік эскалацияны ақтай алады. Бұлдыр қанағаттанбаушылық шексіз қайталау циклі емес, бағалау дерегіне айналуы керек.

Модель картасы қаншалықты жиі өзгеруі керек?

Каталогтың ағымдағы деректері және қайталанатын бағалау жақсырақ компромисс көрсеткенде өзгертіңіз. Каталогта жаңа атау пайда болды деп қана модельдерді алмастырмаңыз.

Кейін OpenAI моделін қосуға бола ма?

Иә. Ағымдағы OpenAI-мен үйлесімді модель ID-сін MODELS ішіне қосыңыз, сол сұраным мен жауап келісімшартын тестілеңіз және оны бағыт тәртібіне қойыңыз. Клиент, кілт және базалық URL өзгермейді.

LLM бағыттау саясатын қалай ұсталымды етуге болады?

Ең оңай көп-провайдерлік маршрутизатор — автономды қара жәшік емес. Ол — ортақ API қолжетімділігіне, ағымдағы модель метадеректеріне, сапа валидаторына және тар фолбэк тізбегіне сүйенетін қысқа, нұсқаланған тапсырма саясаты. CometAPI байланыстыру жұмысын бір кілт пен бір OpenAI-мен үйлесімді базалық URL-ға дейін азайтады; ал қолданбаңыз құн, кідіріс және сапа шешімдерін өз бақылауында ұстайды.