TL;DR
2026 жылы Kimi K3-ті өз инфрақұрылымыңызда орналастыруға болады, бірақ ашық салмақтар репозиториі шамамен 1.56 TB, ал ресми vLLM рецепті ең аз дегенде 8 NVIDIA GB300 GPU немесе 8 AMD MI355X/MI350X GPU-дан басталады. Өндірістік инференсті тиімді жүргізу үшін Moonshot суперторап конфигурациясындағы 64 немесе одан да көп жеделдеткішті ұсынады. Көпшілік командалар үшін бастапқыда провайдер басқаратын API қауіпі төменірек жол болып қалады.
Kimi K3-ті өзіңіз орналастыру vs API: қысқаша
Kimi K3-ті өзіңіз орналастыру Moonshot-тың ашық модель салмақтарын жүктеп, өз командаңыз немесе бұлттық аккаунтыңыз басқаратын инфрақұрылымда іске қосуды білдіреді. Инфрақұрылымдық қуат, модель сервистері, масштабтау, қауіпсіздік, жаңартулар, мониторинг және сенімділік үшін ұйымыңыз жауап береді.
Kimi K3 API арқылы қол жеткізу GPU кластерін басқармай-ақ, провайдер басқаратын соңғы нүктеге сұраулар жіберуді білдіреді. Провайдер модель сервистері мен сыйымдылықты басқарады, ал сіздің командаңыз негізінен қолданбаны интеграциялауға шоғырланып, пайдалануға қарай төлейді.
Moonshot 2026 жылғы 16 шілдеде ресми техникалық блогында Kimi K3-ті таныстырып, 27 шілдеге қарай толық салмақтарды шығарды. Модель енді ашық-салмақ чекпойнты ретінде қолжетімді, бірақ “ашық салмақтар” ұғымын “жергілікті іске қосу оңай” деп шатастырмау керек. Кеңірек мүмкіндіктер мен бенчмарк шолуы үшін CometAPI-дің Kimi K3 қолжеткізу нұсқаулығын қараңыз.
Айырмашылық тек модельге қолжетімділікте емес. Инфрақұрылым, сыйымдылықты жоспарлау, жаңартулар және операциялық тәуекел үшін кім жауап беретіні маңызды.
| Шешім факторы | Өз инфрақұрылымында Kimi K3 | Хостталған Kimi K3 API |
|---|---|---|
| Модельге қолжеткізу | Шығарылған салмақтар мен сервис конфигурациясына толық қолжеткізу | Провайдер басқаратын соңғы нүкте арқылы қолжеткізу |
| Салмақ ізі | Жария модель репозиторийінде шамамен 1.56 TB | Модельді жүктеу не сақтау талап етілмейді |
| Ресми минимум | 8x NVIDIA GB300 немесе 8x AMD MI355X/MI350X | GPU сатып алу қажет емес |
| Өндірістік нұсқаулық | Жоғары өткізу қабілетті байланыс домені бар көп-торапты | Провайдер сыйымдылық пен масштабтауды басқарады |
| Құн құрылымы | Тұрақты инфрақұрылым + инженерия және операциялар | Айнымалы, пайдалану негізіндегі есеп айырысу |
| Пайдалану тәуекелі | Бос тұрған сыйымдылық та шығын әкеледі | Шығын әдетте нақты пайдалануға сай жүреді |
| Жаңарту жауапкершілігі | Рантаймдар, салмақтар және сервис өзгерістерін сіздің команда тексереді | Провайдер сервис стекинг жаңартуларын басқарады |
| Деректер жолын бақылау | Орналастыру, логтау және сақтауға кеңірек бақылау | Провайдердің архитектурасы мен шарттарына тәуелді |
| Лицензияны қарау | Kimi K3 License салмақтарды пайдалануды тікелей реттейді | Хостталған қолжеткізуді провайдер шарттары реттейді |
| Ең жақсы сәйкестік | Тұрақты жүктеме, бөлінген инференс бойынша тәжірибе, қатаң бақылау талаптары | Бағалау, ауыспалы сұраныс, жылдам іске қосу, шектеулі инфрақұрылымдық штат |
Басты сұрақ — өзін-өзі орналастыру техникалық мүмкін бе — емес. Сіздің команда қажетті инфрақұрылымды жеткілікті жүктемеде ұстап, оны жеткілікті сенімділікпен басқара ала ма — және қабылданған тапсырмаға шаққандағы жалпы құн бойынша хостталған қолжеткізуден оза ала ма — соны анықтау.
Kimi K3-ті өзіңіз орналастыра аласыз ба?
Иә. Moonshot толық салмақтарды ресми Kimi K3 репозиторийінде жеке Kimi K3 License аясында жариялады. Жария орналастыру жолдарына vLLM, SGLang және TokenSpeed кіреді.
Алайда Kimi K3 жұмыс станциясы деңгейіндегі модель емес. Бұл 2.8 триллион параметрлі Mixture-of-Experts моделі, әр токенге 104 миллиард активтелген параметр, 896 маршрутизацияланатын сарапшы, жергілікті мультимодаль мүмкіндіктер, MXFP4 салмақтары, MXFP8 активациялары және 1,048,576 токенге дейін контексттік терезесі бар.
104B активтелген параметр көрсеткіші әр токен қадамында пайдаланылатын модель сыйымдылығын сипаттайды. Бұл тек 104B параметрді сақтау жеткілікті дегенді білдірмейді. Генерация кезінде роутер әртүрлі сарапшыларды таңдай алады, сондықтан толық сарапшылар жиыны орналастырылған модель құрамында қалады.
Kimi K3-ті өзіңіз орналастыру vs API: инфрақұрылым талаптары
Kimi K3-ті өзіңіз орналастыру үлкен бөлінген GPU ортасын талап етеді, ал хостталған API базалық модель-сервис кластерін басқару қажеттілігін алып тастайды. 2026 жылы ресми өзін-өзі орналастыру базасы 8 NVIDIA GB300 немесе 8 AMD MI355X/MI350X GPU-дан басталады, ал API пайдаланушыларына тек стандартты қолданба инфрақұрылымы қажет.
Айырмашылық тек GPU-ларға кім иелік ететіні туралы емес. Өзін-өзі орналастыру кезінде модель сақтау, көп-торапты желі, сыйымдылықты жоспарлау, орналастыру, масштабтау, мониторинг, жаңарту және ақаулардан қалпына келтіру үшін де сіздің командаңыз жауап береді. Хостталған API-де осының басым бөлігі провайдерге өтеді.
Өзін-өзі орналастыруға арналған аппараттық талаптар
Ағымдағы ресми vLLM рецепті толық Kimi K3 чекпойнтын іске қосу үшін келесі алғышарттарды көрсетеді:
- NVIDIA: кемінде 8x GB300 GPU
- AMD ROCm: кемінде 8x MI355X немесе MI350X GPU
- Өндірістік трафик: көп-торапты орналастыру ұсынылады
- vLLM: 0.27.0 немесе одан жаңа нұсқа, Kimi K3 бейнесі және құжатталған орналастыру профильдерімен
Бұл талаптар құжатталған төменгі шекті білдіреді, бірақ сегіз GPU-лы жүйе кез келген өндірістік жүктемені көтеретініне кепіл емес.
Moonshot-тың іске қосу құжаттамасы бұдан да әрі барады. Жоғары инференс тиімділігі үшін Kimi K3-ті 64 немесе одан да көп жеделдеткіші бар суперторап конфигурацияларында орналастыру ұсынылады. Бұл ұсыныс жоғары параллелділік, ұзын контекст немесе жүктеме астындағы предсказуем латенттілік көзделген командалар үшін әсіресе өзекті.
Тұйық орын тек жиынтық GPU жадында емес. Kimi K3 әр токен үшін 896 сарапшының 16-сын активтейді, сондықтан эксперт-параллелді орналастырулар жеделдеткіштер арасында ауқымды all-to-all коммуникация тудырады.
Ресми vLLM рецепті RDMA орталарында deepep_v2 сияқты, ал тораптар арасындағы NVLink негізіндегі коммуникация үшін flashinfer_nvlink_one_sided сияқты байланыс бэкендтерін ұсынады. Соның салдарынан баяу желі арқылы қосылған сегіз GPU жоғары өткізу қабілетті, тығыз байланысқан жүйедегі сегіз GPU-ға операциялық тұрғыда балама болмайды.
Өздігінен орналастыруға қанша сақтау мен жады керек?
Ресми Hugging Face репозиторийіне сай Kimi K3 ашық чекпойнты шамамен 1.56 TB.
Төрт биттік сақтаудағы 2.8 триллион параметрдің теориялық төменгі шегі:
2.8 trillion parameters × 4 bits ÷ 8
= 1.4 trillion bytes
= about 1.4 TB, or 1.27 TiB
Неліктен Kimi K3 стандартты модельге қарағанда қызмет көрсетуде күрделірек?
Kimi K3 күрделірек, өйткені оның бөлінген MoE архитектурасы all-to-all сарапшы трафигін, ұзын контекст үшін кэш жоспарлауды, модельге тән пайымдау тарихын және құрал-қоңыраулардың валидациясын біріктіреді. Командалар оны кәдімгі бір-торапты модель соңғы нүктесі ретінде емес, өзара қосылым өнімділігін, параллелизмді, префилл және декод мінезін, параллел сұраныстарды және қайта талпынысты біріктіріп бенчмарктауы тиіс.
Ресми vLLM рецепті бірнеше өндірістік аспектіні атап өтеді:
- Тораптар арасындағы трафикке лайық all-to-all бэкенд және жоғары өткізу қабілетті байланыс матасы қажет.
- MoE бэкенді параллелизм стратегиясына және аппараттық топологияға қарай өзгереді.
- Тензорлық параллелизм, эксперттік параллелизм және құжатталған бөлінген префилл/декод профильдері нақты жүктемеге қарсы өлшенуі тиіс.
max-model-len, параллелділік және жадты пайдалану әдепкі мәндермен емес, нақты жүктемеге сай бапталуы керек.- K3 кейде өзінің парсері күткендей емес құрал-қоңырау форматын шығара алады; рецепт схема валидациясын және қайта талпынысты өңдеуді ұсынады.
1M-токен контекстін шектеусіз қолдануға бола ма?
Жоқ. Moonshot сұрауда ұзын контекст пайдаланылғаны үшін бөлек көтеріңкі тариф қолданбайды, бірақ ұзын промпт бәрібір кіріс токендерін тұтынып, префилл жұмысын, KV-кэш сұранысын, кідірісті және параллелділік қысымын арттырады. max-model-len мәнін әдепкі бойынша максимумға емес, шын қызмет көрсетілетін жүктемеңізге сай баптаңыз.
Қолданбамен үйлесімділік те маңызды. Moonshot-тың Kimi K3 API quickstart құжатына сай, K3 әрқашан пайымдау жасайды және reasoning_effort үшін low, high және max мәндерін қолдайды, әдепкіде max. Бұл шығарылатын токен көлемін ұлғайтуы мүмкін, бірақ үстеме нақты тапсырма мен күш деңгейіне байланысты өзгереді. Бекітілген көбейткішті жорамалдамай, өз бағалау жиыныңызда пайымдау мен шығару токендерін өлшеңіз. Көпайналымды диалогтар мен құрал-қоңыраулар үшін тек көрінетін жауапты ғана емес, reasoning_content және tool_calls қоса алғандағы толық ассистент хабарламасын қайтарыңыз.
Хостталған соңғы нүкте кластер деңгейіндегі жұмыстың басым бөлігін алып тастайды, бірақ қолданба деңгейіндегі валидация, қайта талпыныс логикасы, латенттілік өлшеуі және көпайналымды күйді өңдеу қажеттілігін жоймайды.
Kimi K3 API қанша тұрады?
2026 жылғы шілде айына қарай Moonshot 1M кэш-хит кіріс токеніне $0.30, 1M кэш-мисс кіріс токеніне $3.00 және 1M шығыс токеніне $15.00 алады. Нақты құн префикс-кэшті қайта пайдалану мен шығару ұзындығына қатты тәуелді, сондықтан командалар тақырыптық кіріс тарифін ғана салыстырмай, өндірістік сипаттағы сұраулармен есептелген пайдалану көрсеткіштерін өлшеуі тиіс.
Moonshot-тың ресми Kimi K3 бағалар беті келесіні көрсетеді:
| API қолдану | 1M токенге ресми баға |
|---|---|
| Кэш-хит кірісі | $0.30 |
| Кэш-мисс кірісі | $3.00 |
| Шығыс | $15.00 |
Тікелей сұрау құны формуласы:
API құны =
(cache-hit input tokens ÷ 1M × $0.30)
- (cache-miss input tokens ÷ 1M × $3.00)
- (output tokens ÷ 1M × $15.00)
Мысалы, 300,000 кіріс токені және 30,000 шығыс токені бар сұрау:
- Барлық кіріс кэш-мисс ретінде есептелсе, құны: $1.35
- Барлық кіріс кэш-хит ретінде есептелсе, құны: $0.54
Нақты жүктемелер әдетте осы екі жағдайдың арасында болады. Кэш өнімділігі қолданбаның өзгермейтін префиксті қаншалықты тұрақты қайта пайдаланатынына және провайдердің кэшті қалай іске асырғанына байланысты.
Хостталған баға провайдерге қарай да өзгереді. 2026 жылғы шілде айына қарай CometAPI Kimi K3-ті 1M кіріс токеніне $2.40 және 1M шығыс токеніне $12.00 деп көрсетеді — Moonshot-тың кэш-мисс кірісі үшін $3.00 және шығысы үшін $15.00 стандартты тарифтерінен 20% төмен. Алайда бұл әмбебап 20% үнемдеу емес. Moonshot 1M кэш-хит кіріс токеніне небары $0.30 алады, сондықтан кэш-хит үлесі жоғары жүктемелер ресми API арқылы арзанырақ болуы мүмкін.
Ағымдағы баға көзі ретінде CometAPI-дегі тірі модель бетін пайдаланыңыз, ал құн мысалдары үшін Kimi K3 API бағалар нұсқаулығын қараңыз. Екі жолды да бірдей бағалау жиынындағы нақты есептелген пайдалануға сүйеніп салыстырыңыз — кэш-хиттер, пайымдау шығысы, қайта талпыныстар және қабылданған тапсырма үлесімен бірге.
Kimi K3-ті өзіңіз орналастыру қанша тұрады?
Kimi K3-ті өзіңіз орналастырудың әмбебап бағасы жоқ. Толық құн кластер өлшеміне, шарттарға, өнімді пайдалануға, желіге, сақтауға, инженерияға және сенімділік мақсаттарына тәуелді. Сегіз GPU-лық жоспарлау сценарийінің өзінде инфрақұрылым айына $58,000-нан аса алады, ал Moonshot ұсынған 64+ жеделдеткіштік өндірістік топология әлдеқайда ірі құн моделін қажет етеді.
Толық айлық модельді пайдаланыңыз:
Айлық өзін-өзі орналастыру құны =
жеделдеткіш немесе кластер құны
- платформалық инженерия
- инференс операциялары
- желі және сақтау
- бақыламалылық және қауіпсіздік
- артықтық және бос қуат қоры
Сегіз GPU-лық инфрақұрылым сценарийлері (иллюстративті)
Төмендегі кестеде айына 730 сағат және әрқашан қолжетімді ең кіші кластер үшін үш гипотетикалық тариф пайдаланылған. Бұл сандар жоспарлау енгізулері, нақты котировкалар емес. Сондай-ақ олар Moonshot-тың 64+ жеделдеткіштік өндірістік ұсынымын білдірмейді.
| Болжамды кластер тарифі | Айлық инфрақұрылым құны | Шығынға тең келетін сұраныстар ($1.35 әрқайсысы) | Шығынға тең келетін сұраныстар ($0.54 әрқайсысы) |
|---|---|---|---|
| $80/hour | $58,400 | 43,300 | 108,100 |
| $120/hour | $87,600 | 64,900 | 162,200 |
| $160/hour | $116,800 | 86,500 | 216,300 |
Инженерияны, мониторингті, артықтықты, желіні және бос қуатты қосу өзін-өзі орналастыру шегін көтереді. Үлкен өндірістік топология оны одан әрі арттырады.
Пайдалану маңызды, бірақ әмбебап шек жоқ
Өзін-өзі орналастыру қашан арзанырақ болатынын анықтайтын әмбебап GPU-пайдалану пайызы жоқ. Қажетті деңгей өткізу қабілетіне, жабдық құнына, кідіріс мақсаттарына, артықтыққа және жабдықтың жаңа шығын немесе бұрыннан бар актив болуына тәуелді.
Оның орнына өнімді пайдалануды қадағалаңыз:
Өнімді пайдалану =
қабылданған жүктемеге жұмсалған кластер-сағаттары
÷ жалпы резервтелген кластер-сағаттары
Жоғары пайдалану саны жеткіліксіз, егер сұраулар кідіріс немесе сапа мақсаттарын орындай алмаса. Сол сияқты, егер жабдық басқа жүктемелер үшін де бұрыннан жұмсалған болса, төмендеу көрсеткіш те қабылдануы мүмкін. Пайдалануды TCO үлгісінің кірісі ретінде қарастырыңыз, жеке шешім ережесі ретінде емес.
Ең пайдалы бөлім бір жәй сұраулар саны емес. Ол — қабылданған эквивалент жұмыс:
Нөлдік нүктедегі қабылданған тапсырмалар =
айлық өзін-өзі орналастырудың жалпы құны
÷ қабылданған эквивалент тапсырмаға шаққандағы хостталған API құны
Екі жақта да сәтсіздіктер, қайта талпыныстар, кідіріс бұзылуы, адамдық тексеру және сапасы төмендеген нәтижелерді есептеңіз. Бір салмақты пайдаланатын екі соңғы нүкте егер біреуі қолданбаның сенімділік не сапа мақсатын орындай алмаса, экономикалық тұрғыда баламалы емес.
Kimi K3 лицензиясы неге рұқсат береді?
Жеке Kimi K3 License салмақтар мен софтты қолдануға, көшіруге, өзгертуге, дәлдеуге (fine-tune), орналастыруға, таратуға, сублицензиялауға және сатуға кең құқық береді. Ол сондай-ақ ірі “Model as a Service” бизнесі мен ауқымды коммерциялық өнімдер үшін маңызды шарттарды қамтиды.
| Лицензиялық сұрақ | Жарияланған шарт |
|---|---|
| Компания салмақтарды қолдана және өзгерте ала ма? | Иә, лицензия шарттары мен қолданылатын заңға бағынумен |
| “Model as a Service” деген не? | Үшінші тарапқа кіріс, параметрлер немесе оқу деректеріне мәнді бақылау беретін инференс не дәлдеу қолжеткізімі |
| Бұл анықтамадан не шығарылған? | Ендірілген өнім функциялары және басқа хостқа жай репост/транзит |
| MaaS келісімін не триггерлейді? | Лицензия алушы және аффилиаттары жүргізетін MaaS бизнесінде кез келген 12 айда жиынтық кірістің $20 млн-нан асуы |
| Бұл шектен жоғары не болады? | Софт немесе туындыларды коммерциялық қолдануға дейін Moonshot-пен бөлек келісім қажет |
| Қашан көрінетін атрибуция талап етіледі? | Айлық 100 млн-нан көп MAU-ы немесе айлық $20 млн-нан көп кірісі бар коммерциялық өнім/қызмет “Kimi K3”-ті айқын көрсетуі тиіс |
| Қай қолданулар 2 және 3-баптардан босатылады? | Ішкі пайдалану және Moonshot-тың ресми өнімдері не сертификатталған инференс серіктестері арқылы қолжеткізу |
Көпшілік ішкі орналастырулар мен кәдімгі коммерциялық қолданбалар үшін лицензия әдетте пайдалануды тыймайды. Тікелей модель қолжеткізімін сататын, модель API-ін басқаратын немесе аталған шектерге жақындап қалған командалар өнім дизайны мен корпоративтік құрылымды кеңеспен мұқият қарап шыққаны жөн.
“Ашық салмақ” — “толық ашық кодқа” қарағанда дәлірек сипаттама, өйткені пайдалану стандартты рұқсатты софт лицензиясымен ғана емес, осы жеке лицензиямен реттеледі.
API vs өзіңіз орналастыру: қайсысын таңдаған дұрыс?
2026 жылы көпшілік командалар үшін хостталған API — сұраныс, кэш мінезі және қабылданған тапсырмаға шаққандағы құн әлі де белгісіз болғандықтан — жақсырақ алғашқы қадам. Өзін-өзі орналастыруды тек тұрақты пайдалану, деректер жолына талаптар немесе рантаймды жеке баптау сенімді өндірістік эквивалент үшін толық құнмен салыстырылып, өлшенген кезде таңдаңыз.
Хостталған API таңдаңыз, егер:
- Трафик жаңа, ауыспалы немесе болжауға қиын.
- GPU сатып алу циклін күтпей-ақ өндірістік қолжеткізу қажет.
- Командаңызда бөлінген MoE инференсін басқару тәжірибесі жоқ.
- Пайдалану есептелген нөлдік нүктеңізден едәуір төмен.
- Басқарылатын масштабтау, жаңартулар және сыйымдылық рантайм бақылауынан құндырақ.
- Провайдердің деректермен жұмыс істеуі және қызмет шарттары талаптарыңызға сай.
Өзіңіз орналастыруды таңдаңыз, егер:
- Сұраныс тұрақты және кластерді жоғары деңгейде пайдалануға жеткілікті болжамды.
- Ұйымыңызда бөлінген GPU инфрақұрылымы мен инференс инженерлері бар.
- Бақыланатын деректер жолы, оқшауланған орта немесе арнайы сақтау саясаты қатаң талап.
- Модель нұсқаларына, жоспарлауға, рантайм баптауларына немесе дәлденген салмақтарға тікелей бақылау керек.
- Өлшенген хостталған шығын сенімді ішкі эквиваленттің толық құнына жақындайды.
- Құқықтық тексеріс жоспарланған қолданудың Kimi K3 License-ке сай екенін растайды.
Гибридтік орналастыруды қарастырыңыз, егер:
- Базалық сұраныс болжамды, бірақ трафикте үлкен серпіндер бар.
- Өзін-өзі орналастырылған қуат тұрақты жүктемені көтереді, ал API артық жүктемені өңдейді.
- Техникалық қызмет не өңірлік ақаулар үшін басқарылатын резерв қажет.
- Промпттар, құрал схемалары, қабылдау тесттері және модель мінезі екі жол арасында тасымалданымды болып қалады.
Гибридтік стратегия бағыттау және бақыламалылық күрделілігін қосады, сондықтан ол тек архитектуралық ұстаным үшін емес, өлшенген сыйымдылық немесе орнықтылық мәселесін шешуі тиіс.
API мен өзін-өзі орналастырудың нөлдік нүктесін қалай сынау керек?
Бірдей өндірістік сипаттағы бағалау жиынын хостталған және өзін-өзі басқарылатын жолдардан өткізіңіз де, тек шикі токен бағасы немесе GPU жалдауын емес, қабылданған тапсырмаға шаққандағы құнды салыстырыңыз. Сенімді тест кемінде бір өкілдік кезеңге кэш-хиттерді, шығару токендерін, кідірісті, қайта талпыныстарды, сапаны, параллелділікті, инженерия уақытын, бос қуатты және ақаудан қалпына келуді өлшеуі тиіс.
- Өкілдік бағалау жиынын жасаңыз. Кодинг, ұзын контекст, көру және құрал-қоңыраулар қоспасын қамтитын 30–50 тапсырма енгізіңіз.
- Хостталған пайдалануды кемінде бір апта өлшеңіз. Кіріс токендерін, кэш-хит токендерін, шығару токендерін, кідірісті, қайта талпыныстарды, қателерді және қабылданған тапсырма үлесін жазыңыз.
- Ұсынылған өзін-өзі орналастыру топологиясын сынаңыз. Жоспарланған контекст шектері, параллелділік, параллелизм және сенімділік баптауларын пайдаланыңыз — бір пайдаланушылық демонстрация емес.
- Толық айлық құнын есептеңіз. Кластер уақытын, инженерияны, бақыламалылықты, артықтықты, сақтауды, желіні, қауіпсіздікті және бос қуат қорын қосыңыз.
- Қабылданған тапсырма экономикасын салыстырыңыз. Сапа, кідіріс және сенімділік тең екенін растағаннан кейін ғана құнды салыстырыңыз.
- Ақау сценарийлерін іске қосыңыз. Торап жоғалуы, релизді кері қайтару, кезектің өсуі, ұзын контекст серпіндері және қате құрал-қоңырауларын сынаңыз.
- Өзін-өзі орналастыруды тек операциялық негіздеме өлшенгенде ғана мақұлдаңыз. Стратегиялық бақылау жоғары құнды ақтауы мүмкін, бірақ трейд-офф айқын болуы керек.
Хостталған базалық жол үшін CometAPI quickstart OpenAI-мен үйлесімді маршрут ұсынады. Басқа провайдерге немесе өзін-өзі орналастырылған соңғы нүктеге сынағанда промпттарды, құралдарды және қабылдау критерийлерін өзгеріссіз ұстаңыз.
Жиі қойылатын сұрақтар
Kimi K3 бір ғана GPU-да жұмыс істей ала ма?
Ресми толық модель сервистеу нұсқаулығына сай — жоқ. vLLM рецепті 8 NVIDIA GB300 GPU немесе 8 AMD MI355X/MI350X GPU-дан басталады және шынайы өндірістік трафик үшін көп-торапты инфрақұрылымды ұсынады. Соңғы топология контекст ұзындығына, параллелділікке, кідіріс пен артықтық мақсаттарына тәуелді.
Kimi K3-ті өзіңіз орналастыруға қанша сақтау керек?
Жария Hugging Face репозиторийі шамамен 1.56 TB. Рантайм жады талаптары бұдан жоғары, себебі сервистеу квантизация метадеректерін, активацияларды, KV-кэшті, коммуникация буферлерін және параллелділік қорын қажет етеді.
Kimi K3 ашық бастапқы кодты ма?
Kimi K3-ті жеке Kimi K3 License аясындағы ашық салмақты модель деп сипаттаған дұрысырақ. Салмақтар жария және өзгертіліп, орналастырыла алады, бірақ ірі MaaS операторлары мен өте ірі коммерциялық өнімдер үшін қосымша шарттар бар.
Kimi K3-ті өзіңіз орналастыру API-ден арзан ба?
Жоғары, тұрақты пайдалану кезінде арзан болуы мүмкін, бірақ әмбебап нөлдік нүкте жоқ. Сенімді эквивалент өндірістік орналастырудың толық айлық құнын хостталған қабылданған тапсырмаға шаққандағы құнымен салыстырыңыз — кэш мінезі, қайта талпыныстар, кідіріс және бос қуатты қосқанда.
Қандай инференс қозғалтқыштары Kimi K3-ті қолдайды?
Moonshot қазір vLLM, SGLang және TokenSpeed-ті ұсынады. vLLM рецепті ең айқын аппараттық базаны береді, алайда әр қозғалтқыш әлі де жүктеме-спецификалық валидацияны қажет етеді.
Инфрақұрылым сатып алмас бұрын хостталған жолды сынаңыз
Kimi K3-тің ашық салмақтары өзін-өзі орналастырудың нақты мүмкіндігін береді, бірақ чекпойнт өлшемі мен бөлінген сервистеу талаптары оны кәдімгі модель орналастырудан гөрі инфрақұрылымдық жобаға айналдырады.
Бекітілген бағалау жиынынан бастаңыз. Хостталған соңғы нүкте арқылы токен пайдалануды, кэш мінезін, кідірісті, қайта талпыныстарды және қабылданған тапсырма сапасын өлшеңіз. Сосын дәл сол нәтижелерді толық айлық құнмен — тек GPU шотымен емес — салыстыра отырып, жүктемемен тексерілген өзін-өзі орналастыру топологиясымен салыстырыңыз.
CometAPI базалық деңгейді орнатуға OpenAI-мен үйлесімді маршрут береді. Іске асыру бөлшектері үшін Kimi K3 API-ін пайдалану жөніндегі нұсқаулықты қолданыңыз, көшу қадамдары үшін CometAPI quickstart нұсқаулығын қараңыз және ағымдағы қолжеткізу мен тарифтер үшін тірі Kimi K3 модель беті мен бағалар бетін пайдаланыңыз.