MiMo-V2.5-Pro техникалық сипаттамалары
| Сипаттама | MiMo-V2.5-Pro |
|---|---|
| Модель идентификаторы | mimo-v2.5-pro |
| Жеткізуші | Xiaomi MiMo |
| Модель түрі | Агенттік ірі тілдік модель |
| Архитектура | Сирек сарапшылар қоспасы |
| Жалпы параметр саны | 1.02T |
| Белсендірілген параметр саны | 42B |
| Контекстік терезе | 1M токен |
| Шығыс | Мәтін |
| Назар аудару архитектурасы | Гибридті SWA + Глобалды назар |
| Оқыту токендері | 27T |
| Негізгі модель контексті макс. | 256K |
| Pro контексті макс. | 1M |
| Лицензия | MIT |
1.02T жалпы параметр мен 42B белсенді параметр арасындағы айырмашылық маңызды. MiMo-V2.5-Pro — MoE модель: әр токен қолжетімді параметрлердің тек бір бөлігін белсендіреді. Бұл оның инференс есептеу профилін тығыз 1T-параметрлі модельмен салыстырғанда едәуір өзгертеді, дегенмен толық модель әлі де орасан жад пен орналастыру талаптарын қояды.
MiMo-V2.5-Pro негізгі мүмкіндіктері қандай?
1. Триллиондық ауқымдағы сирек MoE архитектурасы
MiMo-V2.5-Pro құрамында 1.02T жалпы параметр және 42B белсендірілген параметр бар.
Архитектурада 384 бағытталған сарапшы бар, әрбір токен үшін сегіз сарапшы белсендіріліп отырады. Модельде 70 трансформер қабаты бар: бір тығыз қабат және 69 MoE қабаты.
Бұл стандартты MiMo-V2.5-пен салыстырғанда анағұрлым жоғары көрсетілімдік сыйымдылық береді және әр токен үшін барлық 1.02T параметрді белсендіру есептеу құнынан сақтайды.
Практикалық қорытынды:
MiMo-V2.5-Pro жалпы сыйымдылығы бойынша триллион-параметрлі модель, бірақ әр токенге арналған есептеулер оның 42B белсенді-параметрлік жолымен айқындалады.
2. 1 миллион токендік контекст
Модель 1M токенге дейінгі контекстті қолдайды.
Бұл автономды агенттер үшін ең маңызды мүмкіндіктердің бірі, себебі ұзақ жұмыс процестері келесілерді жинақтай алады:
- Құрал нәтижелері
- Бастапқы код
- Іздеу нәтижелері
- Құжаттама
- Аралық ой жүгірту күйі
- Пайдаланушы нұсқаулары
- Орындалу журналдары
Көне контекстті үнемі қысқаша мазмұндап, тастай берудің орнына агент әлдеқайда үлкен жұмыс тарихын сақтай алады.
Xiaomi-дың ұзын контекст бойынша бағалауы модельді 32K-дан 1M енгізу токендеріне дейін тексереді.
3. Гибридті сырғымалы терезе және глобалды назар
MiMo-V2.5-Pro Sliding Window Attention (SWA) мен Глобалды назардың 6:1 қатынасын қолданады, 128 токендік сырғымалы терезесі бар.
Архитектурада:
- 60 SWA қабаты
- 10 глобалды назар қабаты
- 128 токендік SWA терезесі
Xiaomi бұл дизайн KV-cache сақтауын шамамен 7× азайтып, learnable attention-sink bias арқылы ұзын контекст өнімділігін сақтайтынын хабарлайды.
Бұл модельдің техникалық тұрғыдан ең маңызды бөліктерінің бірі.
1M контекстік терезе әр қабат бүкіл тізбекке толық назар аударса, өте қымбат. Гибридті назар әр қабаттың ғаламдық түрде назар аударуы тиіс ақпарат көлемін азайтып, ұзақ қашықтықтағы байланыстар үшін арнайы глобалды назар қабаттарын сақтайды.
4. Көп токенді болжау
MiMo-V2.5-Pro құрамында үш жеңіл MTP модулі бар.
Көп токенді болжау модельге болашақта бірнеше токенді болжауға мүмкіндік береді, бұл спекулятивті стильдегі декодтау мен инференсті жеделдетуге пайдаланылуы мүмкін.
Xiaomi өзінің MTP архитектурасы сипатталған орналастыру конфигурациясында инференс кезінде шығыс жылдамдығын үш есе арттыра алатынын хабарлайды.
Бұл әсіресе агенттер үшін маңызды, өйткені агент ұзақ траектория бойында үлкен көлемде аралық шығыс тудыруы мүмкін. Токен генерация жылдамдығын арттыру жалпы тапсырма кідірісіне елеулі әсер етеді.
5. Агенттік күшейтілген оқыту
MiMo-V2.5-Pro-дың пост-оқыту конвейері мыналарды қамтиды:
- Бақыланатын дәл баптау
- Ауқымды агенттік күшейтілген оқыту
- Көп мұғалімді on-policy дистилляция (MOPD)
Оқыту мақсаты статикалық бенчмарктердегі жауап беруден гөрі күрделі агенттік мінез-құлыққа айқын бағытталған.
Сондықтан модельдің ең мықты бағалары кодтау, терминалмен өзара әрекеттесу, ұзын контексттік пайымдау және агенттік бенчмарктерде шоғырланған.
6. 27T токенмен алдын ала оқыту
MiMo-V2.5-Pro шамамен 27 триллион токенде FP8 аралас дәлдікпен және бастапқы 32K тізбек ұзындығымен алдын ала оқытылған, кейін 1M кеңейтілген контекстті қолдауға ие болды.
Алдын ала оқыту ауқымы мен триллион-параметрлі MoE архитектурасының үйлесімі MiMo-V2.5-Pro-ды қазіргі шекаралық модельдер класына нық орналастырады.
MiMo-V2.5-Pro бенчмарктерде қалай өнімділік көрсетеді?
Жарияланған бағалау нәтижелері жалпы пайымдау бенчмарктері мен практикалық кодтау/агенттік бағаларды қамтитындығымен пайдалы.
| Бенчмарк | MiMo-V2.5-Pro нәтижесі | Бағалау түрі |
|---|---|---|
| SWE-Bench Verified | 78.9 | Бағдарламалық жасақтама инженериясы |
| SWE-Bench Pro | 57.2 | Бағдарламалық жасақтама инженериясы |
| Terminal-Bench 2.0 | 68.4 | Терминал агенті |
| GSM8K | 99.6 | Математикалық пайымдау |
| GPQA Diamond | 66.7 | Магистрлік деңгейдегі пайымдау |
| MMLU-Pro | 68.5 | Жалпы пайымдау |
| MMLU | 89.4 | Жалпы білім/пайымдау |
| MMLU-Redux | 92.8 | Жалпы білім/пайымдау |
| HumanEval+ | 75.6 | Код генерациясы |
| MBPP+ | 74.1 | Python бағдарламалау |
| LiveCodeBench v6 | 39.6 | Бәсекелік кодтау |
| ARC-Challenge | 97.2 | Пайымдау |
| AIME 2024/2025 | 37.3 | Жарыстық математика |
Нәтижелер бағдарламалық жасақтама инженериясы мен математикалық пайымдауда ерекше мықты профильді көрсетеді. SWE-Bench Verified-тағы 78.9 және Terminal-Bench 2.0-дегі 68.4 көрсеткіштері автономды кодтау жүйелерін құратын әзерлеушілер үшін әсіресе маңызды.
Ұзын контекст өнімділігі
Ұзын контекст нәтижелері стандартты бенчмарктерден де қызығырақ.
GraphWalks бағасында MiMo-V2.5-Pro экстремалды контекст ұзындықтарында өлшенетін өнімділікті сақтайды:
| Контекст | BFS | Ата-түйіндер |
|---|---|---|
| 512K | 0.56 | 0.92 |
| 1M | 0.37 | 0.62 |
Xiaomi алдыңғы MiMo-V2-Pro 128K-дан кейін тез нашарлап, екі қосалқы тапсырмада 1M-де 0.00-ге жететінін, ал V2.5-Pro толық 1M контексте нөлден жоғары өнімділікті сақтайтынын хабарлайды.
Бұл маңызды айырмашылық: MiMo-V2.5-Pro-дың 1M контексті тек теориялық максимум емес; жарияланған ұзын контекст бағасы осы терезенің тереңінде де пайдалы өнімділікті көрсетеді.
Нақты агент мысалдары
| Тапсырма | Ескертілген нәтиже |
|---|---|
| PKU SysY Compiler | 4.3 сағат |
| Компилятор тапсырмасы кезіндегі құрал шақырулары | 672 |
| Компилятор тесттері өтті | 233/233 |
| Толық стек бейне редакторы | 11.5 сағат |
| Бейне редактор үшін генерацияланған код | 8,192 жол |
| Адам араласуы | Ештеңе хабарланбаған |
| Ұзақ горизонттағы құрал шақырулары | Және 1,000-ға жуық |
Бұлар стандартталған бенчмарк ұпайлары емес, Xiaomi-дың демонстрациялары.
MiMo-V2.5-Pro мен MiMo-V2.5 салыстыруы
Екі модель бір буынға жатады, бірақ әртүрлі жүктемелерге бағытталған.
| Сипаттама | MiMo-V2.5 | MiMo-V2.5-Pro |
|---|---|---|
| Жалпы параметр саны | 310B | 1.02T |
| Белсендірілген параметр саны | 15B | 42B |
| Контекст | 1M | 1M |
| Қабаттар | 48 | 70 |
| Бағдарланған сарапшылар | 256 | 384 |
| Сарапшылар/токен | 8 | 8 |
| Толық назар қабаттары | 9 | 10 |
| SWA қабаттары | 39 | 60 |
| Негізгі фокус | Омнимодалды агенттер | Күрделі агенттер/кодтау |
| Видео/аудио/бейне түсіну | Иә | Негізінен тіл/агентке бағытталған |
| Ұзақ горизонттағы агент өнімділігі | Күшті | Флагмандық |
Таңдау жай ғана "Pro жақсырақ" дегенді білдірмейді.
Егер қолданбаға бейне, аудио және бейнені табиғи түсіну қажет болса, MiMo-V2.5 — табиғи таңдау. Жұмыс жүктемесі күрделі пайымдау, бағдарламалық инженерия, терминалмен өзара әрекеттесу және ұзақ жұмыс істейтін агенттерге шоғырланса, MiMo-V2.5-Pro — мықтырақ нұсқа.
MiMo-V2.5-Pro шектеулері
1. Тек мәтіндік модель кірісі
mimo-v2.5-тен айырмашылығы, Pro модельдің ресми сипаттамасында кіріс модальдігі ретінде Мәтін көрсетілген. Оны V2.5 отбасының мультимодалды моделі ретінде жарнамалауға болмайды.
2. Өздігінен орналастыру үшін жоғары есептеу талаптары
Модель шамамен 1T жалпы параметр / 42B белсенді параметрге ие, бұл жергілікті орналастыруды шағын ашық модельдермен салыстырғанда әлдеқайда талапшыл етеді.
3. Агент өнімділігі фреймворкке байланысты
Xiaomi-дың мыңға жуық құрал шақыруы туралы мәлімдемесі тиісті Агент фреймворкін пайдаланумен айқын байланысты. Модельдің өзі қолданбаның дәл сондай ұзақ горизонтты өнімділікке қол жеткізуін кепілдемейді.
4. Reasoning мазмұнын өңдеу
Ойлау режімі мен құрал шақыруларын пайдаланатын көп-айналымды Агент қолданбаларында reasoning_content-ті дұрыс сақтау қажет. Дұрыс емес өңдеу API қателерін тудыруы мүмкін.
Ең жақсы қолдану жағдайлары
Ірі ауқымды бағдарламалық инженерия
- Репозиторийді көшіру
- Рефакторинг
- Ақауларды түзету
- Тест генерациясы
- Компилятор әзірлеу
- Толық стек қолданба әзірлеу
Автономды кодтау агенттері
MiMo-V2.5-Pro әсіресе агенттер үшін тиімді, олар қайта-қайта келесі циклді орындайды:
тексеру → өзгерту → орындау → тестілеу → ақауды анықтау → өзгерту
Ұзақ құжаттар бойынша пайымдау
1M контекст оны келесі үшін пайдалы етеді:
- Құқықтық келісімдер
- Техникалық сипаттамалар
- Үлкен зерттеу жинақтары
- Корпоративтік құжаттама
Күрделі бизнес агенттері
Құрал шақыру + веб іздеу + құрылымдалған шығару қолдауы мүмкін:
- Зерттеу агенттері
- Деректерді өңдеу агенттері
- Кәсіпорын жұмыс ағындарын автоматтандыру
- Көпқадамды шешім қабылдау жүйелері
CometAPI-де MiMo-V2.5-Pro API-ін қалай пайдалану керек
Тиісті CometAPI модель идентификаторы:
mimo-v2.5-pro
Әзірлеушілер үшін API агрегация қабаты MiMo-V2.5-Pro-ды басқа жоғары деңгейлі пайымдау және агент модельдерімен салыстыруға, провайдер интеграцияларын жеке-жеке ұстамай-ақ, ерекше пайдалы. Өндірістік интеграция үшін mimo-v2.5-pro үшін CometAPI-дің ағымдағы соңғы нүктесін/схемасын пайдаланыңыз, әсіресе құрал шақыру, стриминг, құрылымдалған шығару немесе ұзын контекст өтініштері қажет болса.
1-қадам: CometAPI API кілтін алу
CometAPI аккаунтын жасап немесе кіріп, API консолінен API кілтіңізді алыңыз.
Оны орта айнымалысы ретінде орнатыңыз:
export COMETAPI_KEY="YOUR_COMETAPI_KEY"
2-қадам: API клиентін баптау
Xiaomi OpenAI және Anthropic протоколдарымен үйлесімді API ұсынады, бұл көшу процесін салыстырмалы түрде жеңілдетеді. Өндірістік интеграцияда mimo-v2.5-pro үшін ағымдағы CometAPI соңғы нүктесін/схемасын пайдаланыңыз, әсіресе құрал шақыру, стриминг, құрылымдалған шығару немесе ұзын контекст өтініштері қажет болса.
3-қадам: MiMo-V2.5-Pro-ды құралдарға қосу
Модель сыртқы құралдарға қосылғанда айтарлықтай пайдалырақ болады.
┌── Web Search
│
User → MiMo-V2.5-Pro ├── GitHub
│
├── Terminal
│
├── Database
│
└── Internal APIs
↓
Tool Results
↓
MiMo-V2.5-Pro
↓
Final Result
Бұл архитектура модельдің көзделген қолданысына қарапайым чатбот интеграциясына қарағанда әлдеқайда жақын келеді.