MiMo-V2.5-Pro'nun Teknik Özellikleri
| Özellik | MiMo-V2.5-Pro |
|---|---|
| Model Kimliği | mimo-v2.5-pro |
| Sağlayıcı | Xiaomi MiMo |
| Model türü | Ajan odaklı büyük dil modeli |
| Mimari | Seyrek Uzman Karışımı |
| Toplam parametre sayısı | 1.02T |
| Aktif parametreler | 42B |
| Bağlam penceresi | 1M belirteç |
| Çıktı | Metin |
| Dikkat mimarisi | Hibrit SWA + Küresel Dikkat |
| Eğitim belirteçleri | 27T |
| Maksimum temel model bağlamı | 256K |
| Maksimum Pro bağlamı | 1M |
| Lisans | MIT |
1.02T toplam parametre ve 42B aktif parametre arasındaki ayrım önemlidir. MiMo-V2.5-Pro bir MoE modelidir: her belirteç mevcut parametrelerin yalnızca bir alt kümesini etkinleştirir. Bu, yoğun 1T parametreli bir modele kıyasla çıkarım hesaplama profilini önemli ölçüde değiştirir; ancak tam model hâlâ muazzam bellek ve dağıtım gereksinimlerine sahiptir.
MiMo-V2.5-Pro'nun Başlıca Özellikleri Nelerdir?
1. Trilyon Ölçekli Seyrek MoE Mimari
MiMo-V2.5-Pro, 1.02T toplam parametre ve 42B aktif parametre içerir.
Mimari, her belirteç için sekiz uzman etkinleştirilen 384 yönlendirilmiş uzman barındırır. Model, biri yoğun ve 69'u MoE olmak üzere 70 dönüştürücü katmandan oluşur.
Bu, standart MiMo-V2.5'e kıyasla önemli ölçüde daha fazla temsil kapasitesi sağlar; aynı zamanda her belirteç için tüm 1.02T parametrelerin etkinleştirilmesinin hesaplama maliyetinden kaçınır.
Pratik çıkarım:
MiMo-V2.5-Pro toplam kapasite açısından trilyon parametreli bir modeldir, ancak belirteç başına hesaplama, 42B aktif-parametre yoluyla belirlenir.
2. 1 Milyon Belirteçlik Bağlam
Model, 1M belirteçlik bağlamı destekler.
Bu, otonom ajanlar için en önemli yeteneklerinden biridir; çünkü uzun süreli iş akışları şunları biriktirebilir:
- Araç çıktıları
- Kaynak kodu
- Arama sonuçları
- Dokümantasyon
- Ara muhakeme durumu
- Kullanıcı talimatları
- Yürütme günlükleri
Eski bağlamı sürekli özetleyip atmak yerine, bir ajan potansiyel olarak çok daha büyük bir çalışma geçmişini koruyabilir.
Xiaomi'nin uzun bağlam değerlendirmesi, modeli özellikle 32K'dan 1M giriş belirtecine kadar test eder.
3. Hibrit Kayan Pencere ve Küresel Dikkat
MiMo-V2.5-Pro, 128-belirteçlik bir kayan pencereyle, Kayan Pencere Dikkati (SWA) ile Küresel Dikkat arasında 6:1 oranı kullanır.
Mimari şunları içerir:
- 60 SWA katmanı
- 10 küresel-dikkat katmanı
- 128-belirteç SWA penceresi
Xiaomi, bu tasarımın öğrenilebilir attention-sink bias yoluyla uzun bağlam performansını korurken KV önbellek depolamasını neredeyse 7× azalttığını bildirir.
Bu, modelin en teknik açıdan önemli parçalarından biridir.
Her katmanın tüm dizilim üzerinde tam dikkat uyguladığı bir 1M bağlam penceresi pahalıdır. Hibrit dikkat, her katmanın küresel olarak dikkat etmesi gereken bilgi miktarını azaltırken, uzun menzilli ilişkiler için özel küresel-dikkat katmanlarını korur.
4. Çoklu Belirteç Tahmini
MiMo-V2.5-Pro, üç hafif MTP modülü içerir.
Çoklu Belirteç Tahmini, spekülatif tarzda çözümleme ve çıkarım hızlandırma için kullanılabilecek şekilde, modelin birden fazla gelecekteki belirteci tahmin etmesine olanak tanır.
Xiaomi, MTP mimarisinin, tanımlanan dağıtım yapılandırması altında çıktı hızını üç katına çıkarabildiğini bildirir.
Bu, özellikle ajanlar için önemlidir; çünkü bir ajan uzun bir yörünge boyunca büyük miktarda ara çıktı üretebilir. Belirteç üretim hızını artırmak, toplam görev gecikmesi üzerinde anlamlı bir etki yapabilir.
5. Ajan Odaklı Pekiştirmeli Öğrenme
MiMo-V2.5-Pro'nun son eğitim hattı şunları içerir:
- Denetimli ince ayar
- Büyük ölçekli ajan odaklı pekiştirmeli öğrenme
- Çok Öğretmenli On-Policy Damıtma (MOPD)
Eğitim hedefi, yalnızca statik kıyaslama soru-cevabından ziyade, açıkça karmaşık ajan davranışına yöneliktir.
Bu nedenle modelin en güçlü değerlendirmeleri, kodlama, terminal etkileşimi, uzun bağlamlı muhakeme ve ajan ölçütleri etrafında yoğunlaşır.
6. 27T Belirteçlik Ön Eğitim
MiMo-V2.5-Pro, yaklaşık 27 trilyon belirteç üzerinde, FP8 karışık hassasiyet ve yerel 32K dizi uzunluğu kullanılarak, uzatılmış 1M bağlam penceresini desteklemeden önce ön eğitilmiştir.
Ön eğitimin ölçeği, trilyon-parametreli MoE mimari ile birleştiğinde, MiMo-V2.5-Pro'yu mevcut öncü model sınıfına sağlam bir şekilde yerleştirir.
MiMo-V2.5-Pro Kıyaslamalarda Nasıl Performans Gösteriyor?
Yayımlanan değerlendirme sonuçları, hem genel muhakeme kıyaslamalarını hem de pratik kodlama/ajan değerlendirmelerini içermesi bakımından özellikle faydalıdır.
| Kıyaslama | MiMo-V2.5-Pro Sonucu | Değerlendirme türü |
|---|---|---|
| SWE-Bench Verified | 78.9 | Yazılım mühendisliği |
| SWE-Bench Pro | 57.2 | Yazılım mühendisliği |
| Terminal-Bench 2.0 | 68.4 | Terminal ajanı |
| GSM8K | 99.6 | Matematiksel muhakeme |
| GPQA Diamond | 66.7 | Lisansüstü düzeyde muhakeme |
| MMLU-Pro | 68.5 | Genel muhakeme |
| MMLU | 89.4 | Genel bilgi/muhakeme |
| MMLU-Redux | 92.8 | Genel bilgi/muhakeme |
| HumanEval+ | 75.6 | Kod üretimi |
| MBPP+ | 74.1 | Python programlama |
| LiveCodeBench v6 | 39.6 | Yarışmacı kodlama |
| ARC-Challenge | 97.2 | Muhakeme |
| AIME 2024/2025 | 37.3 | Yarışma matematiği |
Sonuçlar, yazılım mühendisliği ve matematiksel muhakeme alanlarında özellikle güçlü bir profil gösterir. SWE-Bench Verified'da 78.9 ve Terminal-Bench 2.0'da 68.4, otonom kodlama sistemleri geliştiren geliştiriciler için özellikle alakalıdır.
Uzun Bağlam Performansı
Uzun bağlam sonuçları, standart kıyaslamalardan belki de daha ilgi çekicidir.
GraphWalks değerlendirmesinde, MiMo-V2.5-Pro, aşırı bağlam uzunluklarında ölçülebilir performansı korur:
| Bağlam | BFS | Parents |
|---|---|---|
| 512K | 0.56 | 0.92 |
| 1M | 0.37 | 0.62 |
Xiaomi, önceki MiMo-V2-Pro'nun 128K'nın ötesinde hızla bozulduğunu ve her iki alt görevde 1M'de 0.00'a ulaştığını; buna karşın V2.5-Pro'nun tam 1M bağlamda sıfır olmayan performansı koruduğunu bildirir.
Bu anlamlı bir ayrımdır: MiMo-V2.5-Pro'nun 1M bağlamı sadece teorik bir maksimum değildir; yayımlanan uzun bağlam değerlendirmesi, bu pencerenin derinlerinde faydalı performans sergilendiğini gösterir.
Gerçek Dünya Ajan Örnekleri
| Görev | Raporlanan Sonuç |
|---|---|
| PKU SysY Compiler | 4.3 saat |
| Derleyici görevi sırasında araç çağrıları | 672 |
| Derleyici test vakaları geçti | 233/233 |
| Tam yığın video düzenleyici | 11.5 saat |
| Video düzenleyici için üretilen kod | 8,192 satır |
| İnsan müdahalesi | Bildirilmedi |
| Uzun ufuklu araç çağrıları | Neredeyse 1,000 |
Bunlar, standartlaştırılmış kıyaslama puanlarından ziyade Xiaomi'nin bildirilen gösterimleridir.
MiMo-V2.5-Pro ile MiMo-V2.5 Karşılaştırması
İki model aynı nesli paylaşır ancak farklı iş yüklerini hedefler.
| Özellik | MiMo-V2.5 | MiMo-V2.5-Pro |
|---|---|---|
| Toplam parametre sayısı | 310B | 1.02T |
| Aktif parametreler | 15B | 42B |
| Bağlam | 1M | 1M |
| Katmanlar | 48 | 70 |
| Yönlendirilmiş uzmanlar | 256 | 384 |
| Uzman/belirteç | 8 | 8 |
| Tam dikkat katmanları | 9 | 10 |
| SWA katmanları | 39 | 60 |
| Ana odak | Çok modlu ajanlar | Karmaşık ajanlar/kodlama |
| Video/ses/görüntü anlama | Evet | Esasen dil/ajan odaklı |
| Uzun ufuklu ajan performansı | Güçlü | Amiral gemisi |
Dolayısıyla seçim basitçe "Pro daha iyi" değildir.
Bir uygulamanın yerel görüntü, video ve ses anlama ihtiyacı varsa, MiMo-V2.5 daha doğal bir seçimdir. İş yükü karmaşık muhakeme, yazılım mühendisliği, terminal etkileşimi ve uzun süreli ajanlar etrafında dönüyorsa, MiMo-V2.5-Pro daha güçlü bir uyum sağlar.
MiMo-V2.5-Pro'nun Sınırlamaları
1. Yalnızca Metin Girişi Olan Model
mimo-v2.5'ten farklı olarak Pro modelinin resmi özellikleri, girdi modalitesi olarak Metin listeler. V2.5 ailesindeki çok modlu model olarak pazarlanmamalıdır.
2. Kendi Barındırma için Yüksek Hesaplama Gereksinimleri
Model yaklaşık 1T toplam parametre / 42B aktif parametre barındırır; bu da yerel dağıtımı, geleneksel küçük açık modellere kıyasla önemli ölçüde daha talepkâr kılar.
3. Ajan Performansı Çerçeveye Bağlıdır
Xiaomi'nin neredeyse 1,000 araç çağrısı iddiası, uygun bir Ajan çerçevesi kullanımıyla açıkça ilişkilendirilmiştir. Yalnızca model, bir uygulamanın aynı uzun ufuklu performansa ulaşacağını garanti etmez.
4. Muhakeme İçeriği İşleme
Düşünme modu ve araç çağrıları kullanan çok turlu Ajan uygulamaları, reasoning_content'i doğru şekilde korumalıdır. Yanlış işleme, API hataları üretebilir.
En İyi Kullanım Senaryoları
Büyük ölçekli yazılım mühendisliği
- Depo göçü
- Yeniden düzenleme (refactoring)
- Hata ayıklama
- Test üretimi
- Derleyici geliştirme
- Tam yığın uygulama geliştirme
Otonom kodlama ajanları
MiMo-V2.5-Pro, tekrar tekrar şu adımları gerçekleştirmesi gereken ajanlar için özellikle uygundur:
incele → değiştir → yürüt → test et → teşhis et → değiştir
Uzun belgeler üzerinde muhakeme
1M bağlamı, aşağıdakiler için faydalıdır:
- Hukuki sözleşmeler
- Teknik özellikler
- Büyük araştırma koleksiyonları
- Kurumsal dokümantasyon
Karmaşık iş ajanları
Araç çağrıları + web araması + yapılandırılmış çıktı şunları destekleyebilir:
- Araştırma ajanları
- Veri işleme ajanları
- Kurumsal iş akışı otomasyonu
- Çok adımlı karar sistemleri
CometAPI üzerinde MiMo-V2.5-Pro API'si Nasıl Kullanılır
İlgili CometAPI model kimliği:
mimo-v2.5-pro
Geliştiriciler için, bir API toplama katmanı, MiMo-V2.5-Pro'yu diğer üst düzey muhakeme ve ajan modellerine karşı test etmek için, bağımsız sağlayıcı entegrasyonlarını sürdürmeye gerek kalmadan özellikle kullanışlıdır.
Adım 1: Bir CometAPI API Anahtarı Alın
CometAPI hesabınızı oluşturun veya oturum açın ve API konsolundan API anahtarınızı edinin.
Bir ortam değişkeni olarak ayarlayın:
export COMETAPI_KEY="YOUR_COMETAPI_KEY"
Adım 2: API İstemcisini Yapılandırın
Xiaomi, OpenAI ve Anthropic protokolleriyle uyumlu bir API sağlar; bu da geçişi nispeten kolaylaştırır. Üretim entegrasyonu için, özellikle araç çağrıları, akış, yapılandırılmış çıktılar veya uzun bağlam istekleri gibi gelişmiş özelliklere ihtiyacınız varsa, mimo-v2.5-pro için mevcut CometAPI uç noktası/şemasını kullanın.
Adım 3: MiMo-V2.5-Pro'yu Araçlara Bağlayın
Model, harici araçlara bağlandığında önemli ölçüde daha kullanışlı hale gelir.
Örneğin:
┌── Web Search
│
User → MiMo-V2.5-Pro ├── GitHub
│
├── Terminal
│
├── Database
│
└── Internal APIs
↓
Tool Results
↓
MiMo-V2.5-Pro
↓
Final Result
Bu mimari, modelin amaçlanan kullanımına, basit bir sohbet botu entegrasyonundan çok daha yakından uyumludur.