Mistral Large 3 là dòng mô hình “tiên phong” mới nhất do Mistral AI phát hành vào đầu tháng 12 năm 2025. Đây là mô hình nền tảng đa phương thức, trọng số mở, hướng tới sản xuất, được xây dựng dựa trên thiết kế Mixture-of-Experts (MoE) thưa hạt mịn và nhằm mang lại khả năng suy luận “tiên phong”, hiểu ngữ cảnh dài, cũng như năng lực xử lý thị giác + văn bản, đồng thời giữ cho suy luận khả thi nhờ tính thưa và lượng tử hóa hiện đại. Mistral Large 3 có 675 tỷ tham số tổng với ~41 tỷ tham số hoạt động khi suy luận và cửa sổ ngữ cảnh 256k token trong cấu hình mặc định — một sự kết hợp nhằm thúc đẩy cả năng lực lẫn quy mô mà không buộc mỗi lần suy luận phải chạm tới tất cả tham số.
Mistral Large 3 là gì? Nó hoạt động như thế nào?
Mistral Large 3 là gì?
Mistral Large 3 là mô hình “tiên phong” chủ lực của Mistral AI trong họ Mistral 3 — một mô hình MoE đa phương thức, trọng số mở, cỡ lớn phát hành theo giấy phép Apache-2.0. Mô hình được thiết kế để mang lại năng lực “tiên phong” (suy luận, lập trình, hiểu ngữ cảnh dài, tác vụ đa phương thức) đồng thời giữ cho chi phí tính toán suy luận thưa bằng cách chỉ kích hoạt một phần các chuyên gia của mô hình cho mỗi token. Tài liệu chính thức của Mistral mô tả Large 3 là mô hình có ~675 tỷ tham số tổng và khoảng 40–41 tỷ tham số hoạt động dùng cho mỗi lượt truyền thuận; mô hình cũng bao gồm bộ mã hóa thị giác và được thiết kế để xử lý cửa sổ ngữ cảnh rất dài (Mistral và đối tác đề cập tới 256k token).
Tóm lại: đây là một mô hình MoE có dung lượng tổng khổng lồ (để chứa đa dạng chuyên môn) nhưng chỉ tính toán trên một tập con nhỏ tham số hoạt động khi suy luận — nhằm đem lại hiệu năng “tiên phong” hiệu quả hơn so với mô hình đặc dày có tổng dung lượng tương đương.
Kiến trúc cốt lõi: Mixture-of-Experts (MoE) hạt mịn
Ở mức cao, Mistral Large 3 thay thế một số (hoặc nhiều) tiểu tầng feed-forward của transformer bằng các tầng MoE. Mỗi tầng MoE gồm:
- Nhiều chuyên gia — các mạng con độc lập (thường là các khối FFN). Tổng hợp lại, chúng tạo ra số lượng tham số tổng rất lớn của mô hình (ví dụ, hàng trăm tỷ).
- Bộ định tuyến / mạng gating — một mạng nhỏ quan sát biểu diễn token và quyết định chuyên gia nào sẽ xử lý token đó. Bộ định tuyến MoE hiện đại thường chỉ chọn top-k chuyên gia (gating thưa), thường k=1 hoặc k=2 để giảm chi phí tính toán.
- Kích hoạt thưa — với mỗi token, chỉ các chuyên gia được chọn mới chạy; phần còn lại bị bỏ qua. Đây là nguồn gốc của hiệu quả: tổng tham số lưu trữ >> tham số hoạt động được tính toán trên mỗi token.
Mistral gọi thiết kế của họ là MoE hạt mịn để nhấn mạnh rằng mô hình có nhiều chuyên gia nhỏ/chuyên biệt và một sơ đồ định tuyến được tối ưu hóa để mở rộng qua nhiều GPU và các ngữ cảnh dài. Kết quả: dung lượng biểu diễn rất lớn trong khi chi phí tính toán mỗi token gần hơn với một mô hình đặc dày nhỏ hơn nhiều,Tổng số tham số:
- Tổng số tham số: 675 tỷ; tổng hợp tất cả tham số lưu trữ trên mọi chuyên gia và phần còn lại của transformer. Con số này cho biết dung lượng tổng thể của mô hình (nó có thể chứa bao nhiêu kiến thức và chuyên môn).
- Tham số hoạt động: 41 tỷ. là tập tham số thực sự được sử dụng/tính toán trong một lượt truyền thuận điển hình, vì bộ định tuyến chỉ kích hoạt một vài chuyên gia cho mỗi token. Đây là chỉ số liên hệ chặt chẽ hơn với chi phí tính toán suy luận và sử dụng bộ nhớ cho mỗi yêu cầu. Tài liệu công khai của Mistral liệt kê ~41B tham số hoạt động; một số trang mô hình hiển thị số đếm hơi khác cho các biến thể cụ thể (ví dụ, 39B) — điều đó có thể phản ánh biến thể/bản instruct hoặc làm tròn.
Cấu hình huấn luyện:
- Huấn luyện từ đầu bằng 3000 GPU NVIDIA H200;
- Dữ liệu bao phủ đa ngôn ngữ, đa tác vụ và đa phương thức;
- Hỗ trợ đầu vào hình ảnh và suy luận xuyên ngôn ngữ.
Bảng tính năng của Mistral Large 3
| Category | Technical Capability Description |
|---|---|
| Multimodal Understanding | Hỗ trợ đầu vào và phân tích hình ảnh, cho phép hiểu nội dung trực quan trong quá trình đối thoại. |
| Multilingual Support | Hỗ trợ bản địa hơn 10 ngôn ngữ chính (Tiếng Anh, Tiếng Pháp, Tiếng Tây Ban Nha, Tiếng Đức, Tiếng Ý, Tiếng Bồ Đào Nha, Tiếng Hà Lan, Tiếng Trung, Tiếng Nhật, Tiếng Hàn, Tiếng Ả Rập, v.v.). |
| System Prompt Support | Tuân thủ cao với hướng dẫn hệ thống và ngữ cảnh, phù hợp cho quy trình phức tạp. |
| Agent Capabilities | Hỗ trợ gọi hàm gốc và xuất JSON có cấu trúc, cho phép gọi trực tiếp công cụ hoặc tích hợp hệ thống bên ngoài. |
| Context Window | Hỗ trợ cửa sổ ngữ cảnh siêu dài 256K token, thuộc nhóm dài nhất trong các mô hình mã nguồn mở. |
| Performance Positioning | Hiệu năng cấp sản xuất với khả năng hiểu ngữ cảnh dài mạnh mẽ và đầu ra ổn định. |
| Open-source License | Giấy phép Apache 2.0, có thể tự do sử dụng cho sửa đổi thương mại. |
Tổng quan:
- Hiệu năng tương đương với các mô hình đóng nguồn chủ đạo;
- Hiệu năng nổi bật trong các tác vụ đa ngôn ngữ (đặc biệt ngoài tiếng Anh và tiếng Trung);
- Có năng lực hiểu hình ảnh và tuân thủ hướng dẫn;
- Cung cấp bản cơ bản (Base) và bản tối ưu hóa cho hướng dẫn (Instruct), với bản tối ưu hóa suy luận (Reasoning) sắp ra mắt.
Mistral Large 3 thể hiện thế nào trên các benchmark?
Các benchmark và bảng xếp hạng công khai sớm cho thấy Mistral Large 3 đạt vị trí cao trong các mô hình mã nguồn mở: xếp hạng #2 trên LMArena đối với mô hình OSS không tập trung suy luận và đề cập các vị trí top-tier trên nhiều bộ tiêu chuẩn (ví dụ, GPQA, MMLU và các bộ suy luận/kiến thức tổng quát khác).
![Mistral Large 3 là dòng mô hình “tiên phong” mới nhất do Mistral AI phát hành vào đầu tháng 12 năm 2025. Đây là mô hình nền tảng đa phương thức, trọng số mở, hướng tới sản xuất, được xây dựng dựa trên thiết kế Mixture-of-Experts (MoE) thưa hạt mịn và nhằm mang lại khả năng suy luận “tiên phong”, hiểu ngữ cảnh dài, cũng như năng lực xử lý thị giác + văn bản, đồng thời giữ cho suy luận khả thi nhờ tính thưa và lượng tử hóa hiện đại. Mistral Large 3 có 675 tỷ tham số tổng với ~41 tỷ tham số hoạt động khi suy luận và cửa sổ ngữ cảnh 256k token trong cấu hình mặc định — một sự kết hợp nhằm thúc đẩy cả năng lực lẫn quy mô mà không buộc mỗi lần suy luận phải chạm tới tất cả tham số.
Mistral Large 3 là gì? Nó hoạt động như thế nào?
Mistral Large 3 là gì?
Mistral Large 3 là mô hình “tiên phong” chủ lực của Mistral AI trong họ Mistral 3 — một mô hình MoE đa phương thức, trọng số mở, cỡ lớn phát hành theo giấy phép Apache-2.0. Mô hình được thiết kế để mang lại năng lực “tiên phong” (suy luận, lập trình, hiểu ngữ cảnh dài, tác vụ đa phương thức) đồng thời giữ cho chi phí tính toán suy luận thưa bằng cách chỉ kích hoạt một phần các chuyên gia của mô hình cho mỗi token.
Mistral Large 3 áp dụng cách tiếp cận Mixture-of-Experts (MoE): thay vì kích hoạt mọi tham số cho mỗi token, mô hình định tuyến việc xử lý token tới một tập con các mạng chuyên gia. Số liệu công bố cho Large 3 là khoảng 41 tỷ tham số hoạt động (những tham số thường tham gia cho một token) và 675 tỷ tham số tổng trên tất cả chuyên gia — một thiết kế thưa nhưng khổng lồ nhắm tới điểm cân bằng giữa hiệu quả tính toán và dung lượng mô hình. Mô hình cũng hỗ trợ cửa sổ ngữ cảnh cực dài (được ghi nhận 256k token) và đầu vào đa phương thức (văn bản + hình ảnh).
Tóm lại: đây là một mô hình MoE có dung lượng tổng khổng lồ (để chứa đa dạng chuyên môn) nhưng chỉ tính toán trên một tập con nhỏ tham số hoạt động khi suy luận — nhằm đem lại hiệu năng “tiên phong” hiệu quả hơn so với mô hình đặc dày có tổng dung lượng tương đương.
Kiến trúc cốt lõi: Mixture-of-Experts (MoE) hạt mịn
Ở mức cao, Mistral Large 3 thay thế một số (hoặc nhiều) tiểu tầng feed-forward của transformer bằng các tầng MoE. Mỗi tầng MoE gồm:
- Nhiều chuyên gia — các mạng con độc lập (thường là các khối FFN). Tổng hợp lại, chúng tạo ra số lượng tham số tổng rất lớn của mô hình (ví dụ, hàng trăm tỷ).
- Bộ định tuyến / mạng gating — một mạng nhỏ quan sát biểu diễn token và quyết định chuyên gia nào sẽ xử lý token đó. Bộ định tuyến MoE hiện đại thường chỉ chọn top-k chuyên gia (gating thưa), thường k=1 hoặc k=2 để giảm chi phí tính toán.
- Kích hoạt thưa — với mỗi token, chỉ các chuyên gia được chọn mới chạy; phần còn lại bị bỏ qua. Đây là nguồn gốc của hiệu quả: tổng tham số lưu trữ >> tham số hoạt động được tính toán trên mỗi token.
Mistral gọi thiết kế của họ là MoE hạt mịn để nhấn mạnh rằng mô hình có nhiều chuyên gia nhỏ/chuyên biệt và một sơ đồ định tuyến được tối ưu hóa để mở rộng qua nhiều GPU và các ngữ cảnh dài. Kết quả: dung lượng biểu diễn rất lớn trong khi chi phí tính toán mỗi token gần hơn với một mô hình đặc dày nhỏ hơn nhiều,Tổng số tham số:
- Tổng số tham số: 675 tỷ; tổng hợp tất cả tham số lưu trữ trên mọi chuyên gia và phần còn lại của transformer. Con số này cho biết dung lượng tổng thể của mô hình (nó có thể chứa bao nhiêu kiến thức và chuyên môn).
- Tham số hoạt động: 41 tỷ. là tập tham số thực sự được sử dụng/tính toán trong một lượt truyền thuận điển hình, vì bộ định tuyến chỉ kích hoạt một vài chuyên gia cho mỗi token. Đây là chỉ số liên hệ chặt chẽ hơn với chi phí tính toán suy luận và sử dụng bộ nhớ cho mỗi yêu cầu. Tài liệu công khai của Mistral liệt kê ~41B tham số hoạt động; một số trang mô hình hiển thị số đếm hơi khác cho các biến thể cụ thể (ví dụ, 39B) — điều đó có thể phản ánh biến thể/bản instruct hoặc làm tròn.
Cấu hình huấn luyện:
- Huấn luyện từ đầu bằng 3000 GPU NVIDIA H200;
- Dữ liệu bao phủ đa ngôn ngữ, đa tác vụ và đa phương thức;
- Hỗ trợ đầu vào hình ảnh và suy luận xuyên ngôn ngữ.
Bảng tính năng của Mistral Large 3
| Category | Technical Capability Description |
|---|---|
| Multimodal Understanding | Hỗ trợ đầu vào và phân tích hình ảnh, cho phép hiểu nội dung trực quan trong quá trình đối thoại. |
| Multilingual Support | Hỗ trợ bản địa hơn 10 ngôn ngữ chính (Tiếng Anh, Tiếng Pháp, Tiếng Tây Ban Nha, Tiếng Đức, Tiếng Ý, Tiếng Bồ Đào Nha, Tiếng Hà Lan, Tiếng Trung, Tiếng Nhật, Tiếng Hàn, Tiếng Ả Rập, v.v.). |
| System Prompt Support | Tuân thủ cao với hướng dẫn hệ thống và ngữ cảnh, phù hợp cho quy trình phức tạp. |
| Agent Capabilities | Hỗ trợ gọi hàm gốc và xuất JSON có cấu trúc, cho phép gọi trực tiếp công cụ hoặc tích hợp hệ thống bên ngoài. |
| Context Window | Hỗ trợ cửa sổ ngữ cảnh siêu dài 256K token, thuộc nhóm dài nhất trong các mô hình mã nguồn mở. |
| Performance Positioning | Hiệu năng cấp sản xuất với khả năng hiểu ngữ cảnh dài mạnh mẽ và đầu ra ổn định. |
| Open-source License | Giấy phép Apache 2.0, có thể tự do sử dụng cho sửa đổi thương mại. |
Tổng quan:
- Hiệu năng tương đương với các mô hình đóng nguồn chủ đạo;
- Hiệu năng nổi bật trong các tác vụ đa ngôn ngữ (đặc biệt ngoài tiếng Anh và tiếng Trung);
- Có năng lực hiểu hình ảnh và tuân thủ hướng dẫn;
- Cung cấp bản cơ bản (Base) và bản tối ưu hóa cho hướng dẫn (Instruct), với bản tối ưu hóa suy luận (Reasoning) sắp ra mắt.
Mistral Large 3 thể hiện thế nào trên các benchmark?
Các benchmark và bảng xếp hạng công khai sớm cho thấy Mistral Large 3 đạt vị trí cao trong các mô hình mã nguồn mở: xếp hạng #2 trên LMArena đối với mô hình OSS không tập trung suy luận và đề cập các vị trí top-tier trên nhiều bộ tiêu chuẩn (ví dụ, GPQA, MMLU và các bộ suy luận/kiến thức tổng quát khác).]()
Các điểm mạnh đã thể hiện đến nay
- Hiểu tài liệu dài và tác vụ tăng cường truy hồi: Sự kết hợp giữa ngữ cảnh dài và dung lượng thưa mang lại lợi thế cho Mistral Large 3 trên các tác vụ ngữ cảnh dài (Hỏi đáp tài liệu, tóm tắt tài liệu lớn).
- Kiến thức tổng quát và tuân thủ hướng dẫn: Ở các biến thể instruct-tuned, Mistral Large 3 mạnh trên nhiều tác vụ “trợ lý tổng quát” và tuân thủ thông điệp hệ thống.
- Năng lượng và thông lượng (trên phần cứng tối ưu): Phân tích của NVIDIA cho thấy hiệu suất năng lượng và thông lượng ấn tượng khi chạy Mistral Large 3 trên GB200 NVL72 với tối ưu hóa đặc thù MoE — các con số này chuyển thành chi phí mỗi token và khả năng mở rộng cho doanh nghiệp.
Làm thế nào để truy cập và sử dụng Mistral Large 3?
Truy cập qua đám mây được lưu trữ (đường nhanh)
Mistral Large 3 có sẵn thông qua nhiều đối tác đám mây và nền tảng:
- Hugging Face lưu trữ thẻ mô hình và hiện vật suy luận (gói mô hình bao gồm các biến thể instruct và hiện vật NVFP4 tối ưu). Bạn có thể gọi mô hình qua Hugging Face Inference API hoặc tải về hiện vật tương thích.
- Azure / Microsoft Foundry thông báo cung cấp Mistral Large 3 cho khối lượng công việc doanh nghiệp.
- NVIDIA công bố runtime tăng tốc và ghi chú tối ưu cho họ GB200/H200, và các đối tác như Red Hat công bố hướng dẫn vLLM.
Các tuyến lưu trữ này cho phép bạn bắt đầu nhanh mà không cần xử lý kỹ thuật runtime MoE.
Chạy cục bộ hoặc trên hạ tầng của bạn (nâng cao)
Chạy Mistral Large 3 cục bộ hoặc trên hạ tầng riêng là khả thi nhưng không đơn giản:
Tùy chọn:
- Hiện vật Hugging Face + accelerate/transformers — có thể dùng cho các biến thể nhỏ hơn hoặc nếu bạn có cụm GPU và công cụ chia mảnh phù hợp. Thẻ mô hình liệt kê các ràng buộc theo nền tảng và định dạng khuyến nghị (ví dụ, NVFP4).
- vLLM — máy chủ suy luận tối ưu cho LLM lớn và ngữ cảnh dài; Red Hat và các đối tác khác đã công bố hướng dẫn chạy Mistral Large 3 trên vLLM để đạt thông lượng và độ trễ hiệu quả.
- Ngăn xếp chuyên biệt (NVIDIA Triton / NVL72 / kernel tùy chỉnh) — cần thiết để có độ trễ/hiệu quả tốt nhất ở quy mô; NVIDIA công bố blog về tăng tốc Mistral 3 với GB200/H200 và runtime NVL72.
- Ollama / trình quản lý VM cục bộ — cộng đồng có hướng dẫn thiết lập cục bộ (Ollama, Docker) để thử nghiệm; kỳ vọng footprint RAM/GPU lớn và cần dùng biến thể mô hình hoặc checkpoint đã lượng tử hóa.
Ví dụ: suy luận Hugging Face (python)
Đây là ví dụ đơn giản dùng Hugging Face Inference API (phù hợp cho các biến thể instruction). Thay HF_API_KEY và MODEL bằng giá trị từ thẻ mô hình:
# Example: call Mistral Large 3 via Hugging Face Inference APIimport requests, json, osHF_API_KEY = os.environ.get("HF_API_KEY")MODEL = "mistralai/Mistral-Large-3-675B-Instruct-2512"headers = {"Authorization": f"Bearer {HF_API_KEY}", "Content-Type": "application/json"}payload = { "inputs": "Summarize the following document in 3 bullet points: <paste your long text here>", "parameters": {"max_new_tokens": 256, "temperature": 0.0}}r = requests.post(f"https://api-inference.huggingface.co/models/{MODEL}", headers=headers, data=json.dumps(payload))print(r.json())
Lưu ý: Với ngữ cảnh rất dài (hàng chục nghìn token), hãy kiểm tra khuyến nghị streaming/chunking của nhà cung cấp và độ dài ngữ cảnh mà biến thể mô hình hỗ trợ.
Ví dụ: khởi chạy máy chủ vLLM (ý niệm)
vLLM là máy chủ suy luận hiệu năng cao được doanh nghiệp sử dụng. Dưới đây là khởi chạy mang tính ý niệm (xem tài liệu vLLM để biết cờ, đường dẫn mô hình và hỗ trợ MoE):
# conceptual example — adjust to your environment and model pathvllm --model-path /models/mistral-large-3-instruct \ --num-gpus 4 \ --max-batch-size 8 \ --max-seq-len 65536 \ --log-level info
Sau đó dùng client Python của vLLM hoặc HTTP API để gửi yêu cầu. Với các mô hình MoE, bạn phải đảm bảo bản dựng và runtime của vLLM hỗ trợ kernel chuyên gia thưa và định dạng checkpoint của mô hình (NVFP4/FP8/BF16).
Thực tiễn tốt nhất để triển khai Mistral Large 3
Chọn biến thể và độ chính xác phù hợp
- Bắt đầu với checkpoint đã tối ưu hướng dẫn cho quy trình trợ lý (gia đình mô hình cung cấp biến thể Instruct). Chỉ dùng mô hình cơ sở khi bạn định fine-tune hoặc áp dụng hướng dẫn của riêng mình.
- Dùng các biến thể độ chính xác thấp tối ưu (NVFP4, FP8, BF16) khi có sẵn cho phần cứng của bạn; chúng mang lại hiệu quả lớn với suy giảm chất lượng tối thiểu nếu checkpoint do nhà cung cấp mô hình tạo và xác nhận.
Bộ nhớ, chia mảnh và phần cứng
- Đừng kỳ vọng chạy checkpoint 675B tham số tổng trên một GPU phổ thông đơn lẻ — dù chỉ ~41B hoạt động mỗi token, checkpoint đầy đủ là khổng lồ và cần chiến lược chia mảnh cộng với accelerator bộ nhớ cao (họ GB200/H200) hoặc điều phối offload CPU+GPU.
- Dùng song song mô hình + bố trí chuyên gia: MoE hưởng lợi từ việc đặt chuyên gia trên nhiều thiết bị để cân bằng lưu lượng định tuyến. Làm theo hướng dẫn nhà cung cấp về gán chuyên gia.
Kỹ thuật ngữ cảnh dài
- Chia khối và truy hồi: Với nhiều tác vụ tài liệu dài, kết hợp thành phần truy hồi với cửa sổ 256k để giữ độ trễ và chi phí hợp lý — tức là truy hồi khối liên quan rồi đưa ngữ cảnh tập trung cho mô hình.
- Streaming và cửa sổ trượt: Với luồng liên tục, duy trì cửa sổ trượt và tóm tắt ngữ cảnh cũ thành ghi chú cô đọng để giữ ngân sách chú ý của mô hình hiệu quả.
Kỹ thuật prompt cho mô hình MoE
- Ưu tiên hướng dẫn rõ ràng: Các checkpoint instruct-tuned phản hồi tốt hơn với tác vụ rõ ràng và ví dụ. Dùng ví dụ few-shot trong prompt cho đầu ra có cấu trúc phức tạp.
- Chuỗi suy nghĩ và thông điệp hệ thống: Với tác vụ suy luận, cấu trúc prompt khuyến khích suy luận theo bước và xác minh kết quả trung gian. Nhưng lưu ý: gợi ý chuỗi suy nghĩ làm tăng lượng token tiêu thụ và độ trễ.
Kết luận
Mistral Large 3 là một cột mốc quan trọng trong hệ sinh thái mô hình trọng số mở: một mô hình 675B tổng / ~41B hoạt động kiểu MoE với cửa sổ ngữ cảnh 256k, năng lực đa phương thức và các công thức triển khai được đồng tối ưu cùng các đối tác hạ tầng lớn. Mô hình mang lại hồ sơ hiệu năng so với chi phí hấp dẫn cho doanh nghiệp có thể tiếp nhận runtime và ngăn xếp phần cứng MoE, đồng thời vẫn cần đánh giá cẩn trọng cho các tác vụ suy luận chuyên sâu và mức độ sẵn sàng vận hành.
Để bắt đầu, hãy khám phá thêm các mô hình AI (như Gemini 3 Pro) và khả năng của chúng trong Playground, đồng thời tham khảo API guide để biết hướng dẫn chi tiết. Trước khi truy cập, vui lòng đảm bảo bạn đã đăng nhập CometAPI và lấy API key. CometAPI cung cấp mức giá thấp hơn nhiều so với giá chính thức để giúp bạn tích hợp.
Sẵn sàng bắt đầu?→ Đăng ký CometAPI ngay hôm nay !
