Nhóm Seed của ByteDance đã phát hành Seed-OSS, một họ các mô hình ngôn ngữ lớn nguồn mở do Hạt giống-OSS-36B, một mô hình 36 tỷ tham số hỗ trợ các cửa sổ nhập liệu cực kỳ dài và đang được phân phối theo giấy phép Apache-2.0. Mã nguồn và thẻ mô hình đã được công bố trên GitHub và Hugging Face vào ngày 20 tháng 2025 năm XNUMX, và nhiều biến thể — bao gồm phiên bản Base và Instruct (cộng với các phiên bản được đào tạo bằng dữ liệu tổng hợp) — hiện đã có sẵn cho các nhà phát triển.
Seed-OSS đã được phát hành như thế nào
ByteDance Seed đã phát hành ba biến thể Seed-OSS: Seed-OSS-36B-Base (được xuất bản trong các phiên bản có và không có dữ liệu tổng hợp) và Seed-OSS-36B-Instruct
Những điểm nổi bật về mặt kỹ thuật của Seed-OSS
- Số lượng tham số: Mô hình tiêu đề được mô tả như là một 36 tỷ tham số người mẫu. \
- Cửa sổ ngữ cảnh rất dài: ByteDance quảng cáo độ dài ngữ cảnh cực kỳ lớn — lên đến 512,000 mã thông báo — hướng đến lý luận tài liệu dài, cơ sở mã và quy trình làm việc của tác nhân đa tài liệu. \
- Thang đo đào tạo: Seed-OSS được báo cáo là đã đạt được hiệu suất chuẩn mạnh mẽ mặc dù được đào tạo trên 12 nghìn tỷ mã thông báo, theo tài liệu mô hình.
Chuỗi mô hình Seed-OSS dựa trên kiến trúc mô hình ngôn ngữ nhân quả phổ biến và sử dụng RoPE, cơ chế chú ý GQA, RMS Norm và hàm kích hoạt SwiGLU. Mô hình Seed-OSS-36B mới được phát hành tự hào có 36 tỷ tham số và có khả năng xử lý 512KB ngữ cảnh dài. Mặc dù chỉ sử dụng 12 nghìn tỷ dữ liệu huấn luyện, nó vẫn đạt hiệu suất ấn tượng trên nhiều chuẩn mực phổ biến.
Dòng mô hình Seed-OSS bao gồm hai phiên bản: Seed-OSS-36B-Base với dữ liệu hướng dẫn tổng hợp và Seed-OSS-36B-Base-woSyn không có dữ liệu hướng dẫn tổng hợp. Thiết kế này không chỉ cung cấp cho các nhà phát triển một mô hình cơ sở hiệu suất cao mà còn cung cấp cho các nhà nghiên cứu nhiều lựa chọn hơn, đảm bảo tính hợp lệ của nghiên cứu không bị ảnh hưởng bởi dữ liệu tổng hợp.
Một tính năng quan trọng của mô hình này là "ngân sách suy nghĩ" linh hoạt, cho phép người dùng điều chỉnh độ dài suy luận một cách linh hoạt khi cần. Khả năng này cải thiện đáng kể hiệu quả suy luận trong các ứng dụng thực tế. Hơn nữa, Seed-OSS được tối ưu hóa đặc biệt cho các tác vụ suy luận, đảm bảo khả năng suy luận được nâng cao trong khi vẫn duy trì hiệu suất tổng thể tốt.
Tại sự kiện ra mắt, nhóm Seed đã nhấn mạnh rằng mô hình Seed-OSS không chỉ phù hợp cho nghiên cứu học thuật mà còn có thể ứng dụng rộng rãi cho nhiều nhiệm vụ phát triển khác nhau, chẳng hạn như các nhiệm vụ trí tuệ dựa trên tác nhân như sử dụng công cụ và giải quyết vấn đề. Kết quả đào tạo và đánh giá mô hình cho thấy Seed-OSS đạt hiệu suất hàng đầu trong mã nguồn mở trên các nhiệm vụ như trả lời câu hỏi kiến thức, suy luận toán học và lập trình.
Bắt đầu
CometAPI là một nền tảng API hợp nhất tổng hợp hơn 500 mô hình AI từ các nhà cung cấp hàng đầu—chẳng hạn như dòng GPT của OpenAI, Gemini của Google, Claude của Anthropic, Midjourney, Suno, v.v.—thành một giao diện duy nhất thân thiện với nhà phát triển. Bằng cách cung cấp xác thực nhất quán, định dạng yêu cầu và xử lý phản hồi, CometAPI đơn giản hóa đáng kể việc tích hợp các khả năng AI vào ứng dụng của bạn. Cho dù bạn đang xây dựng chatbot, trình tạo hình ảnh, nhà soạn nhạc hay đường ống phân tích dựa trên dữ liệu, CometAPI cho phép bạn lặp lại nhanh hơn, kiểm soát chi phí và không phụ thuộc vào nhà cung cấp—tất cả trong khi khai thác những đột phá mới nhất trên toàn bộ hệ sinh thái AI.
Tích hợp mới nhất Seed-OSS sẽ sớm xuất hiện trên CometAPI, vì vậy hãy theo dõi! Trong khi chúng tôi hoàn thiện việc tải lên Mô hình Seed-OSS, hãy khám phá các mô hình hình ảnh khác của chúng tôi như DeepSeek V3.1 trên quy trình làm việc của bạn hoặc thử chúng trong AI Playground. Bạn có thể khám phá các khả năng của mô hình trong Sân chơi và tham khảo hướng dẫn API để biết hướng dẫn chi tiết. Trước khi truy cập, vui lòng đảm bảo bạn đã đăng nhập vào CometAPI và lấy được khóa API. CometAPI cung cấp mức giá thấp hơn nhiều so với giá chính thức để hỗ trợ bạn tích hợp.