位元組跳動開源 Seed-OSS-36B,一個 36B 參數的 LLM

CometAPI
AnnaAug 23, 2025
位元組跳動開源 Seed-OSS-36B,一個 36B 參數的 LLM

位元組跳動種子團隊已發布 種子OSS,由以下機構領導的開源大型語言模型系列 種子-OSS-36B這是一個擁有 36 億個參數的模型,支援超長輸入窗口,並根據 Apache-2.0 許可證進行分發。程式碼和模型卡已於 20 年 2025 月 XNUMX 日在 GitHub 和 Hugging Face 上發布,多個版本(包括 Base 和 Instruct 版本,以及使用合成資料訓練的版本)可供開發者立即使用。

Seed-OSS 發布了什麼

位元組跳動種子發布了三個Seed-OSS變種: Seed-OSS-36B-Base (已發布包含和不包含合成資料的版本)和 Seed-OSS-36B-Instruct

Seed-OSS 的主要技術亮點

  • 參數數量: 標題模型被描述為 36億個參數 模型。 \
  • 非常長的上下文視窗: 位元組跳動宣稱其上下文長度非常大—— 最多 512,000 個代幣 — 針對長文檔推理、程式碼庫和多重文檔代理工作流程。 \
  • 訓練規模: 據報道,Seed-OSS 儘管只接受了大約 12 萬億代幣,根據模型文件。

Seed-OSS 模型系列基於流行的因果語言模型架構,並利用 RoPE、GQA 注意力機制、RMS 範數和 SwiGLU 激活函數。最新發布的 Seed-OSS-36B 模型擁有 36 億個參數,能夠處理 512KB 的長上下文。儘管僅使用了 12 兆個訓練數據,但它在多個熱門基準測試中取得了令人矚目的表現。

Seed-OSS 模型系列包含兩個版本:包含合成指令資料的 Seed-OSS-36B-Base 和不含合成指令資料的 Seed-OSS-36B-Base-woSyn。這樣的設計不僅為開發者提供了高效能的基礎模型,也為研究人員提供了更廣泛的選擇,確保其研究的有效性不會受到合成資料的影響。

該模型的一個關鍵特性是靈活的“思考預算”,允許使用者根據需要動態調整推理時長。這項功能顯著提升了實際應用中的推理效率。此外,Seed-OSS 還針對推理任務進行了專門優化,在保持良好整體表現的同時,提升了推理能力。

在發表會上,Seed團隊強調Seed-OSS模型不僅適用於學術研究,也廣泛應用於各種開發任務,例如基於代理的智慧任務,例如工具使用和問題解決。模型訓練和評估結果表明,Seed-OSS在知識問答、數學推理和程式設計等開源任務中取得了領先的表現。

入門

CometAPI 是一個統一的 API 平台,它將來自領先供應商(例如 OpenAI 的 GPT 系列、Google 的 Gemini、Anthropic 的 Claude、Midjourney、Suno 等)的 500 多個 AI 模型聚合到一個開發者友好的介面中。透過提供一致的身份驗證、請求格式和回應處理,CometAPI 顯著簡化了將 AI 功能整合到您的應用程式中的過程。無論您是建立聊天機器人、影像產生器、音樂作曲家,還是資料驅動的分析流程,CometAPI 都能讓您更快地迭代、控製成本,並保持與供應商的兼容性——同時也能充分利用整個 AI 生態系統的最新突破。

最新的整合 Seed-OSS 即將出現在 CometAPI 上,敬請期待!在我們完成 Seed-OSS 模型上傳的同時,探索我們的其他圖像模型,例如 深尋V3.1 在您的工作流程中或在 AI Playground 中試用它們。您可以在 游乐场 並查閱 API 指南以取得詳細說明。造訪前,請確保您已登入 CometAPI 並取得 API 金鑰。 CometAPI 提供遠低於官方價格的整合價格,以幫助您整合。

閱讀更多

一個 API 中超過 500 個模型

最高 20% 折扣