GPT-OSS 會成為本地 AI 部署的未來嗎?

CometAPI
AnnaAug 6, 2025
GPT-OSS 會成為本地 AI 部署的未來嗎?

OpenAI 宣布發布 GPT-OSS,由兩個開放權重語言模型組成的系列—GPT-OSS-120B GPT-OSS-20B——採用寬鬆的 Apache 2.0 許可證,這是自 GPT-2 以來的首個重要的開源專案。該公告於 5 年 2025 月 XNUMX 日發布,強調這些模型能夠提供最先進的推理性能,而成本僅為專有替代方案的一小部分,而且至關重要的是,它們可以部署在本地和雲端基礎架構上。

技術架構

GPT-OSS 系列利用 混合式專家 (MoE) Transformer 架構以平衡效能和效率。

  • GPT-OSS-120B:總參數 117 億個,每個令牌啟動 5.1 億個參數,僱用 128 位專家(每個令牌 4 位活躍專家),跨越 36 層。
  • GPT-OSS-20B:總參數 21 億個,每個令牌啟動 3.6 億個參數,僱用 32 位專家(每個令牌 4 位活躍專家),跨越 24 層。
    兩個模型都使用交替密集和局部帶狀稀疏注意力模式以及分組多查詢注意力來實現記憶體高效的推理。

性能和安全評估

OpenAI 報告稱 GPT-OSS-120B 在各種內部基準測試中,其性能均達到或超過其專有的 o4-mini 模型,包括競賽編程(Codeforces)、一般問題解決(MMLU 和 HLE)以及健康相關查詢(HealthBench)。同時, GPT-OSS-20B 儘管規模較小,但在競賽數學(AIME 3 和 2024)和健康任務上的表現優於舊款 o2025-mini。

此外,外部專家審查了該安全方法,確認其遵循與 OpenAI 封閉式版本相同的嚴格安全標準。 OpenAI 安全諮詢小組也對 gpt-oss-120b 進行了對抗性微調,以探測高風險能力(生物、化學、網路),未發現任何證據表明開放式版本會顯著提升這些威脅向量,使其超越現有的開放模型。


可訪問性和部署

GPT OSS 的一個重要里程碑是 本地執行:

  • GPT-OSS-20B 可以在配備現代 GPU 的高階筆記型電腦上運行,從而支援離線或本機應用程式。
  • GPT-OSS-120B 經過最佳化,可在單一企業級 GPU 上運行,使沒有大規模運算叢集的中型組織也可以使用。
  • 資料主權和隱私: 透過將所有推理保留在本地,GPT-OSS 最大限度地降低了監管和安全風險——這對於金融、醫療保健和政府等行業至關重要。
  • 無縫整合: Hugging Face Transformers(v4.55.0)中的預先配置支援和 Northflank 的容器化部署指南使得啟動 GPT-OSS 變得像運行本地伺服器一樣簡單。

OpenAI 執行長 Sam Altman 表示:“借助 GPT OSS,我們賦能開發者和組織,讓他們能夠將尖端人工智慧作為完全自主、可自訂的資產來利用。此次發布標誌著我們在維護最高安全和性能標準的同時,實現高級語言模型民主化的轉折點。”

OpenAI 致力於透過開源這些強大的模型,打造一個更具活力的創新生態系統,鼓勵客製化的微調、新的插件以及推動 AI 發展的創新應用。開發者和企業可以立即從 OpenAI 的 GitHub 程式碼庫下載這些模型,並開始嘗試本地推理、自訂整合和專門的安全評估。

入門

CometAPI 是一個統一的 API 平台,它將來自領先供應商(例如 OpenAI 的 GPT 系列、Google 的 Gemini、Anthropic 的 Claude、Midjourney、Suno 等)的 500 多個 AI 模型聚合到一個開發者友好的介面中。透過提供一致的身份驗證、請求格式和回應處理,CometAPI 顯著簡化了將 AI 功能整合到您的應用程式中的過程。無論您是建立聊天機器人、影像產生器、音樂作曲家,還是資料驅動的分析流程,CometAPI 都能讓您更快地迭代、控製成本,並保持與供應商的兼容性——同時也能充分利用整個 AI 生態系統的最新突破。

開發人員可以訪問 GPT-OSS-20B GPT-OSS-120B 通過 彗星API,列出的最新模型版本截至本文發布之日。首先,探索該模型的功能 游乐场 並諮詢 API指南 以獲得詳細說明。造訪前請確保您已經登入CometAPI並取得API金鑰。 彗星API 提供遠低於官方價格的價格,幫助您整合。

閱讀更多

一個 API 中超過 500 個模型

最高 20% 折扣