OpenAI 的影片生成模型 空 代表了生成人工智慧的重大飛躍，能夠透過簡單的文字提示合成全高清視訊。自 2024 年 XNUMX 月亮相以來，Sora 就因其創造潛力而引發了人們的興奮，同時也引發了人們對其道德和法律影響的擔憂。以下是 Sora 是如何被訓練的，借鑒最新的報告和技術揭露。
索拉是什麼？
Sora 是 OpenAI 的開創性文字轉影片轉換器，可根據簡短的文字描述產生逼真的高解析度影片片段。與早期型號僅限於幾秒鐘的低分辨率鏡頭不同，Sora 可以以全高清 (1×1920) 分辨率製作長達 1080 分鐘的視頻，動作流暢，場景細膩。
Sora 提供哪些功能？
- 文字驅動的影片生成：使用者輸入提示（例如「東京公園裡寧靜的雪花」），Sora 輸出與該描述相符的影片片段。
- 編輯和擴充：Sora 可以擴展現有影片、填滿缺少的畫面以及改變播放方向或樣式。
- 靜到動：此模型可以為靜態影像製作動畫，將照片或插圖轉換成移動的場景。
- 美學變化：透過風格標記，使用者可以調整燈光、色彩分級和電影效果。
什麼架構為 Sora 提供動力？
Sora 建立在與 GPT-4 類似的 Transformer 基礎上，但調整了其輸入表示以處理影片的時間和空間維度：
- 時空補丁標記：視訊畫面分成 3D 區塊，可捕捉像素區域及其隨時間的演變。
- 漸進擴散：從噪音開始，Sora 反覆進行降噪，同時完善空間細節和連貫運動。
- 多模態調節：來自大型語言模型的文本嵌入指導傳播過程，確保與使用者提示的語義對齊。
Sora 是如何接受訓練的？
使用了哪些資料集？
OpenAI 尚未完全揭露 Sora 所依賴的專有資料集，但現有證據和報告表明，它擁有一個綜合訓練語料庫：
- 公共視訊儲存庫：來自 Pexels、Internet Archive 和授權素材庫等平台的數百萬小時不受版權限制的影片。
- YouTube 和遊戲內容：調查表明，為了豐富動態場景（例如，角色運動、物理），OpenAI 融入了遊戲直播和遊戲記錄中的鏡頭（包括 Minecraft 影片），這引發了有關許可證合規性的疑問。
- 用戶貢獻的剪輯：在 Beta 階段，Sora 測試人員提交個人影片作為風格參考，OpenAI 使用這些影片進行微調。
- 合成預訓練：研究人員產生了演算法運動序列（例如，移動形狀、合成場景）以在引入真實世界的鏡頭之前引導模型對物理的理解。
做了哪些預處理？
在訓練之前，所有視訊資料都經過大量處理，以標準化格式並確保訓練穩定性：
- 解析度歸一化：剪輯被調整大小並填充為統一的 1920×1080 分辨率，幀速率同步為 30 FPS。
- 時間分割：較長的影片被剪輯成 1 分鐘的片段，以適應 Sora 的世代視野。
- 資料擴充：隨機裁剪、色彩抖動、時間反轉和雜訊注入等技術豐富了資料集，提高了對不同光照和運動模式的穩健性。
- 元資料標記：腳本解析附帶的文字（標題、字幕）以建立配對（影片、文字）範例，從而實現監督文字調節。
- 偏見審計：在流程早期，手動審查了一部分剪輯，以識別和減輕明顯的內容偏見（例如性別刻板印象），但後來的分析表明，挑戰仍然存在。
OpenAI 如何建構 Sora 的訓練方法？
基於 DALL·E 3 影像生成框架的見解，Sora 的訓練流程整合了針對時間相干性和物理模擬而客製化的專門架構和損失函數。
模型架構和預訓練目標
Sora 採用針對視訊資料最佳化的基於 Transformer 的架構，並具有可捕捉幀級細節和運動軌蹟的時空注意機制。在預訓練期間，模型學習預測連續影格中的蒙版塊－向前和向後擴展蒙版幀以掌握連續性。
改編自 DALL·E 3
Sora 中的核心影像合成區塊源自 DALL·E 3 的擴散技術，經過升級可以處理額外的時間維度。這種調整涉及對文字嵌入和前面的視訊幀進行調節，從而能夠無縫生成新的剪輯或擴展現有的剪輯。
物理世界模擬
一個關鍵的訓練目標是灌輸一種直觀的“世界模型”，該模型能夠模擬物理交互作用——例如重力、物體碰撞和相機運動。 OpenAI 的技術報告強調了使用輔助物理啟發損失項來懲罰物理上不合理的輸出，儘管該模型仍然難以應對流體運動和細微陰影等複雜動態。
面臨哪些挑戰和爭議？
法律和道德問題？
公開內容和用戶生成內容的使用已引發法律審查：
- 版權糾紛：英國的創意產業一直在遊說，反對允許人工智慧公司在未經明確選擇的情況下對藝術家的作品進行訓練，這引發了議會辯論，而 Sora 將於 2025 年 XNUMX 月在英國推出。
- 平台服務條款：YouTube 已標記出因抓取用戶影片用於 AI 訓練而可能出現的違規行為，這促使 OpenAI 審查其提取政策。
- 訴訟：根據針對文字和圖像模型的案件先例，像 Sora 這樣的生成視訊工具可能會因未經授權使用受版權保護的鏡頭而面臨集體訴訟。
訓練資料存在偏見嗎？
儘管採取了緩解措施，Sora 仍然表現出系統性偏見：
- 性別與職業刻板印象：《連線》雜誌的一項分析發現，Sora 製作的影片中，執行長和飛行員大多是男性，而女性主要扮演護理或服務角色。
- 種族代表性：模特兒難以適應不同的膚色和臉部特徵，通常預設選擇膚色較白或以西方為中心的形象。
- 身體能力：殘疾人士最常被描繪成使用輪椅，這反映出人們對殘疾的理解較為狹隘。
- 解決方案路徑：OpenAI 已投資偏誤減少團隊，並計劃納入更具代表性的訓練資料和反事實增強技術。
哪些進步推動了培訓的改進？
模擬和世界建模？
Sora 渲染逼真場景的能力取決於先進的世界模擬模組：
- 物理先驗知識：Sora 在模擬重力、流體動力學和碰撞響應的合成資料集上進行預訓練，在其變換層內建構了一個直覺的物理引擎。
- 時間相干網絡：專門的子模組可增強跨幀的一致性，從而減少早期文字轉視訊方法中常見的閃爍和運動抖動。
物理真實感的改善？
關鍵技術突破增強了 Sora 的輸出保真度：
- 高解析度擴散：分層擴散策略首先產生低解析度運動模式，然後升級到全高清，同時保留整體運動和精細細節。
- 跨時間關注：時間自註意力允許模型參考遠處的幀，確保長期一致性（例如，角色的方向和軌跡在幾秒鐘內保持）。
- 動態風格轉換：即時風格適配器融合了多種視覺美學，可以在單一剪輯中在電影、紀錄片或動畫外觀之間切換。
Sora 未來的訓練方向是什麼？
減少偏見的技術？
OpenAI 和更廣泛的人工智慧社群正在探索解決根深蒂固的偏見的方法：
- 反事實數據增強：合成訓練片段的替代版本（例如，交換性別或種族）以強制模型將屬性與角色分開。
- 對抗性去偏見：整合在訓練期間懲罰刻板輸出的鑑別器。
- 人機互動評審：與不同的使用者群體持續合作，在公開發布之前審核模型輸出並提供回饋。
擴大資料集多樣性？
確保更豐富的訓練語料庫至關重要：
- 全球視訊合作夥伴關係：從非西方媒體機構獲得內容許可，以代表更廣泛的文化、環境和場景。
- 特定領域的微調：在醫學、法律或科學鏡頭上訓練 Sora 的專門變體，從而實現準確的、與領域相關的視訊生成。
- 開放基準：與研究聯盟合作，創建標準化、公開可用的文本到影片評估資料集，促進透明度和競爭。
結論
Sora 站在文字到影片生成的最前沿，結合基於變換器的擴散、大規模視訊語料庫和世界模擬先驗，製作出前所未有的逼真的剪輯。然而，其建立在海量、部分不透明資料集上的訓練流程帶來了緊迫的法律、道德和偏見相關挑戰。隨著 OpenAI 和更廣泛的社區在去偏見、許可合規和數據集多樣化方面的技術進步，Sora 的下一次迭代有望實現更自然的視頻合成，釋放新的創意和專業應用，同時要求警惕的治理以維護藝術權利和社會公平。
入門
CometAPI 提供了一個統一的 REST 接口，在一致的端點下聚合了數百種 AI 模型（包括 Google 的 Gemini 系列），並內建了 API 金鑰管理、使用配額和計費儀表板。您無需處理多個供應商 URL 和憑證，只需讓客戶指向 https://api.cometapi.com/v1 並在每個請求中指定目標模型。
開發人員可以訪問 Sora API 通過 彗星API。首先，在 Playground 中探索模型的功能，並查閱 API指南 有關詳細說明。