第二幕 是 Runway 的下一代 人工智慧表演捕捉 角色動畫 工具:它攝取一小段 駕駛性能 (某人表演場景的網路攝影機或手機影片)加上 品格證明 (圖像或影片)並產生動畫角色表演,將身體、面部表情和手勢傳遞給角色。 Act-Two 內建於 Runway 的網路產品中,並透過 API 生態系統作為模型提供。
第二幕模型簡介
第二幕 旨在透過將簡短的「駕駛性能」片段轉換為完整的動畫角色序列,實現高保真動畫的普及。該模型側重於 表達保真度 — 傳遞臉部微表情、嘴唇和嘴巴動作、手指/手勢和全身姿勢 — 同時也添加合理的 環境運動 當輸入的字元是影像時。 第二幕 被定位為 Runway 早期 Act 模型的演變,並與 Runway 的 Gen-4 視訊工具集和 API 緊密整合。
第二幕做什麼
- 全身性能傳遞: 將單一駕駛影片中的頭部、臉部、軀幹和手部對應到角色參考。
- 字元輸入靈活性: 接受一個字符 圖片 或 參考影片 作為目標。
- 手勢控制: 當使用角色影像時,您可以透過驅動剪輯來驅動手勢/身體手勢並調整手勢影響。
- 自動環境運動: 為基於圖像的角色添加微妙的背景/環境運動,以避免出現「浮動」效果。
技術細節和任務限制
輸入
- 駕駛性能: 包含表演(動作、手勢、音訊)的影片。
- 人物參考: 你想要製作動畫的角色的靜態圖像或影片。 ()
輸出和格式
支援的寬高比和解析度包括 1280×720 (16:9), 720×1280 (9:16), 960×960 (1:1) 以及一小組其他預設; FPS 24 是輸出的標準幀速率。 自動裁切 以符合縱橫比目標。
處理說明: 當駕駛性能和角色朝向相同方向且佔據相似螢幕空間時,可獲得最佳效果;視角極度不匹配或拍攝對象距離過遠/分辨率過低的輸入可能會導致效果下降。 Runway 的審核和內容過濾器適用於上傳的素材;如果內容違反政策,任務可能會被拒絕。
限制和已知故障模式
- 短期焦點: 第二幕 已經過優化 短片 (最短 3 秒;典型工作流程耗時不到 30 秒)。對於長篇動作捕捉,您仍然需要傳統的捕捉或分塊工作流程。
- 審核/內容安全: Runway 的審核功能可能會阻止或使標記輸入的任務失敗;審核失敗次數過多的帳戶可能會受到速率限製或被暫停。將內容政策合規性納入自動化流程。
- 邊緣情況: 極其複雜的多人表演、高度遮擋的手部或極度風格化的參考素材可能會產生偽影(抖動、手勢不正確或表情不匹配)。可能仍需要手動清理或混合流程(輕描淡寫地進行轉描/關鍵影格修復)。
- 並非所有情況下都能完全取代動作捕捉: 雖然第二幕可以取代許多傳統的短場景和原型設置,但需要亞毫米精度、多名演員進行身體互動或現場時間同步的高端電影/CGI 流程仍將依賴標記系統/性能捕捉階段。
典型用例
- 虛擬製作和預覽 — 無需動作捕捉階段即可進行快速阻塞和表演測試。
- 獨立遊戲與動畫原型設計 — 為短場景快速產生角色動作。
- 商業廣告和社群內容 — 廉價且快速地製作角色廣告和動畫節目。
- 視覺特效插入與動作替換 — 透過從演員的鏡頭中驅動一個風格化的角色來增強現有的鏡頭。
與其他當前解決方案的比較
第二幕 vs Pika Labs / Kaiber / Sora (高等級)
- 第二幕(跑道): 擅長於 角色的表演保真度 (頭部/臉部/身體/手部) 單驅動夾 短視訊的範例和直接的 API 整合;可預測的秒級輸出信用定價。
- Pika實驗室: 通常因靈活的提示到視訊和風格轉換而備受關注;可能更側重於一般視訊生成和風格化,而不是有針對性的性能轉換。
- 凱伯: 擅長 風格轉變、音樂驅動的視覺效果和一般場景生成,但不一定專注於每個角色的動作捕捉保真度。
- Sora(以及類似的高級 VFX 管道): 面向電影品質和擴展場景生成;更適合長序列和電影視覺特效,但資源密集度更高,可能不太適合快速原型。
如何致電 第二幕 來自 CometAPI 的 API
所需步驟
- 登錄到 cometapi.com。如果您還不是我們的用戶,請先註冊
- 取得介面的存取憑證API key。在個人中心的API token處點選“新增Token”,取得Token金鑰:sk-xxxxx並提交。
- 取得此網站的 URL: https://api.cometapi.com/
使用方法
- 選擇“
act_two「端點發送 API 請求並設定請求體。請求方法和請求體可從我們網站的 API 文件取得。為了方便您使用,我們網站也提供了 Apifox 測試。 - 代替使用您帳戶中的實際 CometAPI 金鑰。
- 將您的問題或請求插入內容欄位 - 這是模型將會回應的內容。
- 。處理 API 回應以取得產生的答案。
CometAPI 提供完全相容的 REST API,以實現無縫遷移。關鍵細節如下: API 文件:
- 終點:
https://api.cometapi.com/runwayml/v1/character_performance - 模型參數:
act_two - 驗證:
Bearer YOUR_CometAPI_API_KEY - 內容類型:
application/json.
curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
--header 'X-Runway-Version: 2024-11-06' \
--header 'Authorization: {{api-key}}' \
--header 'Content-Type: application/json' \
--data-raw '{
"character": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"reference": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"bodyControl": true,
"expressionIntensity": 3,
"seed": 4294967295,
"model": "act_two",
"ratio": "1280:720",
"contentModeration": {
"publicFigureThreshold": "auto"
}
}'