Act_two 是 Runway 的下一代 AI 表演捕捉 和 角色动画 工具:它接收一个简短的驱动表演(某人表演场景的网络摄像头或手机视频)以及一个角色参考(图像或视频),并生成动画化的角色表演,将身体、面部表情和手部运动迁移到该角色。Act-Two 在 Runway 的网页产品内提供,并作为可通过 API 生态使用的模型提供。
Act-Two 模型简介
act_two 旨在让高保真动画更加普惠,通过将简短的“驱动表演”片段转化为完整的角色动画序列。该模型专注于表现保真度——迁移面部微表情、唇部与口部运动、手指/手部手势以及全身姿态——当角色输入为图像时,还会添加合理的环境运动。act_two 被定位为 Runway 早期 Act 模型的进化版,并与 Runway 的 Gen-4 视频工具集和 API 深度集成。
act-two 的功能
- 全身表演迁移: 将单个驱动视频中的头部、面部、躯干和手部映射到角色参考。
- 角色输入灵活性: 目标可为角色图像或参考视频。
- 手势控制: 使用角色图像时,可通过驱动片段驱动手/身体手势,并可调整手势影响程度。
- 自动环境运动: 为基于图像的角色添加细微的背景/环境运动,以避免“漂浮”效果。
技术细节与任务约束
输入
- 驱动表演: 包含表演内容(动作、手势、音频)的视频。
- 角色参考: 你希望动画化的角色的静态图像或视频。 ()
输出与格式
支持的纵横比与分辨率包括 1280×720 (16:9)、720×1280 (9:16)、960×960 (1:1) 以及少量其他预设;24 FPS 为标准输出帧率。提供自动裁剪以匹配目标纵横比。
处理备注: 当驱动表演与角色面向大致相同方向且占据相似屏幕空间时效果最佳;存在极端视角不匹配或主体过远/低分辨率的输入可能导致效果下降。Runway 的审核与内容过滤适用于上传资产;如内容违反政策,任务可能被拒绝。
限制与已知失败模式
- 短时长聚焦: act_two 针对短片段优化(最低 3 秒;典型流程在 30 秒以内)。对于长片级动捕,仍需采用传统采集或分段流程。
- 审核/内容安全: 对被标记的输入,Runway 的审核可能阻止或使任务失败;审核失败过多的账户可能被限速或暂停。请在自动化中纳入内容政策合规。
- 边缘情况: 极其复杂的多人表演、手部高度遮挡或极度风格化的参考可能产生伪影(抖动、错误手势或表情不匹配)。可能仍需人工清理或混合流程(轻量转描/关键帧修复)。
- 并非在所有场景都可完全替代动捕: 虽然 Act-Two 能替代短场景与原型阶段的许多传统方案,但需要亚毫米级精度、多人物理交互或片场时间同步的高端电影/CGI 流程仍将依赖标记系统/表演捕捉舞台。
典型用例
- 虚拟制片与前期预演 — 无需动捕舞台即可快速进行走位与表演测试。
- 独立游戏与动画原型 — 快速生成短场景的角色动作。
- 商业广告与社交内容 — 低成本快速制作角色短片与动画化演员表演。
- VFX 插入与动作替换 — 通过演员表演驱动风格化角色以增强现有素材。
与其他当前方案的比较
act_two 与 Pika Labs / Kaiber / Sora 的对比(高层面)
- Act-Two (Runway): 擅长角色表演保真度(头部/面部/身体/手部),采用单一驱动片段范式,短视频的 API 集成简明;按输出秒数计费的点数定价可预期。
- Pika Labs: 以灵活的从提示到视频与风格迁移见长;更侧重通用视频生成与风格化,而非针对性的表演迁移。
- Kaiber: 在风格变换、音乐驱动的视觉效果与通用场景生成方面表现突出,但在逐角色动捕保真度方面未必同样专精。
- Sora(及类似的高端 VFX 流程): 面向电影级质量与长场景生成;更适合长镜头与影视特效,但资源占用更高,快速原型的可达性可能较低。
如何通过 CometAPI 调用 Act-Two API
必要步骤
- 登录 cometapi.com。如果您尚未成为我们的用户,请先注册
- 获取接口的访问凭证 API key。在个人中心的 API token 处点击“Add Token”,获取令牌密钥:sk-xxxxx 并提交。
- 获取该站点的 url:https://api.cometapi.com/
使用方法
- 选择“
act_two”端点发送 API 请求并设置请求体。请求方法与请求体可在我们网站的 API 文档中获取。我们的网站也提供 Apifox 测试,方便使用。 - 用您账户中的实际 CometAPI 密钥替换 <YOUR_API_KEY>。
- 将您的问题或请求插入 content 字段——模型将对其进行响应。
- . 处理 API 响应以获取生成的答案。
CometAPI 提供完全兼容的 REST API——实现无缝迁移。关键细节参见 API doc:
- 端点:
https://api.cometapi.com/runwayml/v1/character_performance - 模型参数:
act_two - 认证:
Bearer YOUR_CometAPI_API_KEY - Content-Type:
application/json。
curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
--header 'X-Runway-Version: 2024-11-06' \
--header 'Authorization: {{api-key}}' \
--header 'Content-Type: application/json' \
--data-raw '{
"character": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"reference": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"bodyControl": true,
"expressionIntensity": 3,
"seed": 4294967295,
"model": "act_two",
"ratio": "1280:720",
"contentModeration": {
"publicFigureThreshold": "auto"
}
}'