Luma Labs 推出了一个范式革新的解决方案：名为 Modify Video 的工具，可在不影响原始表演、镜头运动或角色动画的前提下，实现对场景的全面重建。通过将“发生了什么”（演员的动作与面部表情）与“发生在何处”（环境、材质、光照与视觉风格）解耦，Modify Video 释放前所未有的创作灵活性。
关键特性及工作原理
1. 动作提取与驱动操控
自动全身与面部动作捕捉：Modify Video 可分析输入片段，自动提取全身姿态、面部表情与口型同步信息。
驱动新的角色或物体：一旦这些“动作数据”被捕获，便可用于驱动任何新的 3D 角色、道具或镜头运动。
例如，你可以将演员的表演“迁移”到怪物等生物身上，或让一张桌面与舞蹈动作完美同步移动。
意义所在：
通过将表演与其原始外观分离，创作者可以在保留原始动作的细微差别与时间节奏的同时，尝试替换不同的角色或物体。
2. 🌆 世界与风格替换
- 保留动作，改变其他一切
在不改变核心角色动画或时间节奏的情况下，你可以彻底改造场景的外观、氛围与材质属性。 - 转换示例
- 将破旧车库转换为宇宙飞船的内部。
- 把明亮的阳光街道变为情绪化的霓虹夜景。
- 将卡通风格替换为照片级真实的材质与光照。
- 底层技术
Luma AI 的 Modify Video 能构建对原始场景几何与时间一致性的高保真理解，确保任何视觉改动在时间维度上保持稳定——避免失真、抖动或“时间扭曲”伪影。
3. 独立元素编辑
- 无需绿幕的定向调整
你可以选择并修改单独的元素——如角色服装、特定道具，甚至仅是天空——而不影响画面的其他部分。 - 示例用法
- 更改表演者服装的颜色或风格。
- 将一位演员的面部替换为另一位演员的面部。
- 在场景上空添加一艘穿行的 UFO。
- 无需逐帧跟踪
由于该工具理解空间与时间上下文，你无需手工转描或进行繁琐的逐帧调整。编辑将自然融入素材。
运行模式与创作灵活性
Modify Video 提供三种预设变换模式——各自赋予不同程度的创作自由。用户可选择最符合项目需求的模式：
Adhere 模式（最小调整）
用途： 尽可能保留原始视频的结构，仅进行细微的风格或材质调整。
适用场景： 适用于需要在多镜头间保持一致性或进行小幅后期修正的情况——例如微调背景颜色或替换略有偏差的道具——同时不改变演员表演与机位。
Flex 模式（平衡创意）
用途： 保留关键元素——如角色动作、面部表情与时间节奏——同时允许更广泛的创意改动。
适用场景： 适合在忠实还原与全新改编之间寻求平衡的项目。例如，你可以将整体场景更改为不同风格，或替换角色服装与基础道具，同时保留原始表演的核心。该模式尤其适用于快速生成多种风格变体，如用于客户预览。
Reimagine 模式（完全重构）
用途： 释放最大创作自由，让你完全重设环境、角色，甚至将表演者变为非人实体（如奇幻生物）。
适用场景： 非常适合艺术驱动项目、概念短片或任何希望从根本上重新构想素材的场景。在 Reimagine 模式中，你可以自底而上重塑场景或角色外观，呈现震撼、超现实或超凡脱俗的效果。
选择合适的模式
- Adhere 模式 适用于在不破坏素材完整性的前提下进行微调——例如确保多镜头序列的视觉一致性。
- Flex 模式 适合需要平衡的场景：既保护表演的真实性，又可在场景、光照、服装或小幅角色重设上进行尝试。
- Reimagine 模式 为需要突破常规创意的项目量身打造——当需要对整个世界或主要角色进行彻底改造以获得最大视觉冲击时。
如何使用 Luma AI 的 Modify Video
Modify Video 已集成至 Luma Dream Machine: Ray 2，支持长度最多 10 秒的片段。工作流程如下：
- 上传短视频片段：为获得最佳效果，请将片段控制在 5–10 秒范围，采用高分辨率拍摄并尽量减少镜头抖动。
- 选择变换模式：根据所需改动幅度选择 Adhere、Flex 或 Reimagine。
- 提供参考帧或风格提示（可选）：如果你有特定外观或关键帧（例如概念艺术的静帧），可以上传。
- 输入文本提示（按需）：详尽、正向的描述（如“黄昏的赛博朋克街道，霓虹灯闪耀，悬浮载具穿梭”）有助于系统准确理解你的构想。
- 调整“修改强度”：在细微与强烈的变换之间进行调节。
- 生成并审阅多个变体：系统会输出多个版本；你可以挑选最佳版本继续迭代或直接导出。
拍摄前建议
- 稳定你的相机：使用三脚架或云台以尽量减少抖动，确保动作提取干净。
- 选择简洁背景：纯色墙面或整洁空间能帮助 AI 更有效地分离主体。
- 拍摄高分辨率、光线良好的素材：清晰画面可提供更准确的姿态与材质数据。
- 将片段保持在 10 秒以内：尽管系统支持最长 10 秒，时长 5–7 秒的段落能在内容深度与处理效率之间取得平衡。
需要注意的限制
- 最长 10 秒片段
若为更长的序列，需要分割为多个片段进行处理。 - 输入质量影响输出
模糊、低分辨率或噪点较多的素材会降低动作捕捉的准确性与最终视觉保真度。 - 混乱或拥挤的场景
包含大量快速移动物体或高度杂乱背景的镜头，可能产生不稳定的伪影或意外的融合错误。 - 复杂重叠元素
存在多个重叠演员或道具的场景会对隔离算法造成挑战——更简单的布置通常能得到更干净的结果。
总而言之，Modify Video 在后期制作灵活性方面实现了变革性跃迁——既能保留表演的精髓，又可重建其整个世界。与 Ray 2 新集成的 Adobe Firefly 兼容性、Camera Angle Concepts 与 Keyframes 控制等功能结合使用时，Luma AI 赋能创作者以以前所未有的敏捷与创造力进行叙事。无论是进行细微的风格微调，还是进行彻底的超现实重想，这套不断进化的工具集都能在每个 10 秒片段中显著扩展可能性。
开始使用
CometAPI 提供统一的 REST 接口，将数百个 AI 模型聚合到一致的端点之下，并内置 API 密钥管理、使用配额与计费仪表板。无需同时应对多个厂商的 URL 与凭证。
开发者可通过 CometAPI 访问最新的 Luma API。开始使用前，请在 Playground 中探索模型能力，并参阅 API 指南 获取详细说明。访问之前，请确保你已登录 CometAPI 并获取 API 密钥。CometAPI 以远低于官方价格的方案帮助你完成集成：
