第二幕 ランウェイの次世代 AIパフォーマンスキャプチャ および キャラクターアニメーション ツール:短い 運転性能 (ウェブカメラまたは携帯電話で撮影した、あるシーンを演じる人物のビデオ)と 文字参照 (画像または動画)からキャラクターの体、表情、手の動きをアニメーションで表現するキャラクターパフォーマンスを生成します。Act-Twoは、RunwayのWeb製品内で提供されるほか、APIエコシステムを通じてモデルとして利用可能です。
Act-Twoモデルの紹介
第二幕 短い「運転パフォーマンス」クリップを、完全にアニメーション化されたキャラクターシーケンスに変換することで、高忠実度アニメーションを民主化することを目的として設計されています。このモデルは、 表現の忠実度 — 顔の微妙な表情、唇や口の動き、指や手のジェスチャー、全身の姿勢を再現しながら、説得力のある表現も加えています。 環境運動 入力された文字が画像の場合。 第二幕 は、Runway の以前の Act モデルの進化版として位置付けられており、Runway の Gen-4 ビデオ ツールセットと API に緊密に統合されています。
第2幕では
- 全身パフォーマンス伝達: 単一の運転ビデオから頭、顔、胴体、手をキャラクター参照にマッピングします。
- 文字入力の柔軟性: 文字のいずれかを受け入れる 画像 または 参考ビデオ ターゲットとして。
- ジェスチャーコントロール: キャラクター画像を使用する場合、駆動クリップを通じて手や体のジェスチャを駆動し、ジェスチャの影響を調整できます。
- 自動環境モーション: 画像ベースのキャラクターに微妙な背景/環境の動きを追加して、「浮いた」ような結果を回避します。
技術的な詳細とタスクの制約
入力
- 走行性能: 演技パフォーマンス(動き、ジェスチャー、音声)が含まれたビデオ。
- キャラクター参照: アニメーション化したいキャラクターの静止画または動画。()
出力とフォーマット
サポートされているアスペクト比と解像度は次のとおりです 1280×720 (16:9), 720×1280 (9:16), 960×960 (1:1) その他のプリセットの小さなセット。 24のFPS 出力の標準フレームレートです。 自動トリミング アスペクト比ターゲットに一致させます。
処理メモ: 運転操作とキャラクターが同じ方向を向き、画面スペースがほぼ同じ場合、最良の結果が得られます。極端な遠近感の不一致、または被写体が遠すぎる/解像度が低い場合、画質が低下する可能性があります。アップロードされたアセットには、Runway のモデレーションとコンテンツフィルターが適用されます。コンテンツがポリシーに違反している場合、タスクが拒否される可能性があります。
制限事項と既知の故障モード
- 短期集中: 第二幕 に最適化されています 短いクリップ (最低3秒。一般的なワークフローでは30秒未満)。長編モーションキャプチャーの場合は、従来のキャプチャーワークフローまたはチャンクワークフローが必要になります。
- モデレーション/コンテンツの安全性: Runway のモデレーションでは、フラグが付けられた入力に対してタスクがブロックまたは失敗する場合があります。モデレーションの失敗が多すぎるアカウントは、レート制限または停止の対象となります。コンテンツポリシーのコンプライアンスを自動化に組み込む計画を立てましょう。
- エッジケース: 極めて複雑な複数人物の演技、高度に遮蔽された手、あるいは極端に様式化された参照は、アーティファクト(ジッター、不正確な手のポーズ、表情の不一致など)を生み出す可能性があります。手動によるクリーンアップや、軽めのロトスコープ/キーフレーム修復といったハイブリッドパイプラインが必要となる場合もあります。
- すべてのケースでモーションキャプチャの完全な代替となるわけではありません。 Act-Two は、短いシーンやプロトタイピング用の従来のセットアップの多くを置き換えることができますが、サブミリメートルの精度、複数の俳優の物理的な相互作用、またはオンセットのタイミング同期を必要とするハイエンドの映画/CGI パイプラインでは、依然としてマーカー システム/パフォーマンス キャプチャ ステージに依存します。
典型的な使用例
- バーチャルプロダクションとプリビズ — モーションキャプチャーステージなしで、迅速なブロッキングと演技のテストが行えます。
- インディーゲームとアニメーションのプロトタイピング — 短いシーンのキャラクターモーションを高速に生成します。
- コマーシャルとソーシャルコンテンツ — キャラクタースポットやアニメの出演者を安価かつ迅速に制作します。
- VFXの挿入とモーションの置き換え — 俳優の演技から様式化されたキャラクターを演出して、既存の映像を補強します。
他の現在のソリューションとの比較
第二幕 vs ピカラボ / カイバー / ソラ(高レベル)
- 第2幕(ランウェイ): 優れている キャラクターのパフォーマンス忠実度 (頭/顔/体/手) シングルドライビングクリップ 短い動画のためのパラダイムと簡単な API 統合。出力数秒ごとに予測可能なクレジット価格設定。
- ピカラボ: 柔軟なプロンプトからビデオへの転送やスタイルの転送でよく注目されますが、ターゲットを絞ったパフォーマンス転送よりも、一般的なビデオ生成とスタイル設定に重点が置かれる場合があります。
- カイバー: 強い スタイルの変換、音楽駆動型のビジュアル、一般的なシーン生成ただし、必ずしもキャラクターごとのモーションキャプチャの忠実度に特化しているわけではありません。
- Sora (および同様のプレミアム VFX パイプライン): 映画のような品質と拡張シーンの生成に重点を置いています。長いシーケンスや映画の VFX には強いですが、多くのリソースを消費するため、迅速なプロトタイプ作成には適さない可能性があります。
電話方法 第二幕 CometAPI からの API
必要な手順
- ログインする コムタピまだユーザーでない場合は、まず登録してください
- インターフェースのアクセス認証情報APIキーを取得します。パーソナルセンターのAPIトークンで「トークンを追加」をクリックし、トークンキー(sk-xxxxx)を取得して送信します。
- このサイトの URL を取得します: https://api.cometapi.com/
使用方法
- "を選択します。
act_two” エンドポイントを使用してAPIリクエストを送信し、リクエストボディを設定します。リクエストメソッドとリクエストボディは、弊社ウェブサイトのAPIドキュメントから取得できます。また、お客様の便宜を図るため、弊社ウェブサイトではApifoxテストも提供しています。 - 交換するアカウントの実際の CometAPI キーを使用します。
- コンテンツ フィールドに質問またはリクエストを入力します。モデルはこれに応答します。
- API 応答を処理して、生成された回答を取得します。
CometAPIは、シームレスな移行のために完全に互換性のあるREST APIを提供します。 APIドキュメント:
- 終点:
https://api.cometapi.com/runwayml/v1/character_performance - モデルパラメータ:
act_two - 認証:
Bearer YOUR_CometAPI_API_KEY - コンテンツタイプ:
application/json.
curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
--header 'X-Runway-Version: 2024-11-06' \
--header 'Authorization: {{api-key}}' \
--header 'Content-Type: application/json' \
--data-raw '{
"character": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"reference": {
"type": "video",
"uri": "https://filesystem.site/cdn/20250818/wAKbHUoj5EHyqZvEdJbFXn10wXBMUn.mp4"
},
"bodyControl": true,
"expressionIntensity": 3,
"seed": 4294967295,
"model": "act_two",
"ratio": "1280:720",
"contentModeration": {
"publicFigureThreshold": "auto"
}
}'