runwayml_character_performance

runwayml-character-performance техникалық сипаттамалары

runwayml-character-performance деген не?

runwayml-character-performance — Runway-дың character performance генерациялау жұмыс ағынына арналған CometAPI платформалық идентификаторы; Runway оны жиі Act-Two деп сипаттайды. Модель адам перформанс клипінен кейіпкерді анимациялауға арналған: сіз актерлік перформансы бар басқарушы бейнені және кейіпкердің суреті немесе видеосын бересіз, ал жүйе бет қимылын, экспрессиясын, сөйлеу таймингін және дене қозғалысын генерацияланған кейіпкер кадрына көшіреді.

Бұл модель дәстүрлі motion capture орнатусыз тез кейіпкер анимациясы қажет жасампаз жұмыс ағындары үшін әзірленген. Runway мұны кейіпкерлерді шынайы қозғалыс, сөйлеу және экспрессиямен “тірілту” тәсілі ретінде сипаттайды; ол адам емес кейіпкерлер мен әртүрлі визуалдық стильдерді де қолдайды. Нысана кейіпкері статикалық сурет болғанда, жүйе кадрдың табиғилығын арттыру үшін қоршаған орта қозғалысын да синтездей алады.

CometAPI-де бұл мүмкіндіктер Runway character performance endpoint арқылы ұсынылады, сондықтан перформансқа негізделген кейіпкер анимациясына бағдарламалық қолжетімділік қажет өнім топтары, креативті құралдар, прототиптеу құбырлары және автоматтандырылған медиа жұмыс ағындары үшін қолайлы. (cometapi.com)

runwayml-character-performance негізгі мүмкіндіктері

• Перформансты тасымалдау: Дереккөз видеодағы адамның актерлік перформансын нысана кейіпкерге көшіреді, оған бет қимылы, экспрессия және жалпы дене қозғалысы кіреді.
• Икемді кейіпкер енгізуі: Кейіпкер суретін немесе кейіпкер видеосын қабылдайды, бұл әзірлеушілерге қозғалысты басқару мен сахнаны сақтаудың әртүрлі ымыраларын таңдауға мүмкіндік береді.
• Сурет негізіндегі кейіпкерлер үшін ым-қимыл: Кейіпкер суретін пайдаланғанда, модель перформанс клипінен ым-ишаралар мен дене позаларын бере алады, бұл анимацияның экспрессивтілігін арттырады.
• Сахнаға бейімделген сурет анимациясы: Статикалық сурет енгізулер үшін жүйе кадр “қатып” қалғандай көрінбеуі үшін автоматты түрде қоршаған орта немесе камераға ұқсас қозғалысты қосады.
• Видеоны сақтайтын кейіпкер жұмыс ағыны: Кейіпкер енгізуі видео болғанда, нәтижеде бастапқы нысан, сахна және камера қозғалысы сақталады, ал бет перформансы тасымалданады.
• Реттелетін бет экспрессивтілігі: Экспрессия қарқындылығын басқаруды қолдайды, бұл күштірек актерлік трансфер мен визуалдық тұрақтылықтың арасындағы тепе-теңдікті таңдауға мүмкіндік береді.
• Өндіріс-үйлесімді шығыс параметрлері: 24 FPS-та бірнеше кең тараған кадр қатынастары мен ажыратымдылықтарды қолдайды, сондықтан альбомдық, портреттік, квадрат және кинематографиялық әлеуметтік/видео форматтарға жарайды.
• Қысқа клиптерге оңтайландырылған: Ең азы 3 секунд және 30 секундқа дейінгі ұзақтықты қолдайды, бұл жарнамалар, әлеуметтік клиптер, диалог үзінділері, алдын-ала визуализация және прототиптік көріністерге сай.

runwayml-character-performance қолжеткізу және біріктіру тәртібі

1-қадам: API кілтін алу

CometAPI жүйесіне кіріңіз. Егер тіркелмеген болсаңыз, алдымен тіркеліңіз. Содан кейін жеке кабинетті ашып, API токенін жасаңыз және келесі сұрауларда аутентификация үшін кілтіңізді көшіріп алыңыз. CometAPI бұл модельді Runway-мен үйлесімді API инфрақұрылымы арқылы ұсынады. (cometapi.com)

2-қадам: runwayml-character-performance API-не сұраулар жіберу

CometAPI-дің Runway character performance endpoint-ын пайдаланыңыз және қолданба деңгейінде model өрісін runwayml-character-performance етіп орнатыңыз. Негізгі сұрау ағыны driving performance, кейіпкер активтері, қозғалыс басқаруы және шығыс баптаулары үшін JSON енгізуді қолданатын character performance маршрутын пайдаланады. (cometapi.com)

curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
  --header 'X-Runway-Version: 2024-11-06' \
  --header 'Authorization: Bearer YOUR_COMETAPI_API_KEY' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "character": {
      "type": "video",
      "uri": "https://your-file-host.example/character.mp4"
    },
    "reference": {
      "type": "video",
      "uri": "https://your-file-host.example/performance.mp4"
    },
    "bodyControl": true,
    "expressionIntensity": 3,
    "seed": 4294967295,
    "model": "runwayml-character-performance",
    "ratio": "1280:720",
    "contentModeration": {
      "publicFigureThreshold": "auto"
    }
  }'

3-қадам: Нәтижелерді алу және тексеру

Жібергеннен кейін, API жауабын backend немесе клиент қолданбаңызда өңдеп, қайтарылған генерацияның күтілетін ұзақтыққа, кадрлау мен экспрессивті сапаға сәйкес келетінін тексеріңіз. Тәжірибеде, енгізілетін активтердің Runway-дың үздік тәжірибелеріне сай екеніне көз жеткізіңіз: айқын, бір нысанды перформанс түсірімі, көрінетін бет, тұрақты кадрлау және лайықты кейіпкер референстері — мұның бәрі нәтижелердің сенімділігін арттырады. (cometapi.com)