runwayml_character_performance

Specyfikacje techniczne runwayml-character-performance

Czym jest runwayml-character-performance?

runwayml-character-performance to identyfikator platformy CometAPI dla przepływu generowania występu postaci Runway, opisywanego przez Runway jako Act-Two. Model służy do animowania postaci na podstawie klipu z ludzkim występem: dostarczasz wideo sterujące z czyimś występem oraz obraz lub wideo postaci, a system przenosi ruch twarzy, ekspresję, timing mowy i ruch ciała do wygenerowanego ujęcia postaci.

Model zaprojektowano z myślą o twórcach potrzebujących szybkiej animacji postaci bez tradycyjnej konfiguracji motion capture. Runway opisuje to jako sposób na ożywienie postaci realistycznym ruchem, mową i ekspresją, z obsługą postaci nieludzkich oraz różnych stylów wizualnych. Gdy docelową postacią jest nieruchomy obraz, system może także syntetyzować ruch otoczenia, by ujęcie nie wyglądało statycznie.

W CometAPI ta funkcja jest udostępniona przez punkt końcowy Runway character performance, co czyni ją odpowiednią dla zespołów produktowych, narzędzi kreatywnych, prototypowania i zautomatyzowanych przepływów medialnych potrzebujących programowalnego dostępu do animacji postaci sterowanej występem. (cometapi.com)

Główne funkcje runwayml-character-performance

• Transfer występu: Mapuje grę aktorską osoby z wideo źródłowego na docelową postać, obejmując ruch twarzy, ekspresję oraz szerszy ruch ciała.
• Elastyczne wejście postaci: Akceptuje obraz postaci lub wideo postaci, dając deweloperom różne kompromisy między kontrolą ruchu a zachowaniem sceny.
• Kontrola gestów dla postaci opartych na obrazie: Przy użyciu obrazu postaci model może przenosić gesty i pozy ciała z klipu występu, umożliwiając bardziej ekspresyjną animację.
• Animacja obrazu uwzględniająca scenę: Dla wejść będących obrazami postaci system automatycznie dodaje ruch otoczenia lub ruch podobny do kamery, aby wynik nie wyglądał na statyczny.
• Przepływ pracy zachowujący wideo postaci: Gdy wejściem jest wideo postaci, wygenerowany wynik zachowuje oryginalny obiekt, scenę i ruch kamery, stosując jednocześnie transfer mimiki.
• Regulowana ekspresyjność mimiki: Obsługuje kontrolę intensywności ekspresji, pozwalając zbalansować silniejsze przenoszenie gry względem stabilności i spójności obrazu.
• Opcje wyjściowe przyjazne dla produkcji: Obsługuje wiele popularnych proporcji i rozdzielczości przy 24 FPS, co pozwala na użycie w formatach poziomych, pionowych, kwadratowych i kinowych do social/video.
• Optymalizacja pod krótkie formy animacji: Najlepiej sprawdza się w krótkich klipach, z minimum 3 sekundy i wsparciem do 30 sekund, pasując do reklam, klipów social, dialogów, previs i prototypowych scen.

Jak uzyskać dostęp i zintegrować runwayml-character-performance

Krok 1: Uzyskaj klucz API

Zaloguj się do CometAPI. Jeśli nie masz konta, najpierw się zarejestruj. Następnie otwórz centrum użytkownika, utwórz token API i skopiuj klucz do uwierzytelniania kolejnych żądań. CometAPI udostępnia ten model poprzez infrastrukturę API zgodną z Runway. (cometapi.com)

Krok 2: Wyślij żądania do API runwayml-character-performance

Użyj punktu końcowego Runway character performance w CometAPI i ustaw pole model na runwayml-character-performance w warstwie aplikacyjnej. Podstawowy przepływ żądania używa trasy „character performance” z wejściem JSON dla wideo sterującego, zasobu postaci, kontroli ruchu oraz ustawień wyjścia. (cometapi.com)

curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
  --header 'X-Runway-Version: 2024-11-06' \
  --header 'Authorization: Bearer YOUR_COMETAPI_API_KEY' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "character": {
      "type": "video",
      "uri": "https://your-file-host.example/character.mp4"
    },
    "reference": {
      "type": "video",
      "uri": "https://your-file-host.example/performance.mp4"
    },
    "bodyControl": true,
    "expressionIntensity": 3,
    "seed": 4294967295,
    "model": "runwayml-character-performance",
    "ratio": "1280:720",
    "contentModeration": {
      "publicFigureThreshold": "auto"
    }
  }'

Krok 3: Odbierz i zweryfikuj wyniki

Po przesłaniu przetwórz odpowiedź API w backendzie lub aplikacji klienckiej i sprawdź, czy zwrócona generacja odpowiada oczekiwanym czasowi trwania, kadrowaniu i jakości ekspresji. W praktyce warto też zweryfikować, czy materiały wejściowe spełniają dobre praktyki Runway — wyraźne nagranie występu z jednym obiektem, widoczna twarz, stabilny kadr oraz odpowiednie referencje postaci — aby poprawić niezawodność wyników. (cometapi.com)