runwayml_character_performance

Specifiche tecniche di runwayml-character-performance

Che cos'è runwayml-character-performance?

runwayml-character-performance è l'identificatore di piattaforma di CometAPI per il workflow di generazione delle performance del personaggio di Runway, comunemente descritto da Runway come Act-Two. Il modello è progettato per animare un personaggio a partire da una clip di performance umana: si fornisce un video della performance di guida di qualcuno che recita, insieme a un'immagine o a un video del personaggio, e il sistema trasferisce movimento facciale, espressioni, temporizzazione del parlato e movimento corporeo in una ripresa del personaggio generata.

Questo modello è pensato per flussi di lavoro creativi che richiedono un'animazione del personaggio rapida senza un tradizionale setup di motion capture. Runway lo descrive come un modo per dare vita ai personaggi con movimento, parlato ed espressioni realistici, supportando anche personaggi non umani e stili visivi vari. Quando il personaggio di destinazione è un'immagine statica, il sistema può anche sintetizzare movimento ambientale per rendere l'inquadratura più naturale.

Su CometAPI, questa capacità è esposta tramite l'endpoint di character performance di Runway, rendendola adatta a team di prodotto, strumenti creativi, pipeline di prototipazione e flussi di lavoro media automatizzati che desiderano un accesso programmabile all'animazione dei personaggi guidata dalle performance. (cometapi.com)

Caratteristiche principali di runwayml-character-performance

• Performance transfer: Mappa la performance recitativa di una persona da un video sorgente su un personaggio di destinazione, includendo movimento facciale, espressioni e movimento corporeo più ampio.
• Input del personaggio flessibile: Accetta un'immagine del personaggio o un video del personaggio, offrendo diversi compromessi tra controllo del movimento e preservazione della scena.
• Controllo dei gesti per personaggi basati su immagine: Quando si usa un'immagine del personaggio, il modello può trasferire gesti e pose corporee dalla clip di performance, abilitando un'animazione più espressiva.
• Animazione di immagini sensibile alla scena: Per input come immagini statiche del personaggio, il sistema aggiunge automaticamente movimento ambientale o simile a quello della camera, così il risultato non appare statico o artificialmente congelato.
• Workflow del personaggio che preserva il video: Quando l'input del personaggio è un video, il risultato generato conserva soggetto, scena e movimento di camera originali, applicando al contempo il trasferimento della performance facciale.
• Espressività facciale regolabile: Supporta controlli di intensità delle espressioni, consentendo di bilanciare un trasferimento recitativo più marcato con stabilità e coerenza visiva.
• Opzioni di output adatte alla produzione: Supporta più rapporti d'aspetto e risoluzioni comuni a 24 FPS, rendendolo utilizzabile per formati orizzontali, verticali, quadrati e cinematografici per social/video.
• Ottimizzazione per animazione di breve durata: Ideale per clip brevi, con un minimo di 3 secondi e supporto fino a 30 secondi, adatto a annunci, clip social, frammenti di dialogo, previs e scene prototipo.

Come accedere e integrare runwayml-character-performance

Passaggio 1: registrati per ottenere una chiave API

Accedi a CometAPI. Se non sei ancora un utente, registrati prima. Quindi apri il tuo centro personale, crea un token API e copia la tua chiave per l'autenticazione nelle richieste successive. CometAPI espone questo modello attraverso la sua infrastruttura API compatibile con Runway. (cometapi.com)

Passaggio 2: invia richieste all'API runwayml-character-performance

Usa l'endpoint di character performance di Runway su CometAPI e imposta il campo modello su runwayml-character-performance nel livello applicativo. Il flusso di richiesta sottostante utilizza la route di character performance con input JSON per la performance di guida, l'asset del personaggio, i controlli di movimento e le impostazioni di output. (cometapi.com)

curl --location --request POST 'https://api.cometapi.com/runwayml/v1/character_performance' \
  --header 'X-Runway-Version: 2024-11-06' \
  --header 'Authorization: Bearer YOUR_COMETAPI_API_KEY' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "character": {
      "type": "video",
      "uri": "https://your-file-host.example/character.mp4"
    },
    "reference": {
      "type": "video",
      "uri": "https://your-file-host.example/performance.mp4"
    },
    "bodyControl": true,
    "expressionIntensity": 3,
    "seed": 4294967295,
    "model": "runwayml-character-performance",
    "ratio": "1280:720",
    "contentModeration": {
      "publicFigureThreshold": "auto"
    }
  }'

Passaggio 3: recupera e verifica i risultati

Dopo l'invio, elabora la risposta dell'API nel tuo backend o nell'applicazione client e verifica che la generazione restituita corrisponda alla durata, all'inquadratura e alla qualità espressiva attese. In pratica, dovresti anche convalidare che gli asset di input seguano le best practice di Runway—riprese della performance con un singolo soggetto, volto visibile, inquadratura stabile e riferimenti del personaggio adeguati—per migliorare l'affidabilità dell'output. (cometapi.com)