Luma Labs heeft een baanbrekende oplossing geïntroduceerd: een tool genaamd Video wijzigen die een uitgebreide scènereconstructie mogelijk maakt zonder de originele uitvoering, camerabewegingen of karakteranimatie in gevaar te brengen. Door "wat" er gebeurt (de bewegingen en gezichtsuitdrukkingen van de acteurs) los te koppelen van "waar" het gebeurt (de omgeving, texturen, belichting en visuele stijl), biedt Modify Video ongekende creatieve flexibiliteit.
Belangrijkste kenmerken en hoe ze werken
1. Bewegingsextractie en poppenspel
Automatische opname van volledige lichaams- en gezichtsbewegingen:Modify Video kan een invoerclip analyseren en automatisch informatie over volledige lichaamshoudingen, gezichtsuitdrukkingen en lipsynchronisatie extraheren.
Nieuwe personages of objecten besturen:Zodra deze 'bewegingsgegevens' zijn vastgelegd, kunnen ze worden gebruikt om nieuwe 3D-personages, rekwisieten of camerabewegingen aan te sturen.
Je zou bijvoorbeeld de acteerprestatie kunnen ‘overbrengen’ naar een wezen, bijvoorbeeld een monster, of je zou een beweging op tafel perfect kunnen laten synchroon lopen met een dansroutine.
Waarom het uitmaakt:
Door de uitvoering te scheiden van het oorspronkelijke optreden, kunnen makers experimenteren met alternatieve personages of objecten, terwijl ze de nuances en timing van de oorspronkelijke act behouden.
2. 🌆 Wereld- en stijlruil
- Behoud actie, verander al het andere
Zonder de kernanimatie of timing van het personage te veranderen, kunt u het uiterlijk, de beleving en de materiële eigenschappen van de scène volledig veranderen. - Voorbeelden van transformaties
- Verander een vervallen garage in het interieur van een ruimteschip.
- Verander een zonnige straat in een sfeervol, neonverlicht nachtleven.
- Vervang een tekenfilmachtige esthetiek door fotorealistische texturen en belichting.
- Onderliggende technologie
Modify Video van luma AI bouwt een zeer betrouwbaar begrip op van de geometrie en temporele samenhang van de oorspronkelijke scène, waardoor visuele veranderingen in de loop van de tijd stabiel blijven. Zo worden vervormingen, trillingen of 'tijdvervormende' artefacten voorkomen.
3. Bewerkingen van geïsoleerde elementen
- Gerichte aanpassingen zonder greenscreens
U kunt afzonderlijke elementen selecteren die u wilt wijzigen, zoals de outfit van een personage, een specifiek rekwisiet of zelfs alleen de lucht, zonder dat dit invloed heeft op de rest van het frame. - Illustratieve gebruiksscenario's
- Verander de kleur of stijl van het kostuum van een artiest.
- Verwissel het gezicht van de ene acteur met dat van een andere.
- Voeg een UFO toe die door de lucht boven een scène vliegt.
- Geen frame-voor-frame-tracking vereist
Omdat de tool de ruimtelijke en temporele context begrijpt, hoeft u niet handmatig te rotoscopen of nauwkeurige aanpassingen per frame uit te voeren. De bewerkingen passen naadloos in het beeldmateriaal.
Bedrijfsmodi en creatieve flexibiliteit
Modify Video biedt drie vooraf ingestelde transformatiemodi, die elk een ander niveau van creatieve vrijheid bieden. Gebruikers selecteren de modus die het beste bij hun project past:
Adhere-modus (minimale aanpassing)
Doel: Behoud zoveel mogelijk de originele structuur van de video en breng alleen subtiele wijzigingen aan in de stijl en textuur.
Wanneer te gebruiken: Ideaal voor situaties waarin u consistentie wilt behouden in meerdere shots of kleine postproductiewijzigingen wilt doorvoeren, zoals het aanpassen van de achtergrondkleur of het verwisselen van een rekwisiet dat iets afwijkt van het model, terwijl de prestaties van de acteurs en de camerahoeken ongewijzigd blijven.
Flex-modus (gebalanceerde creativiteit)
Doel: Houd de belangrijkste elementen, zoals de bewegingen, gezichtsuitdrukkingen en timing van een personage, intact, maar houd ruimte voor bredere creatieve aanpassingen.
Wanneer te gebruiken: Geschikt voor projecten die een compromis zoeken tussen getrouwe reproductie en een frisse herinterpretatie. Zo kunt u bijvoorbeeld de algehele setting aanpassen naar een andere stijl of het kostuum en de basisrekwisieten van een personage verwisselen, terwijl de essentie van de oorspronkelijke uitvoering behouden blijft. Deze modus is vooral handig om snel meerdere stilistische variaties te genereren, bijvoorbeeld voor previews van klanten.
Reimagine-modus (volledige reconstructie)
Doel: Krijg maximale creatieve vrijheid doordat je omgevingen en personages volledig opnieuw kunt ontwerpen en zelfs een artiest kunt veranderen in een niet-menselijk wezen (zoals een fantasiewezen).
Wanneer te gebruiken: Perfect voor kunstzinnige projecten, conceptuele korte films of elk scenario waarin je de beelden radicaal wilt vernieuwen. In de Reimagine-modus kun je een scène of personage van begin tot eind vernieuwen, wat resulteert in opvallende, surrealistische of buitenaardse resultaten.
De juiste modus kiezen
- Adhere-modus is dé oplossing als u kleine aanpassingen wilt maken zonder de integriteit van het originele beeldmateriaal te verstoren, bijvoorbeeld om de visuele consistentie in een reeks van meerdere shots te waarborgen.
- Flex-modus werkt het beste als je een balans zoekt: je behoudt de authenticiteit van de uitvoering, maar je kunt spelen met de omgeving, belichting, kostuums of kleine aanpassingen aan het personageontwerp.
- Reimagine-modus is op maat gemaakt voor projecten die out-of-the-box creativiteit vereisen, waarbij de hele wereld of hoofdpersonages moeten worden vernieuwd voor maximale visuele impact.
Hoe de video van luma AI te wijzigen
Modify Video is geïntegreerd in Luma Droommachine: Ray 2, met ondersteuning voor clips tot 10 seconden lang. De workflow is als volgt:
- Upload een korte videoclipVoor het beste resultaat kunt u clips het beste opnemen met een lengte van 5–10 seconden en met een hoge resolutie en minimale camerabewegingen.
- Kies een transformatiemodus: Selecteer Adhere, Flex of Reimagine afhankelijk van hoe radicaal de verandering moet zijn die u wilt.
- Geef een referentiekader of stijlprompt (optioneel): Als je een specifieke look of keyframe hebt (bijvoorbeeld een still uit een concept art-stuk), kun je deze uploaden.
- **Voer een tekstprompt in (indien gewenst)**Gedetailleerde, positieve beschrijvingen (bijvoorbeeld: "Een met neon verlichte cyberpunkstraat bij schemering met rondzwevende voertuigen") helpen het systeem uw visie nauwkeurig te interpreteren.
- Pas de "wijzigingsintensiteit" aan: Schakel tussen subtiele en dramatische transformaties.
- Genereer en bekijk meerdere varianten:Het systeem geeft verschillende versies weer; u kunt de beste selecteren en hiermee verder gaan, of direct exporteren.
Aanbevelingen voor de opname
- Stabiliseer uw camera: Gebruik een statief of cardanische ophanging om trillingen te minimaliseren en een heldere bewegingsregistratie te garanderen.
- Kies eenvoudige achtergronden:Eenvoudige muren of overzichtelijke ruimtes zorgen ervoor dat de AI proefpersonen effectiever kan isoleren.
- Leg beelden vast met een hoge resolutie en goede belichting:Duidelijke frames zorgen voor nauwkeurigere pose- en textuurgegevens.
- Houd clips onder de 10 seconden:Hoewel het systeem maximaal 10 seconden ondersteunt, zorgen segmenten van 5–7 seconden voor een evenwicht tussen diepte van de inhoud en verwerkingsefficiëntie.
Beperkingen om te overwegen
- Maximale clip van 10 seconden
Als u langere sequenties hebt, moet u deze voor verwerking opsplitsen in meerdere segmenten. - Kwaliteit van invoer beïnvloedt uitvoer
Onscherpe beelden, beelden met een lage resolutie of beelden met veel ruis kunnen de nauwkeurigheid van de bewegingsopname en de uiteindelijke visuele kwaliteit negatief beïnvloeden. - Chaotische of drukke scènes
Opnamen met veel snelbewegende objecten of een rommelige achtergrond kunnen onstabiele artefacten of onbedoelde mengfouten opleveren. - Complexe overlappende elementen
Scènes met meerdere overlappende acteurs of rekwisieten kunnen een uitdaging vormen voor de isolatiealgoritmen. Simpelere opstellingen leveren doorgaans betere resultaten op.
Samengevat, Video wijzigen vertegenwoordigt een transformatieve sprong voorwaarts in de flexibiliteit van postproductie, waardoor je de essentie van een voorstelling kunt behouden en tegelijkertijd de hele wereld ervan kunt herbouwen. In combinatie met de nieuwe geïntegreerde functies van Ray 2, zoals Adobe Firefly-compatibiliteit, camerahoekconcepten en keyframecontrole, stelt Luma AI makers in staat om verhalen te vertellen met ongekende flexibiliteit en creativiteit. Of je nu subtiele stijlaanpassingen of volledige, surrealistische herinterpretaties nodig hebt, deze evoluerende toolset breidt de mogelijkheden van elke clip van 10 seconden aanzienlijk uit.
Beginnen
CometAPI biedt een uniforme REST-interface die honderden AI-modellen samenvoegt onder één consistent eindpunt, met ingebouwd API-sleutelbeheer, gebruiksquota's en factureringsdashboards. Dit in plaats van te jongleren met meerdere leveranciers-URL's en inloggegevens.
Ontwikkelaars hebben toegang tot de nieuwste Luma-API brengt KomeetAPIOm te beginnen, verken de mogelijkheden van het model in de Speeltuin en raadpleeg de API-gids voor gedetailleerde instructies. Zorg ervoor dat u bent ingelogd op CometAPI en de API-sleutel hebt verkregen voordat u toegang krijgt. KomeetAPI bieden een prijs die veel lager is dan de officiële prijs om u te helpen bij de integratie van:
