Startbaan heeft zijn nieuwe AI-videomodel, Gen-4, onthuld. Het bedrijf legt uit dat het model consistente scènes en personages kan creëren in meerdere shots. Het is moeilijk voor gebruikers om een coherent verhaal te vertellen in door AI gegenereerde video's, vooral als het gaat om het genereren van personages. Volgens een persbericht dat door Runway op X is gedeeld, zal de nieuwe Gen-4 gebruikers meer continuïteit en controle geven bij het vertellen van een verhaal.
Wat is Runway Gen-4?
Runway Gen-4 is de nieuwste ontwikkeling in de generatie van video's met kunstmatige intelligentie (AI), ontwikkeld door Runway AI Inc., een startup uit New York. Dit geavanceerde model pakt een belangrijke uitdaging aan in door AI gegenereerde video's: het behouden van consistentie in personages, objecten en scènes in meerdere shots. Door zowel visuele signalen als tekstuele prompts te gebruiken, maakt Gen-4 het mogelijk om coherente en dynamische videocontent te creëren zonder dat er uitgebreide trainingssessies nodig zijn.
Gen-4 introduceert diverse technische verbeteringen die het apparaat onderscheiden van zijn voorgangers en concurrenten:
- Realistische bewegingsgeneratie:Het model blinkt uit in het produceren van video's met levensechte bewegingen, waardoor vloeiende overgangen en natuurlijke bewegingen worden gegarandeerd, essentieel voor producties van hoge kwaliteit.
- Begrip van de echte natuurkunde:Gen-4 vertegenwoordigt een belangrijke mijlpaal in het vermogen van visuele generatieve modellen om de natuurkunde in de echte wereld te simuleren, waardoor de authenticiteit van gegenereerde content wordt verbeterd.
- Productieklare videokwaliteit:Het model kan video's genereren met een resolutie van 1080p en voldoet daarmee aan de normen die vereist zijn voor professionele filmproductie.
Wat zijn de doorbraken van Runway Gen4?
Consistente personages en scènes
Een van de opvallende kenmerken van Gen-4 is het vermogen om consistente personages en scènes te behouden in meerdere shots. Deze vooruitgang pakt een veelvoorkomende uitdaging aan in door AI gegenereerde video's, waarbij personages en objecten vaak inconsistent verschijnen van de ene scène naar de andere. Met Gen-4 kunnen gebruikers video's genereren waarin personages hun uiterlijk behouden en omgevingen stabiel blijven, wat de vertelervaring verbetert.
Bovendien kan Gen-4 scènes vanuit meerdere hoeken renderen, waardoor filmmakers een uitgebreide dekking van omgevingen en onderwerpen krijgen. Deze functie verbetert het creatieve proces door verschillende perspectieven binnen dezelfde sequentie te bieden.
Videosynthese
Met Gen-4 kunnen gebruikers personages en objecten genereren in shots met behulp van één referentiebeeld. Door een referentiebeeld te leveren en de gewenste compositie te beschrijven, kan het model consistente outputs produceren vanuit meerdere hoeken en contexten. Deze functie biedt ongekende creatieve vrijheid, waardoor complexe scènes met samenhangende verhalen kunnen worden gecreëerd.
Verbeter het realisme en de beweging in video's
Het model excelleert in het genereren van zeer dynamische video's met realistische bewegingen. Het begrijpt en simuleert echte natuurkunde, wat zorgt voor vloeiende overgangen en levensechte bewegingen. Deze mogelijkheid is cruciaal voor het produceren van video's die sterk lijken op echte beelden, waardoor ze aantrekkelijker en geloofwaardiger worden.
Hoe krijg je toegang tot Runway Gen-4?
Gen-4 is beschikbaar voor alle betalende abonnees en zakelijke klanten van Runway AI Inc. Het bedrijf biedt verschillende abonnementsplannen om tegemoet te komen aan verschillende gebruikersbehoeften:
- Standard Plan:Dit abonnement kost $ 15 per maand en omvat 625 maandelijkse credits, onbeperkte videoprojecten, toegang tot Gen-3 Alpha Turbo (Image to Video) tot 10 seconden, 100 GB aan opslagruimte en ondersteuning voor maximaal 5 gebruikers per werkruimte.
- Pro Plan:Voor $ 35 per maand ontvangen gebruikers 2,250 maandelijkse tegoeden, alle functies van het Standaardabonnement, 500 GB opslagruimte, de mogelijkheid om aangepaste stemmen te maken voor lipsynchronisatie en tekst-naar-spraak en ondersteuning voor maximaal 10 gebruikers per werkruimte.
- Onbeperkt Plan:Voor $ 95 per gebruiker per maand biedt dit abonnement alle functies van het Pro Plan met als extra voordeel onbeperkte videogeneratie en ondersteuning voor maximaal 10 gebruikers per werkruimte.
Elk plan heeft 20% korting als u jaarlijks betaalt. Enterprise-oplossingen zijn ook beschikbaar, met aangepaste prijsstructuren op aanvraag.
Hoe gebruik je Runway Gen-4?
Het gebruik van Gen-4 verloopt via een eenvoudig proces dat gebruikersinvoer combineert met de geavanceerde mogelijkheden van het model:
- Geef een referentiebeeld: Begin met het uploaden van een enkele referentieafbeelding van het personage of object dat u consistent in uw video wilt laten terugkomen.
- Voer een tekstuele prompt in: Beschrijf de gewenste compositie, scène of actie in duidelijke en beknopte taal. Bijvoorbeeld: "Een vrouw loopt door een drukke stadsstraat bij zonsondergang."
- Camerabediening configureren (optioneel): Gen-4 biedt geavanceerde camerabesturingsfuncties, waarmee gebruikers bewegingen zoals zoomen, pannen, kantelen en rollen kunnen specificeren. Door deze instellingen aan te passen, kunt u de dynamiek van de gegenereerde video verbeteren.
- Genereer de video: Zodra de invoer is ingesteld, start u het generatieproces. Gen-4 produceert een video die aansluit bij uw specificaties, waarbij consistentie en realisme behouden blijven.
- Beoordelen en verfijnen: Bekijk na het genereren de video en pas de prompts of instellingen indien nodig aan om het gewenste resultaat te bereiken.
Hoe kunt u realistische bewegingen en scènedekking bereiken?
Om realistische bewegingen en uitgebreide scènedekking te bereiken met Runway Gen-4, moet u gebruikmaken van de geavanceerde AI-mogelijkheden om dynamische, levensechte video's te maken. Zo kunt u Gen-4 optimaal benutten:
Geef gedetailleerde beschrijvingen van de scènes: Begin met het invoeren van een uitgebreide tekstuele beschrijving van de scène die u voor ogen heeft. Neem details op over de omgeving, belichting, acties en specifieke elementen die u wilt laten zien. Deze gedetailleerde prompt begeleidt Gen-4 bij het genereren van een scène die aansluit bij uw creatieve visie.
Referentie-afbeeldingen opnemen: Verbeter het begrip van het model door referentiebeelden te leveren voor personages, objecten of instellingen. Deze beelden dienen als visuele aanwijzingen, waardoor Gen-4 consistentie kan behouden en de gewenste elementen in verschillende shots nauwkeurig kan weergeven.
Gebruik Multi-Angle Generation: Gen-4 maakt het mogelijk om scènes te regenereren vanuit meerdere perspectieven en posities. Door verschillende camerahoeken of gezichtspunten in uw prompts op te geven, kunt u een uitgebreide dekking van de scène bereiken en deze vastleggen vanuit verschillende gezichtspunten.
Zorg voor consistentie in alle shots: Om continuïteit te behouden, gebruikt u dezelfde referentiebeelden en stijlbeschrijvingen in verschillende scènes. Gen-4 blinkt uit in het behouden van de onderscheidende stijl, stemming en cinematografische elementen, wat zorgt voor een coherent visueel verhaal.
Maak gebruik van simulaties van echte natuurkunde: Gen-4 is ontworpen om echte natuurkunde te simuleren, wat bijdraagt aan het realisme van beweging in de gegenereerde video's. Vertrouw op de mogelijkheden van het model om natuurlijke bewegingen en interacties binnen de scène te produceren.
Herhaal en verfijn: Bekijk de gegenereerde outputs en verfijn uw prompts of referentiematerialen indien nodig. Iteratieve aanpassingen kunnen helpen bij het bereiken van het gewenste niveau van realisme en scènedekking.
Voor ontwikkelaars: API-toegang
CometAPI biedt een prijs die veel lager is dan de officiële prijs om u te helpen integreren API voor startbaan Gen-4, en u ontvangt $1 op uw account nadat u zich heeft geregistreerd en bent ingelogd! Welkom bij het registreren en ervaren van CometAPI.
CometAPI fungeert als een gecentraliseerde hub voor API's van verschillende toonaangevende AI-modellen, waardoor het niet nodig is om afzonderlijk met meerdere API-providers samen te werken.
Raadpleeg Runway Gen-3 Alpha API en API voor startbaan Gen-4 voor meer details.
Conclusie
Door gedetailleerde prompts op een doordachte manier te combineren met relevante referentiebeelden en gebruik te maken van de multi-angle- en fysicasimulatiefuncties van Gen-4, kunt u video's maken met realistische bewegingen en een uitgebreide scènedekking die aansluiten bij uw creatieve doelstellingen.