Runway har afsløret sin nye AI-videomodel, Gen-4. Virksomheden forklarer, at modellen kan skabe konsistente scener og karakterer på tværs af flere billeder. Det er svært for brugere at fortælle en sammenhængende historie i AI-genererede videoer, især når det kommer til karaktergenerering. Ifølge en pressemeddelelse delt af Runway on X, vil den nye Gen-4 give brugerne mere kontinuitet og kontrol, mens de fortæller en historie.
Hvad er Runway Gen-4?
Runway Gen-4 er det seneste fremskridt inden for kunstig intelligens (AI) videogeneration udviklet af Runway AI Inc., en New York-baseret startup. Denne banebrydende model løser en betydelig udfordring i AI-genererede videoer: opretholdelse af konsistens i karakterer, objekter og scener på tværs af flere billeder. Ved at udnytte både visuelle signaler og tekstuelle prompter muliggør Gen-4 skabelsen af sammenhængende og dynamisk videoindhold uden behov for omfattende træningssessioner.
Gen-4 introducerer flere tekniske fremskridt, der adskiller den fra sine forgængere og konkurrenter:
- Realistisk bevægelsesgenerering: Modellen udmærker sig ved at producere videoer med naturtro bevægelse, der sikrer jævne overgange og naturlige bevægelser, der er afgørende for højkvalitetsproduktioner.
- Forståelse af den virkelige verdens fysik: Gen-4 repræsenterer en væsentlig milepæl i visuelle generative modellers evne til at simulere fysik i den virkelige verden, hvilket øger ægtheden af genereret indhold.
- Produktionsklar videokvalitet: Modellen kan generere videoer i 1080p opløsning, der opfylder de standarder, der kræves for professionel filmproduktion.
Hvad er gennembruddene i Runway Gen4?
Konsekvente karakterer og scener
En af de iøjnefaldende egenskaber ved Gen-4 er dens evne til at opretholde ensartede karakterer og scener på tværs af flere billeder. Dette fremskridt løser en almindelig udfordring i AI-genererede videoer, hvor karakterer og objekter ofte optræder inkonsekvent fra en scene til en anden. Med Gen-4 kan brugere generere videoer, hvor karakterer bevarer deres udseende, og miljøer forbliver stabile, hvilket forbedrer historiefortællingsoplevelsen.
Derudover kan Gen-4 gengive scener fra flere vinkler, hvilket giver filmskabere en omfattende dækning af miljøer og emner. Denne funktion forbedrer den kreative proces ved at tilbyde forskellige perspektiver inden for samme sekvens.
Video syntese
Gen-4 giver brugerne mulighed for at generere karakterer og objekter på tværs af billeder ved hjælp af et enkelt referencebillede. Ved at give et referencebillede og beskrive den ønskede komposition, kan modellen producere ensartede output fra flere vinkler og sammenhænge. Denne funktion tilbyder hidtil uset kreativ frihed, hvilket muliggør skabelsen af komplekse scener med sammenhængende fortællinger
Forbedre realisme og bevægelse i videoer
Modellen udmærker sig ved at generere meget dynamiske videoer med realistisk bevægelse. Den forstår og simulerer den virkelige verdens fysik, hvilket giver mulighed for jævne overgange og naturtro bevægelser. Denne evne er afgørende for at producere videoer, der ligner virkelige optagelser, hvilket gør dem mere engagerende og troværdige.
Hvordan kan du få adgang til Runway Gen-4?
Gen-4 er tilgængelig for alle betalte abonnenter og virksomhedskunder hos Runway AI Inc. Virksomheden tilbyder flere abonnementsplaner for at imødekomme forskellige brugerbehov:
- Standardplan: Priset til $15 pr. måned inkluderer denne plan 625 månedlige kreditter, ubegrænsede videoprojekter, adgang til Gen-3 Alpha Turbo (billede til video) op til 10 sekunder, 100 GB aktivlager og support til op til 5 brugere pr. arbejdsområde.
- Pro Plan: For 35 USD om måneden modtager brugerne 2,250 månedlige kreditter, alle funktioner i standardplanen, 500 GB aktivlager, muligheden for at oprette brugerdefinerede stemmer til Lip Sync og tekst-til-tale og understøttelse af op til 10 brugere pr. arbejdsområde.
- Ubegrænset plan: For $95 pr. bruger pr. måned tilbyder denne plan alle Pro Plan-funktioner med den ekstra fordel af ubegrænset videogenerering og support for op til 10 brugere pr. arbejdsområde.
Hver plan leveres med 20% rabat, hvis den betales årligt. Virksomhedsløsninger er også tilgængelige, med tilpassede prisstrukturer, der leveres efter anmodning.
Hvordan bruger du Runway Gen-4?
Brug af Gen-4 involverer en ligetil proces, der kombinerer brugerinput med modellens avancerede egenskaber:
- Angiv et referencebillede: Begynd med at uploade et enkelt referencebillede af den karakter eller det objekt, du ønsker at vise konsekvent på tværs af din video.
- Indtast en tekstprompt: Beskriv den ønskede komposition, scene eller handling i et klart og kortfattet sprog. For eksempel: "En kvinde går gennem en travl bygade ved solnedgang."
- Konfigurer kamerakontroller (valgfrit): Gen-4 tilbyder avancerede kamerastyringsfunktioner, der giver brugerne mulighed for at specificere bevægelser såsom zoom, panorering, tilt og rul. Justering af disse indstillinger kan forbedre dynamikken i den genererede video.
- Generer videoen: Når indgangene er indstillet, start genereringsprocessen. Gen-4 vil producere en video, der stemmer overens med dine specifikationer, og bibeholder konsistens og realisme hele vejen igennem.
- Gennemgå og forfin: Efter generering skal du gennemgå videoen og foretage de nødvendige justeringer af prompter eller indstillinger for at opnå det ønskede resultat.
Hvordan kan du opnå realistisk bevægelse og scenedækning?
At opnå realistisk bevægelse og omfattende scenedækning med Runway Gen-4 involverer at udnytte dens avancerede AI-egenskaber til at skabe dynamiske, naturtro videoer. Sådan kan du udnytte Gen-4 til sit fulde potentiale:
Angiv detaljerede scenebeskrivelser: Begynd med at indtaste en omfattende tekstbeskrivelse af den scene, du forestiller dig. Inkluder detaljer om miljøet, belysning, handlinger og eventuelle særlige elementer, du ønsker at fremhæve. Denne detaljerede prompt guider Gen-4 i at generere en scene, der stemmer overens med din kreative vision.
Inkorporer referencebilleder: Forbedre modellens forståelse ved at levere referencebilleder til karakterer, objekter eller indstillinger. Disse billeder tjener som visuelle signaler, der gør det muligt for Gen-4 at opretholde ensartethed og nøjagtigt repræsentere de ønskede elementer på tværs af forskellige billeder.
Brug Multi-Angle Generation: Gen-4 giver mulighed for regenerering af scener fra flere perspektiver og positioner. Ved at angive forskellige kameravinkler eller synspunkter i dine prompter, kan du opnå omfattende dækning af scenen og fange den fra forskellige udsigtspunkter.
Sørg for konsistens på tværs af skud: For at bevare kontinuiteten skal du bruge de samme referencebilleder og stilbeskrivelser på tværs af forskellige scener. Gen-4 udmærker sig ved at bevare den karakteristiske stil, stemning og filmiske elementer, hvilket sikrer en sammenhængende visuel fortælling.
Udnyt Real-World Physics Simulation: Gen-4 er designet til at simulere den virkelige verdens fysik, hvilket bidrager til realismen af bevægelse i de genererede videoer. Stol på modellens evner til at producere naturlige bevægelser og interaktioner inden for scenen
Gentag og forfin: Gennemgå de genererede output og finjuster dine prompter eller referencematerialer efter behov. Iterative justeringer kan hjælpe med at opnå det ønskede niveau af realisme og scenedækning.
For udviklere: API-adgang
CometAPI tilbyder en pris langt lavere end den officielle pris for at hjælpe dig med at integrere Runway Gen-4 API, og du vil få $1 på din konto efter registrering og login! Velkommen til at registrere og opleve CometAPI.
CometAPI fungerer som et centraliseret knudepunkt for API'er af flere førende AI-modeller, hvilket eliminerer behovet for at engagere sig med flere API-udbydere separat.
Vær sød at henvise til Runway Gen-3 Alpha API og Runway Gen-4 API for flere detaljer.
Konklusion
Ved omhyggeligt at kombinere detaljerede prompter med relevante referencebilleder og bruge Gen-4's multi-vinkel- og fysiksimuleringsfunktioner, kan du skabe videoer med realistisk bevægelse og omfattende scenedækning, der stemmer overens med dine kreative mål.