Wan 2.1 API

Wan 2.1 API er et avansert AI-drevet videogenereringsgrensesnitt som forvandler tekst- eller bildeinndata til realistiske videoer av høy kvalitet ved hjelp av toppmoderne dyplæringsmodeller.

Grunnleggende informasjon: Hva er Wan 2.1?

Wan 2.1 er en AI-modell utviklet av Alibaba Cloud, designet for å generere høykvalitets videoinnhold fra tekst- eller bildebaserte innganger. Den utnytter avanserte rammeverk for dyp læring, inkludert Diffusion Transformers og 3D Variational Autoencoders (VAEs), for å syntetisere dynamiske og visuelt sammenhengende videoklipp. Som en åpen kildekode-løsning er Wan 2.1 tilgjengelig for et bredt spekter av utviklere, forskere og innholdsskapere, noe som i betydelig grad fremmer mulighetene til AI-drevet videogenerering.

Ytelsesmålinger for Wan 2.1

Wan 2.1 har vist eksepsjonell ytelse i AI-generert videokvalitet, konsekvent utkonkurrert eksisterende åpen kildekode-modeller og konkurrerende kommersielle lukkede kildekoder. Modellen rangerer høyt på VBench, en benchmark som brukes til å evaluere videogenerative modeller, og utmerker seg spesielt i kompleks bevegelsesgenerering og interaksjon med flere objekter. Sammenlignet med tidligere iterasjoner, tilbyr Wan 2.1 overlegen tidsmessig konsistens, forbedret oppløsning og reduserte artefakter, noe som sikrer en sømløs seeropplevelse.

Tekniske detaljer

Arkitektoniske innovasjoner

Modellen er bygget på et banebrytende rammeverk som inkluderer:

• 3D Variational Autoencoder (VAE): Forbedrer spatiotemporal komprimering og reduserer minnebruk samtidig som den opprettholder høy videokvalitet.
• Diffusjonstransformator (DiT): Implementerer en full oppmerksomhetsmekanisme som muliggjør langsiktig romlig konsistens i videogenerering.
• Treningsprosess i flere trinn: Øker gradvis oppløsningen og videovarigheten for å optimalisere treningseffektiviteten og beregningsressursallokeringen.

Modellvarianter

For å imøtekomme ulike brukerbehov, er den tilgjengelig i flere konfigurasjoner:

• Wan 2.1-T2V-14B: En tekst-til-video-modell med 14 milliarder parametere optimalisert for realistisk videosyntese av høy kvalitet.
• Wan 2.1-T2V-1.3B: En mer tilgjengelig modell med 1.3 milliarder parametere som krever bare 8.19 GB VRAM, slik at GPU-er av forbrukerkvalitet kan generere 5-sekunders 480p-videoer på omtrent 4 minutter.
• Wan 2.1-I2V-14B-480P og 720P: Bilde-til-video-modeller som støtter forskjellige oppløsninger, designet for å konvertere statiske bilder til dynamisk videoinnhold.

Opplæringsdatasett og forbehandling

Datasettet som brukes for Wan 2.1 består av storskala, høykvalitets videosekvenser nøye kuratert ved hjelp av en flertrinns datarensing og utvidelsesprosess. Dette sikrer eliminering av data av lav kvalitet, samtidig som det forbedrer visuell og bevegelsesfidelitet. Foropplæringsprosessen er delt inn i fire stadier, som gradvis forbedrer modellens evne til å håndtere varierende oppløsninger og bevegelseskompleksiteter.

Utviklingen av Wan 2.1

Wan 2.1 er en direkte utvikling av tidligere AI-drevne videogenerasjonsmodeller, som integrerer betydelige forbedringer i forhold til tidligere iterasjoner. Overgangen fra konvensjonelle generative adversarielle nettverk (GAN) til diffusjonsbaserte arkitekturer har betydelig forbedret realismen og sammenhengen til genererte videoer. Videre har bruken av transformatorbaserte oppmerksomhetsmekanismer muliggjort mer sofistikert romlig modellering, noe som har ført til forbedret ytelse på tvers av flere evalueringsmålinger.

Fordeler med Wan 2.1

State-of-the-art videogenerering

Wan 2.1 overgår eksisterende åpen kildekode-modeller ved å generere realistiske videoer med komplekse bevegelser og naturlig utseende objekter.

Høy beregningseffektivitet

Den optimaliserte arkitekturen sikrer effektiv GPU-utnyttelse, slik at selv maskinvare av forbrukerkvalitet kan generere videoinnhold av høy kvalitet.

Allsidig brukspotensial

Støtter generering av tekst-til-video (T2V) og bilde-til-video (I2V), noe som gjør den svært tilpasningsdyktig for ulike bransjer, inkludert media, markedsføring, utdanning og spill.

Tilgjengelighet med åpen kildekode

Wan 2.1 er tilgjengelig under Apache 2.0-lisensen, og fremmer innovasjon og muliggjør bredere bruk blant AI-forskere og utviklere.

tekniske indikatorer

Benchmark ytelse

• VBench-rangering: Oppnår konsekvent toppscore i interaksjons- og bevegelseskompleksitetskategorier med flere objekter.
• Inferenshastighet: Den mindre modellvarianten (1.3B) genererer en 5-sekunders 480p-video på 4 minutter på en RTX 4090 uten å kreve optimaliseringsteknikker som kvantisering.
• Minneutnyttelse: Krever kun 8.19 GB VRAM for effektiv behandling, noe som gjør den tilgjengelig for et bredt spekter av brukere.

Applikasjonsscenarier

Reklame og markedsføring Gjør det mulig for merkevarer å lage reklamevideoer av høy kvalitet raskt, noe som reduserer produksjonskostnader og tidslinjer.

Utdanning og opplæring Tilrettelegger for utvikling av dynamisk instruksjonsinnhold, øker engasjement og læringsopplevelser.

Underholdning og innholdsskaping Styrker filmskapere, animatører og innholdsskapere med AI-assisterte videoproduksjonsverktøy.

Virtual Reality (VR) og Augmented Reality (AR) Støtter skapelsen av oppslukende digitale opplevelser gjennom AI-genererte videoressurser.

Beslektede emner:De tre beste AI Music Generation-modellene fra 3

Konklusjon

Wan 2.1 representerer et stort fremskritt innen AI-drevet videogenerering, og setter nye standarder for kvalitet, effektivitet og tilgjengelighet. Kombinasjonen av toppmoderne maskinlæringsarkitekturer, høy beregningseffektivitet og åpen kildekode-tilgjengelighet gjør den til et verdifullt verktøy på tvers av ulike bransjer. Ettersom AI fortsetter å flytte grensene for kreativitet og automatisering, eksemplifiserer det potensialet til generative modeller i å omforme digital innholdsskaping.

Hvordan kalle Wan 2.1 API fra CometAPI

1.Logg inn til cometapi.com. Hvis du ikke er vår bruker ennå, vennligst registrer deg først

2.Få tilgangslegitimasjons-API-nøkkelen av grensesnittet. Klikk "Legg til token" ved API-tokenet i det personlige senteret, hent tokennøkkelen: sk-xxxxx og send inn.

3. Få nettadressen til dette nettstedet: https://api.cometapi.com/

4. Velg Wan 2.1-endepunktet for å sende API-forespørselen og angi forespørselsteksten. Forespørselsmetoden og forespørselsinstansen hentes fra vår nettside API-dok. Vår nettside tilbyr også Apifox-test for enkelhets skyld.

5. Behandle API-svaret for å få det genererte svaret. Etter å ha sendt API-forespørselen, vil du motta et JSON-objekt som inneholder den genererte fullføringen.