API-интерфейс WAN 2.1

Wan 2.1 API — это усовершенствованный интерфейс генерации видео на основе искусственного интеллекта, который преобразует текстовые или графические входные данные в высококачественные реалистичные видеоролики с использованием современных моделей глубокого обучения.

Основная информация: Что такое Wan 2.1?

Wan 2.1 — это модель ИИ, разработанная Alibaba Cloud, предназначенная для генерации высококачественного видеоконтента из текстовых или графических входных данных. Она использует передовые фреймворки глубокого обучения, включая диффузионные преобразователи и 3D-вариационные автоэнкодеры (VAE), для синтеза динамических и визуально связных видеоклипов. Как решение с открытым исходным кодом, Wan 2.1 доступен широкому кругу разработчиков, исследователей и создателей контента, значительно расширяя возможности генерации видео на основе ИИ.

Показатели производительности Wan 2.1

Wan 2.1 продемонстрировал исключительную производительность в качестве видео, сгенерированного ИИ, постоянно превосходя существующие модели с открытым исходным кодом и конкурируя с коммерческими решениями с закрытым исходным кодом. Модель занимает высокие позиции в VBench, бенчмарке, используемом для оценки генеративных моделей видео, особенно преуспев в сложной генерации движения и многообъектном взаимодействии. По сравнению с более ранними итерациями, Wan 2.1 предлагает превосходную временную согласованность, улучшенное разрешение и уменьшенные артефакты, гарантируя бесперебойный просмотр.

технические детали

Архитектурные инновации

Модель построена на передовой платформе, включающей:

3D вариационный автоэнкодер (VAE): Улучшает пространственно-временное сжатие и сокращает использование памяти, сохраняя при этом высокое качество видео.
Диффузионный трансформатор (DiT): Реализует механизм полного внимания, который обеспечивает долгосрочную пространственно-временную согласованность при генерации видео.
Многоэтапный процесс обучения: Постепенно увеличивает разрешение и продолжительность видео для оптимизации эффективности обучения и распределения вычислительных ресурсов.

Варианты модели

Для удовлетворения различных потребностей пользователей он доступен в нескольких конфигурациях:

Ван 2.1-Т2В-14Б: Модель преобразования текста в видео с 14 миллиардами параметров, оптимизированная для высококачественного и реалистичного синтеза видео.
Ван 2.1-Т2В-1.3Б: более доступная модель с 1.3 миллиардами параметров, требующая всего 8.19 ГБ видеопамяти, что позволяет графическим процессорам потребительского уровня генерировать 5-секундные видеоролики 480p примерно за 4 минуты.
WAN 2.1-I2V-14B-480P и 720P: Модели преобразования изображений в видео, поддерживающие различные разрешения, предназначенные для преобразования статических изображений в динамический видеоконтент.

Набор данных для обучения и предварительная обработка

Набор данных, используемый для Wan 2.1, включает в себя крупномасштабные высококачественные видеопоследовательности, тщательно отобранные с использованием многоэтапного процесса очистки и дополнения данных. Это обеспечивает устранение низкокачественных данных, одновременно повышая визуальную и динамическую точность. Процесс предварительной подготовки разделен на четыре этапа, постепенно совершенствуя способность модели обрабатывать различные разрешения и сложности движения.

Эволюция Вана 2.1

Wan 2.1 — это прямая эволюция более ранних моделей генерации видео на основе ИИ, интегрирующая существенные улучшения по сравнению с предыдущими итерациями. Переход от обычных генеративно-состязательных сетей (GAN) к диффузионным архитектурам значительно повысил реалистичность и связность генерируемых видео. Кроме того, принятие механизмов внимания на основе трансформатора позволило реализовать более сложное пространственно-временное моделирование, что привело к повышению производительности по нескольким оценочным показателям.

Преимущества Wan 2.1

Современное видеопроизводство

Wan 2.1 превосходит существующие модели с открытым исходным кодом в создании реалистичных видеороликов со сложным движением и естественно выглядящими объектами.

Высокая вычислительная эффективность

Оптимизированная архитектура обеспечивает эффективное использование графического процессора, позволяя даже оборудованию потребительского уровня генерировать высококачественный видеоконтент.

Универсальный потенциал применения

Поддерживает преобразование текста в видео (T2V) и изображения в видео (I2V), что делает его легко адаптируемым для различных отраслей, включая медиа, маркетинг, образование и игры.

Доступность открытого исходного кода

Wan 2.1 доступен по лицензии Apache 2.0, что способствует инновациям и обеспечивает более широкое внедрение среди исследователей и разработчиков ИИ.

Технические индикаторы

Тестовая производительность

Рейтинг VBench: Постоянно добивается наивысших результатов в категориях взаимодействия нескольких объектов и сложности движения.
Скорость вывода: Меньший вариант модели (1.3B) генерирует 5-секундное видео 480p за 4 минуты на RTX 4090 без необходимости использования методов оптимизации, таких как квантование.
Использование памяти: Для эффективной обработки требуется всего 8.19 ГБ видеопамяти, что делает его доступным для широкого круга пользователей.

Сценарии приложений

Реклама и маркетинг Позволяет брендам быстро создавать высококачественные рекламные видеоролики, сокращая затраты на производство и сроки.

Образование и обучение Способствует разработке динамичного учебного контента, повышая вовлеченность и качество обучения.

Развлечения и создание контента Предоставляет режиссерам, аниматорам и создателям контента инструменты для видеопроизводства на основе искусственного интеллекта.

Виртуальная реальность (VR) и дополненная реальность (AR) Поддерживает создание захватывающих цифровых впечатлений с помощью видеоресурсов, созданных с помощью искусственного интеллекта.

Заключение

Wan 2.1 представляет собой значительный шаг вперед в создании видео на основе ИИ, устанавливая новые стандарты качества, эффективности и доступности. Сочетание современных архитектур машинного обучения, высокой вычислительной эффективности и доступности открытого исходного кода делает его ценным инструментом в различных отраслях. Поскольку ИИ продолжает расширять границы креативности и автоматизации, он иллюстрирует потенциал генеративных моделей в изменении процесса создания цифрового контента.

Как вызвать API Wan 2.1 из CometAPI

1.Войти в cometapi.com. Если вы еще не являетесь нашим пользователем, пожалуйста, сначала зарегистрируйтесь.

2.Получите ключ API для доступа к учетным данным интерфейса. Нажмите «Добавить токен» в API-токене в личном центре, получите ключ токена: sk-xxxxx и отправьте.

Получите URL этого сайта: https://api.cometapi.com/
Выберите конечную точку Wan 2.1 для отправки запроса API и установите тело запроса. Метод запроса и тело запроса получаются из наш веб-сайт API документ. Для вашего удобства наш сайт также предлагает тест Apifox.
Обработайте ответ API, чтобы получить сгенерированный ответ. После отправки запроса API вы получите объект JSON, содержащий сгенерированное завершение.