Pista revelou seu novo modelo de vídeo com IA, o Gen-4. A empresa explica que o modelo pode criar cenas e personagens consistentes em várias tomadas. É difícil para os usuários contar uma história coerente em vídeos gerados por IA, especialmente quando se trata de geração de personagens. De acordo com um comunicado de imprensa compartilhado pela Runway on X, o novo Gen-4 dará aos usuários mais continuidade e controle ao contar uma história.
O que é Runway Gen-4?
O Runway Gen-4 é o mais recente avanço em geração de vídeos com inteligência artificial (IA) desenvolvido pela Runway AI Inc., uma startup sediada em Nova York. Este modelo de ponta aborda um desafio significativo em vídeos gerados por IA: manter a consistência de personagens, objetos e cenas em múltiplas tomadas. Ao utilizar dicas visuais e instruções textuais, o Gen-4 permite a criação de conteúdo de vídeo coerente e dinâmico sem a necessidade de longas sessões de treinamento.
A Gen-4 apresenta vários avanços técnicos que a diferenciam de seus antecessores e concorrentes:
- Geração de movimento realista: O modelo se destaca na produção de vídeos com movimentos realistas, garantindo transições suaves e movimentos naturais essenciais para produções de alta qualidade.
- Compreensão da Física do Mundo Real:A geração 4 representa um marco significativo na capacidade dos modelos generativos visuais de simular a física do mundo real, aumentando a autenticidade do conteúdo gerado.
- Qualidade de vídeo pronta para produção: O modelo pode gerar vídeos com resolução de 1080p, atendendo aos padrões exigidos para produção cinematográfica profissional.
Quais são os avanços do Runway Gen4?
Personagens e cenas consistentes
Um dos recursos de destaque do Gen-4 é a capacidade de manter personagens e cenas consistentes em várias tomadas. Esse avanço aborda um desafio comum em vídeos gerados por IA, onde personagens e objetos frequentemente aparecem de forma inconsistente de uma cena para outra. Com o Gen-4, os usuários podem gerar vídeos em que os personagens mantêm sua aparência e os ambientes permanecem estáveis, aprimorando a experiência narrativa.
Além disso, a Gen-4 pode renderizar cenas de vários ângulos, proporcionando aos cineastas uma cobertura abrangente de ambientes e assuntos. Esse recurso aprimora o processo criativo, oferecendo diversas perspectivas dentro da mesma sequência.
Síntese de Vídeo
A Geração 4 permite que os usuários gerem personagens e objetos em diferentes tomadas usando uma única imagem de referência. Ao fornecer uma imagem de referência e descrever a composição desejada, o modelo pode produzir resultados consistentes a partir de múltiplos ângulos e contextos. Esse recurso oferece liberdade criativa sem precedentes, permitindo a criação de cenas complexas com narrativas coerentes.
Aumente o realismo e o movimento em vídeos
O modelo se destaca na geração de vídeos altamente dinâmicos com movimentos realistas. Ele compreende e simula a física do mundo real, permitindo transições suaves e movimentos realistas. Essa capacidade é crucial para produzir vídeos que se assemelham bastante a filmagens da vida real, tornando-os mais envolventes e críveis.
Como você pode acessar o Runway Gen-4?
A Gen-4 está disponível para todos os assinantes pagos e clientes empresariais da Runway AI Inc. A empresa oferece vários planos de assinatura para atender às diferentes necessidades dos usuários:
- Plano standard: Com preço de US$ 15 por mês, este plano inclui 625 créditos mensais, projetos de vídeo ilimitados, acesso ao Gen-3 Alpha Turbo (imagem para vídeo) de até 10 segundos, 100 GB de armazenamento de ativos e suporte para até 5 usuários por espaço de trabalho.
- Plano Pro: Por US$ 35 por mês, os usuários recebem 2,250 créditos mensais, todos os recursos do Plano Padrão, 500 GB de armazenamento de ativos, a capacidade de criar vozes personalizadas para sincronização labial e conversão de texto em fala e suporte para até 10 usuários por espaço de trabalho.
- Plano ilimitado: Por US$ 95 por usuário por mês, este plano oferece todos os recursos do Plano Pro com o benefício adicional de geração ilimitada de vídeos e suporte para até 10 usuários por espaço de trabalho.
Cada plano oferece 20% de desconto no pagamento anual. Soluções corporativas também estão disponíveis, com estruturas de preços personalizadas mediante solicitação.
Como você usa o Runway Gen-4?
A utilização do Gen-4 envolve um processo simples que combina a entrada do usuário com os recursos avançados do modelo:
- Forneça uma imagem de referência: Comece enviando uma única imagem de referência do personagem ou objeto que você deseja destacar de forma consistente em seu vídeo.
- Insira um prompt textual: Descreva a composição, cena ou ação desejada em linguagem clara e concisa. Por exemplo: "Uma mulher caminha por uma rua movimentada da cidade ao pôr do sol."
- Configurar controles da câmera (opcional): A quarta geração oferece recursos avançados de controle de câmera, permitindo que os usuários especifiquem movimentos como zoom, panorâmica, inclinação e rolagem. Ajustar essas configurações pode aumentar o dinamismo do vídeo gerado.
- Gere o vídeo: Após definir as entradas, inicie o processo de geração. O Gen-4 produzirá um vídeo alinhado às suas especificações, mantendo a consistência e o realismo em todo o processo.
- Revise e Refine:Após a geração, revise o vídeo e faça os ajustes necessários nos prompts ou configurações para atingir o resultado desejado.
Como você pode obter cobertura de movimento e cena realistas?
Para obter movimentos realistas e uma cobertura de cena abrangente com o Runway Gen-4, é preciso aproveitar seus recursos avançados de IA para criar vídeos dinâmicos e realistas. Veja como você pode utilizar o Gen-4 em todo o seu potencial:
Forneça descrições detalhadas da cena: Comece inserindo uma descrição textual abrangente da cena que você imagina. Inclua detalhes sobre o ambiente, a iluminação, as ações e quaisquer elementos específicos que você queira destacar. Este guia detalhado orienta a Geração 4 na criação de uma cena alinhada à sua visão criativa.
Incorpore imagens de referência: Aprimore a compreensão do modelo fornecendo imagens de referência para personagens, objetos ou cenários. Essas imagens servem como pistas visuais, permitindo que a Gen-4 mantenha a consistência e represente com precisão os elementos desejados em várias tomadas.
Utilize a geração multi-ângulo: A Geração 4 permite a regeneração de cenas a partir de múltiplas perspectivas e posições. Ao especificar diferentes ângulos ou pontos de vista de câmera em seus prompts, você pode obter uma cobertura abrangente da cena, capturando-a de vários pontos de vista.
Garanta a consistência em todas as cenas: Para manter a continuidade, use as mesmas imagens de referência e descrições de estilo em diferentes cenas. A Geração 4 se destaca na preservação do estilo, do clima e dos elementos cinematográficos característicos, garantindo uma narrativa visual coerente.
Aproveite a simulação de física do mundo real: A quarta geração foi projetada para simular a física do mundo real, contribuindo para o realismo do movimento nos vídeos gerados. Confie na capacidade do modelo de produzir movimentos e interações naturais na cena.
Iterar e Refinar: Revise os resultados gerados e refine seus prompts ou materiais de referência conforme necessário. Ajustes iterativos podem ajudar a atingir o nível desejado de realismo e cobertura de cena.
Para desenvolvedores: acesso à API
A CometAPI oferece um preço muito mais baixo do que o preço oficial para ajudá-lo a integrar API de terceira geração de pista, e você receberá $1 em sua conta após registrar e fazer login! Bem-vindo para registrar e experimentar o CometAPI.
O CometAPI atua como um hub centralizado para APIs de vários modelos líderes de IA, eliminando a necessidade de interagir com vários provedores de API separadamente.
Por favor, consulte API Alfa Gen-3 da Pista e API de terceira geração de pista para mais detalhes.
Conclusão
Ao combinar cuidadosamente instruções detalhadas com imagens de referência relevantes e utilizar os recursos de simulação de física e vários ângulos do Gen-4, você pode criar vídeos com movimentos realistas e cobertura de cena abrangente que se alinham com seus objetivos criativos.