Tentei fornecer à geração de vídeos por IA uma pré-visualização simples, feita com caixas e manequins. A pré-visualização é um vídeo rascunhado que define antecipadamente a posição e os movimentos das pessoas, além do trabalho de câmera.

Em resumo: funciona muito bem. Porém, ela não reproduz tudo nos mínimos detalhes exatamente como está. Na prática, ao fornecer a direção geral, a IA complementa de forma convincente o que falta. Ela foi útil como uma planta para isso.

Comparando a pré-visualização com o resultado gerado

Em todos os vídeos, a parte de cima é o vídeo gerado por IA e a de baixo é a pré-visualização original. Cada um tem cerca de 15 segundos. O teste avalia até que ponto é possível transmitir o fluxo da cena sem detalhar cenários e personagens.

Café à beira-mar

A partir de uma disposição simples de mesa e personagens, a cena se transforma em um café ao entardecer. Movimentos como levar uma bebida à boca são convertidos em imagens com aparência realista.

再生

Caminhando pela cidade à noite

A posição dos personagens e a direção da caminhada foram especificadas na pré-visualização. Um cenário urbano simples e claro, quase diurno, foi transformado por prompt em uma cidade noturna.

再生

Tartaruga marinha debaixo d’água

A partir de um fundo do mar simplificado e do movimento da tartaruga, a cena se transforma em uma paisagem submarina com luz e corais. É um exemplo em que a complementação visual fica fácil de perceber.

再生

Corrida à beira-mar

Foram definidos o corredor e o movimento da câmera que o acompanha. O fundo rascunhado foi substituído por um calçadão à beira-mar.

再生

Cidade chuvosa e bonde

Com base na posição de uma pessoa com guarda-chuva e do bonde, foi acrescentada a atmosfera de uma noite chuvosa.

再生

O processo é simples

Nesta produção, segui o fluxo abaixo.

1. Criar a pré-visualização com caixas e formas simples usando Python + Blender 4.2. Também usei Mixamo para os movimentos dos personagens.
2. Preparar imagens de referência dos personagens, entre outros elementos, com a geração de imagens do Codex.
3. Enviar a pré-visualização, as imagens de referência e o áudio de referência ao MiniMax-H3 Ref2VA para gerar um vídeo de cerca de 15 segundos.
4. Preparar as falas com HiggsAudio v3, os efeitos sonoros com Stable Audio 3 Medium e a música de fundo com ACE-Step 1.5; depois, mixar e editar tudo com ffmpeg. Usei Claude Code para os scripts de produção e o gerenciamento da execução.

O ponto principal das instruções é separar o papel de cada referência: pedir que a IA use “a imagem para o rosto e as roupas” e “a pré-visualização para composição, ações e movimento de câmera”, deixando claro que a aparência dos manequins e das caixas não deve ser herdada. O acabamento — noite, chuva, iluminação e assim por diante — foi especificado em texto.

É útil, mas os detalhes mudam bastante

A posição dos personagens, a direção do deslocamento, a sequência das ações e o movimento geral da câmera são transmitidos com facilidade. Por outro lado, instruções detalhadas como “parar após tantos segundos” ou “aplicar determinado nível de zoom” às vezes se desviavam ou não eram refletidas. Não dá para fixar os detalhes com precisão.

Além disso, a cintilação da iluminação na pré-visualização e cenários organizados de maneira excessivamente regular às vezes permaneciam no resultado gerado. Parece melhor manter tanto a iluminação quanto as formas da pré-visualização simples e concentrá-la nos movimentos que se quer transmitir.

Ainda assim, é muito conveniente que a IA complemente instruções gerais até chegar a um vídeo visualmente atraente. Os detalhes podem mudar bastante, mas ela é plenamente útil para transmitir a estrutura geral da direção. Minha conclusão desta vez é: não é preciso criar tudo com perfeição; mesmo simples, vale a pena usar pré-visualização.