Lumiere é a nova inteligência artificial do Google para vídeos realistas; assista
Tecnologia promete criar vídeos com movimentos precisos, a partir de comandos por texto
O Google anunciou na quinta-feira (25) mais um modelo de inteligência artificial (IA). Batizado de Lumiere, esta tecnologia permite a criação de vídeos realistas a partir de comandos de texto.
+ Leia as últimas notícias de Tecnologia
Segundo proposta dos pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv, que criaram a IA, é de gerar vídeos com movimentos coesos e precisos, deixando as imagens mais próximas do natural.
O artigo da equipe, que foi publicada na Cornell University define o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”.
Esta inteligência artificial promete criar vídeos com uma taxa de quadros estável, até mesmo em baixa resolução. Ou seja, consegue criar vídeos mais definidos com movimentos fluidos e mais limpos, como uma imagem gravada de uma câmera.
A IA usa uma estrutura chamada Space-Time U-Net, que gera toda a duração do vídeo de uma só vez. Os concorrentes sintetizam os frames distintamente.
Se animou com o Lumiere? Calma…
Ainda a ferramenta não está disponível ao público e não há previsão de quando seria lançada esta IA.
A Google já tinha apresentado no final de 2023 o VideoPoet, que tem ferramentas similares ao atual Lumiere.
A ferramenta entende padrões e, a partir deles, pode criar imagens e vídeos com a mesma identidade visual.
Para isso, basta enviar uma imagem de referência, que a IA entende seu formato e cria novos vídeos com a mesma base e estética.
Por exemplo, a partir de um cogumelo azul fluorescente, você pode criar um urso dançante com as cores do cogumelo.
A ideia é que o usuário crie um vídeo de até 5 segundos em pouco tempo. O Lumiere faz animação de cinemagrafia, técnica de animação de apenas uma parte da imagem, enquanto o restante da cena segue estático.
Além disso, o novo modelo de IA recorre à técnica para criar movimento ou substituir uma parte de um vídeo por outra.
Será possível também trocar a roupa da pessoa que aparece na imagem usando comandos ou prompts de texto e isso pode ser usado para fazer novas imagens preservando o plano de fundo.
O Google não expôs quais foram os bancos de dados utilizados para treinar a nova ferramenta, no entanto diz que a IA tem acesso a uma série de 30 milhões de vídeos, com 80 quadros, rodando a 16 frames por segundo (FPS), ou seja, com duração de 5 segundos. A proporção dos vídeos gerados é de 1:1, com 1024 x 1024 pixels.
A empresa ainda enfrenta algumas limitações com o Lumiere, como a geração de vídeos em baixa qualidade e a geração de clipes com várias "cenas" ou que envolvam transições entre as tomadas.
Confira outras demonstrações de vídeos com o Lumiere
Urso tocando um ukulele (espécie de banjo):
Um barco navegando:
