Modelo de texto a vídeo

Un modelo de texto a video es un modelo de aprendizaje automático que toma como entrada una descripción en lenguaje natural y produce un video que coincide con esa descripción.

Este tipo de modelo es especialmente útil en aplicaciones como edición de video automática, generación de contenido multimedia, subtitulado automático, y creación de tutoriales. Al procesar la descripción textual, el modelo selecciona imágenes, videos o animaciones relevantes para crear una representación visual coherente con el texto original.

Metodologías

La predicción de video para lograr que los objetos parezcan realistas en un fondo estable se lleva a cabo mediante el uso de una red neuronal recurrente en un modelo de secuencia a secuencia. Este modelo incluye un conector de red neuronal convolucional que codifica y decodifica cada píxel de los cuadros, creando así un video mediante aprendizaje profundo.​​

• Recopilación de datos y preparación de conjuntos de datos utilizando videos claros de videos cinéticos de acción humana.
• Entrenamiento de la red neuronal convolucional para realizar videos.
• Extracción de palabras clave de texto mediante programación en lenguaje natural.
• Prueba de conjunto de datos en un modelo generativo condicional para información estática y dinámica existente a partir de texto mediante codificador automático variacional y red adversaria generativa.

Modelos

Diversos modelos están disponibles para la conversión de texto a video, y algunos de ellos son de código abierto.

• CogVideo: Este proyecto presentó su código en GitHub, lo que permite a los desarrolladores explorar y utilizar su enfoque para generar videos a partir de texto ​
• Google: Ha incursionado en esta área utilizando Imagen Video para convertir texto en videos. ​​​​​
• Sora: Sora es un proyecto de inteligencia artificial de OpenAI para generar videos realistas a partir de una descripción textual.​
• Movie Gen: Movie Gen es un generador de video desarrollado por Meta Platforms. Al igual que Sora, genera videos a partir de descripciones textuales o prompt.

En marzo de 2023, Alibaba Research publicó un histórico artículo de investigación en el que aplicaron muchos de los principios encontrados en los modelos de difusión de imágenes latentes a la generación de videos. ​ Desde entonces, servicios como Kaiber o Reemix han adoptado enfoques similares para la generación de video en sus respectivos productos.

Matthias Niessner, de la Universidad Técnica de Múnich (TUM), y Lourdes Agapito, de la University College London (UCL), están colaborando en el desarrollo de técnicas de renderizado neuronal 3D. Su enfoque se centra en la síntesis de videos realistas utilizando representaciones neuronales 2D y 3D. Estas representaciones capturan la apariencia, la forma y el movimiento de los avatares generados. El resultado es un proceso de síntesis de video controlable que produce avatares que no solo se ven, sino también suenan como personas reales. ​

Aunque existen enfoques alternativos, ​ los modelos de difusión latente completa se consideran actualmente lo último en difusión de vídeo.

Véase también

• Arte de IA.
• VideoPoet, primer modelo de Google precursor de Lumiere.
• Sora, modelo de OpenAI.
• Runway, la empresa que desarrolla los modelos Gen-1 y Gen-2.
• Movie Gen.

Referencias

• Datos: Q115517227