Nueva herramienta de inteligencia artificial permite la edición de video a partir de documentos de texto temáticos

Un equipo de investigadores de ciencias de la computación de las universidades Tsinghua y Beihand en China, IDC Herzilya en Israel y Harvard University han creado recientemente una herramienta que genera videos editados a partir de una descripción de texto y un repositorio de clips de video.

Se graban grandes cantidades de metraje de video todos los días por videógrafos profesionales, aficionados y personas comunes. Sin embargo, editar este video para crear una presentación que tenga sentido sigue siendo una inversión de tiempo costosa, que a menudo requiere el uso de herramientas de edición complejas que pueden manipular el metraje bruto. El equipo internacional de investigadores ha desarrollado recientemente una herramienta que toma descripciones de texto temáticas y genera videos a partir de ellas. La herramienta es capaz de examinar los clips de video en un repositorio y seleccionar los clips que corresponden con el texto de entrada que describe la trama. El objetivo es que la herramienta sea fácil de usar y lo suficientemente potente como para producir videos de calidad sin necesidad de habilidades extensas de edición de video o software de edición de video costoso.

Mientras que las plataformas de edición de video actuales requieren conocimientos de técnicas de edición de video, la herramienta creada por los investigadores permite a los creadores de video novatos crear composiciones que cuentan historias de una manera más natural e intuitiva. “Write-A-Video”, como la llaman sus creadores, permite a los usuarios editar videos simplemente editando el texto que acompaña al video. Si un usuario elimina texto, agrega texto o mueve oraciones alrededor, estos cambios se reflejarán en el video. Los planos correspondientes se cortarán o se agregarán a medida que el usuario manipula el texto y el video resultante final se adaptará a la descripción del usuario.

Ariel Shamir, el decano de la Escuela de Ciencias de la Computación Efi Arazi en IDC Herzliya, explicó que la herramienta Write-A-Video permite al usuario interactuar con el video principalmente a través del texto, utilizando técnicas de procesamiento de lenguaje natural para emparejar planos de video en función del significado semántico proporcionado. Luego, se utiliza un algoritmo de optimización para ensamblar el video cortando y cambiando planos. La herramienta también permite a los usuarios experimentar con diferentes estilos visuales, ajustando cómo se presentan las escenas utilizando idiomas de cine específicos que pueden acelerar o ralentizar la acción, o hacer más o menos cortes.

El programa selecciona posibles planos en función de su atractivo estético. El programa considera cómo se enmarcan los planos, se enfocan y se iluminan para determinar el atractivo estético. La herramienta seleccionará planos que estén mejor enfocados, en lugar de borrosos o inestables, y también priorizará planos que estén bien iluminados. Según los creadores de Write-A-Video, el usuario puede renderizar el video generado en cualquier momento y previsualizarlo con una narración de voz que describe el texto utilizado para seleccionar los clips.

Según el equipo de investigación, su experimento demostró que las técnicas digitales que combinan aspectos de visión por computadora y procesamiento de lenguaje natural pueden ayudar a los usuarios en procesos creativos como la edición de videos.

“Nuestro trabajo demuestra el potencial del emparejamiento visual-semántico automático en la edición computacional basada en idiomas, ofreciendo una forma inteligente de hacer que la creación de video sea más accesible para no profesionales”, explicó Shamir a TechXplore.

Los investigadores probaron su herramienta con diferentes repositorios de video combinados con documentos de texto temáticos. Se realizaron estudios de usuarios y evaluaciones cuantitativas para interpretar los resultados del experimento. Los resultados de los estudios de usuarios encontraron que los no profesionales podían producir a veces videos editados de alta calidad utilizando la herramienta más rápido que los profesionales utilizando software de edición de video basado en frames. Según TechXplore, el equipo presentará su trabajo en unos días en la conferencia ACM SIGGRAPH Asia que se llevará a cabo en Australia. Otras entidades también están utilizando la inteligencia artificial para mejorar la edición de video. Adobe también ha estado trabajando en sus propias extensiones de inteligencia artificial para Premiere Pro, su plataforma de edición. La herramienta ayuda a las personas a asegurarse de que los cambios en la relación de aspecto no corten piezas importantes del video.