Repensar la formación de inteligencia artificial de video con datos centrados en el usuario

El tipo de contenido que los usuarios pueden desear crear utilizando un modelo generativo como Flux o Hunyuan Video puede que no esté siempre disponible, incluso si la solicitud de contenido es bastante genérica, y uno podría suponer que el generador podría manejarlo.

Un ejemplo, ilustrado en un nuevo artículo que examinaremos en este artículo, señala que el modelo Sora de OpenAI, cada vez más eclipsado, tiene dificultades para representar un escarabajo luminoso anatómicamente correcto, utilizando la solicitud ‘Un escarabajo luminoso está brillando en una hoja de pasto en una noche de verano serena’:

El modelo Sora de OpenAI tiene una comprensión ligeramente torpe de la anatomía del escarabajo luminoso. Fuente: https://arxiv.org/pdf/2503.01739

Como rara vez acepto las afirmaciones de investigación a ciegas, probé la misma solicitud en Sora hoy y obtuve un resultado ligeramente mejor. Sin embargo, Sora todavía no logró representar la luz correctamente: en lugar de iluminar la punta de la cola del escarabajo luminoso, donde ocurre la bioluminiscencia, colocó la luz cerca de los pies del insecto:

Mi propia prueba de la solicitud de los investigadores en Sora produce un resultado que muestra que Sora no entiende de dónde proviene la luz del escarabajo luminoso.

Irónicamente, el motor de difusión generativa Adobe Firefly, entrenado en las fotos y videos de stock con derechos de autor de la empresa, solo logró una tasa de éxito del 1 en 3 en este respecto, cuando intenté la misma solicitud en la función de inteligencia artificial generativa de Photoshop:

Solo la última de tres generaciones propuestas de la solicitud de los investigadores produce una luz en Adobe Firefly (marzo de 2025), aunque al menos la luz está situada en la parte correcta de la anatomía del insecto.

Este ejemplo fue resaltado por los investigadores del nuevo artículo para ilustrar que la distribución, el énfasis y la cobertura en los conjuntos de datos de entrenamiento utilizados para informar los modelos de base populares pueden no estar alineados con las necesidades del usuario, incluso si el usuario no está solicitando nada particularmente desafiante: un tema que plantea los desafíos involucrados en adaptar los conjuntos de datos de entrenamiento a gran escala a sus resultados más eficientes y performantes como modelos generativos.

Los autores afirman:

‘[Sora] no logra capturar el concepto de un escarabajo luminoso mientras genera con éxito pasto y una noche [de verano]. Desde la perspectiva de los datos, inferimos que esto se debe principalmente a que [Sora] no ha sido entrenado en temas relacionados con escarabajos luminosos, mientras que ha sido entrenado en pasto y noche. Además, si [Sora] hubiera visto el video mostrado en [la imagen de arriba], entendería cómo debería verse un escarabajo luminoso.’

Introducen un conjunto de datos recién curado y sugieren que su metodología podría ser refinada en trabajos futuros para crear colecciones de datos que se alineen mejor con las expectativas del usuario que muchos modelos existentes.

Datos para la gente

En esencia, su propuesta plantea un enfoque de curación de datos que se encuentra en algún punto entre los datos personalizados para un tipo de modelo como LoRA (y este enfoque es demasiado específico para un uso general); y las colecciones de gran volumen y relativamente indiscriminadas (como el conjunto de datos LAION que impulsa la difusión estable) que no están específicamente alineadas con ningún escenario de uso final.

El nuevo enfoque, tanto como metodología como conjunto de datos novedoso, se llama Users’ FOcus in text-to-video, o VideoUFO. El conjunto de datos VideoUFO comprende 1,9 millones de clips de video que abarcan 1291 temas centrados en el usuario. Los temas en sí fueron desarrollados de manera elaborada a partir de un conjunto de datos de video existente y analizados a través de diversos modelos de lenguaje y técnicas de procesamiento de lenguaje natural:

Ejemplos de los temas destilados presentados en el nuevo artículo.

El conjunto de datos VideoUFO cuenta con una gran cantidad de videos novedosos extraídos de YouTube: ‘novedosos’ en el sentido de que los videos en cuestión no aparecen en conjuntos de datos de video que son actualmente populares en la literatura, y por lo tanto en muchos de los subconjuntos que se han curado a partir de ellos (y muchos de los videos fueron subidos posteriormente a la creación de los conjuntos de datos más antiguos que se mencionan en el artículo).

De hecho, los autores afirman que solo hay un 0,29% de superposición con conjuntos de datos de video existentes: una impresionante demostración de novedad.

Una de las razones de esto puede ser que los autores solo aceptaron videos de YouTube con una licencia Creative Commons que sería menos probable que obstaculice a los usuarios más adelante: es posible que esta categoría de videos haya sido menos priorizada en barridos anteriores de YouTube y otras plataformas de gran volumen.

En segundo lugar, los videos se solicitaron en función de la necesidad del usuario previamente estimada (ver imagen de arriba), y no se extrajeron indiscriminadamente. Estos dos factores en combinación podrían conducir a una colección tan novedosa. Además, los investigadores verificaron los ID de YouTube de los videos contribuyentes (es decir, videos que podrían haber sido divididos y reimaginados más adelante para la colección VideoUFO) contra los presentes en colecciones existentes, lo que presta credibilidad a la afirmación.

Aunque no todo en el nuevo artículo es tan convincente, es una lectura interesante que enfatiza la medida en que todavía estamos bastante a merced de distribuciones desiguales en los conjuntos de datos, en términos de los obstáculos con los que se enfrenta la escena de investigación en la curación de conjuntos de datos.

El nuevo trabajo se titula VideoUFO: un conjunto de datos a escala de millón de usuarios para la generación de video a texto, y proviene de dos investigadores, respectivamente de la Universidad de Tecnología de Sídney en Australia y la Universidad de Zhejiang en China.

Ejemplos seleccionados del conjunto de datos final obtenido.

Un ‘personal shopper’ para datos de IA

El tema y los conceptos presentados en la suma total de imágenes y videos de Internet no necesariamente reflejan lo que el usuario final promedio puede terminar solicitando a un sistema generativo; incluso cuando el contenido y la demanda coinciden (como con el porno, que es ampliamente disponible en Internet y de gran interés para muchos usuarios de IA), esto puede no alinearse con la intención y los estándares de los desarrolladores para un nuevo sistema generativo.

Además del gran volumen de material NSFW subido diariamente, es probable que una cantidad desproporcionada de material disponible en la red provenga de anunciantes y aquellos que intentan manipular el SEO. El interés comercial de este tipo hace que la distribución del tema sea lejos de imparcial; peor aún, es difícil desarrollar sistemas de filtrado basados en IA que puedan hacer frente al problema, ya que los algoritmos y modelos desarrollados a partir de datos significativos a gran escala pueden reflejar las tendencias y prioridades de los datos fuente.

Por lo tanto, los autores del nuevo trabajo han abordado el problema invirtiendo la proposición, determinando qué es lo que los usuarios probablemente deseen y obteniendo videos que se alineen con esas necesidades.

En la superficie, este enfoque parece tan probable desencadenar una carrera semántica hacia abajo como lograr una neutralidad equilibrada al estilo de Wikipedia. Calibrar la curación de datos en torno a la demanda del usuario arriesga amplificar las preferencias del denominador común más bajo, mientras que margina a los usuarios de nicho, ya que los intereses de la mayoría inevitablemente llevarán más peso.

Sin embargo, veamos cómo el artículo aborda el desafío.

Destilando conceptos con discreción

Los investigadores utilizaron el conjunto de datos VidProM de 2024 como fuente para el análisis de temas que más tarde informaría la fórmula de extracción web del proyecto.

Este conjunto de datos se eligió, según los autores, porque es el único conjunto de datos de más de 1 millón de elementos ‘escritos por usuarios reales’ y debería señalarse que este conjunto de datos fue curado por los dos autores del nuevo artículo.

El artículo explica*:

‘Primero, incorporamos todos los 1,67 millones de solicitudes de VidProM en vectores de 384 dimensiones utilizando SentenceTransformers Luego, agrupamos estos vectores con K-means. Tenga en cuenta que aquí preestablecemos el número de clústeres en un valor relativamente grande, es decir, 2.000, y fusionamos clústeres similares en el siguiente paso.

‘Finalmente, para cada clúster, pedimos a GPT-4o que concluya un tema [una o dos palabras].’

Los autores señalan que ciertos conceptos son distintos pero notablemente adyacentes, como iglesia y catedral. Un criterio demasiado detallado para casos de este tipo conduciría a incrustaciones de conceptos (por ejemplo) para cada raza de perro, en lugar del término perro; mientras que un criterio demasiado amplio podría corralar un número excesivo de subconceptos en un solo concepto abarrotado; por lo tanto, el artículo señala la necesidad de equilibrio para evaluar dichos casos.

Las formas singulares y plurales se fusionaron, y los verbos se restauraron a sus formas base (infinitivas). Los términos excesivamente amplios, como animación, escena, película y movimiento, se eliminaron.

Así se obtuvieron 1.291 temas (con la lista completa disponible en la sección suplementaria del artículo fuente).

Selección de extracción web

A continuación, los investigadores utilizaron la API oficial de YouTube para buscar videos según los criterios destilados del conjunto de datos de 2024, buscando obtener 500 videos para cada tema. Además de la licencia Creative Commons requerida, cada video debía tener una resolución de 720p o superior y ser más corto que cuatro minutos.

De esta manera, se extrajeron 586.490 videos de YouTube.

Los autores compararon el ID de YouTube de los videos descargados con una serie de conjuntos de datos populares: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; y WebVid-10M.

Encontraron que solo 1.675 ID (el 0,29% mencionado) de los clips de VideoUFO aparecían en estas colecciones más antiguas, y debe admitirse que si bien la lista de comparación de conjuntos de datos no es exhaustiva, incluye a todos los jugadores más grandes e influyentes en la escena de video generativo.

Divisiones y evaluación

Los videos obtenidos se segmentaron posteriormente en múltiples clips, según la metodología descrita en el artículo Panda-70M citado anteriormente. Se estimaron los límites de los disparos, se ensamblaron las uniones y se dividieron los videos concatenados en clips individuales, con breves y detalladas leyendas proporcionadas.

Cada entrada de datos en el conjunto de datos VideoUFO cuenta con un clip, un ID, tiempos de inicio y fin, y una leyenda breve y detallada.

Las leyendas breves se manejaron con el método Panda-70M, y las leyendas de video detalladas con Qwen2-VL-7B, siguiendo las pautas establecidas por Open-Sora-Plan. En los casos en que los clips no encarnaban con éxito el concepto objetivo previsto, las leyendas detalladas de cada clip se alimentaron a GPT-4o mini, con el fin de determinar si realmente se ajustaba al tema. Aunque los autores hubieran preferido la evaluación a través de GPT-4o, esto habría sido demasiado costoso para millones de clips de video.

La evaluación de la calidad del video se realizó con seis métodos del proyecto VBench.

Comparaciones

Los autores repitieron el proceso de extracción de temas en los conjuntos de datos anteriores. Para ello, fue necesario emparejar semánticamente las categorías derivadas de VideoUFO con las categorías inevitablemente diferentes en las otras colecciones; debe admitirse que dichos procesos solo proporcionan categorías equivalentes aproximadas, y por lo tanto esto puede ser demasiado subjetivo como para garantizar comparaciones empíricas.

Aun así, en la imagen a continuación, vemos los resultados que los investigadores obtuvieron con este método:

Comparación de los atributos fundamentales derivados en VideoUFO y los conjuntos de datos anteriores.

Los investigadores reconocen que su análisis dependió de las leyendas y descripciones existentes proporcionadas en cada conjunto de datos. Admiten que volver a etiquetar los conjuntos de datos más antiguos utilizando el mismo método que VideoUFO podría haber ofrecido una comparación más directa. Sin embargo, dada la gran cantidad de puntos de datos, su conclusión de que este enfoque sería prohibitivamente costoso parece justificada.

Generación

Los autores desarrollaron una referencia para evaluar el rendimiento de los modelos de video a texto en conceptos centrados en el usuario, titulada BenchUFO. Esto implicó seleccionar 791 sustantivos de los 1.291 temas destilados en VideoUFO. Para cada tema seleccionado, se eligieron aleatoriamente diez solicitudes de texto de VidProM.

Cada solicitud se pasó a un modelo de video a texto, con la mencionada Qwen2-VL-7B utilizada para evaluar los resultados generados. Con todos los videos generados así etiquetados, se utilizó SentenceTransformers para calcular la similitud coseno para la solicitud de entrada y la descripción de salida (inferida) en cada caso.

Esquema para el proceso BenchUFO.

Los modelos generativos evaluados fueron: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; y Pyramidal.

Además de VideoUFO, MVDiT-VidGen y MVDit-OpenVid fueron los conjuntos de datos de entrenamiento alternativos.

Los resultados consideran los 10 peores y mejores temas en las arquitecturas y conjuntos de datos.

Resultados del rendimiento de los modelos de video a texto públicos vs. los modelos entrenados por los autores, en BenchUFO.

Aquí los autores comentan:

‘Los modelos de video a texto actuales no funcionan consistentemente bien en todos los temas centrados en el usuario. En particular, hay una diferencia de puntuación que va desde 0,233 hasta 0,314 entre los 10 mejores y los 10 peores temas. Estos modelos pueden no entender efectivamente temas como “calamar gigante”, “célula animal”, “Van Gogh” y “egipcio antiguo” debido a la insuficiente capacitación en dichos videos.’

‘Los modelos de video a texto actuales muestran un cierto grado de consistencia en sus temas mejor valorados. Descubrimos que la mayoría de los modelos de video a texto sobresalen en la generación de videos sobre temas relacionados con animales, como “gaviota”, “panda”, “delfín”, “camello” y “búho”. Inferimos que esto se debe en parte a un sesgo hacia los animales en los conjuntos de datos de video actuales.’

Conclusión

VideoUFO es una oferta destacada si solo se considera desde el punto de vista de los datos frescos. Si no ha habido errores en la evaluación y eliminación de ID de YouTube, y si el conjunto de datos contiene tanto material nuevo para la escena de investigación, es una propuesta rara y potencialmente valiosa.

La desventaja es que uno debe dar crédito a la metodología central; si no cree que la demanda del usuario debe informar las fórmulas de extracción web, estaría comprando un conjunto de datos que viene con sus propios conjuntos de sesgos problemáticos.

Además, la utilidad de los temas destilados depende tanto de la confiabilidad del método de destilación utilizado (que generalmente se ve obstaculizado por limitaciones presupuestarias), como de los métodos de formulación para el conjunto de datos de 2024 que proporciona el material fuente.

Dicho esto, VideoUFO ciertamente merece una investigación más a fondo: y está disponible en Hugging Face.

* Mi sustitución de las citas de los autores por enlaces.

Publicado por primera vez el miércoles 5 de marzo de 2025