Eliminación de objetos y personas de videos con IA

No, si la IA puede evitarlo, el niño no se queda en la imagen.

Eliminar personas y objetos de imágenes y videos es una vertiente popular de la investigación sobre IA orientada a efectos visuales (VFX). Cada vez hay más conjuntos de datos y sistemas especializados en este desafío. La aportación más reciente, del Instituto de Big Data de la Universidad Fudan, en China, es EffectErase, un sistema de eliminación de objetos en video que tiene en cuenta sus efectos. Según los autores, en las pruebas supera notablemente a los métodos más avanzados:

Ejemplos de EffectErase recopilados a partir del sitio web del proyecto. Aunque ofrecemos el enlace, ese sitio contiene tantos videos de alta resolución, sin optimizar y con reproducción automática que puede afectar a la estabilidad del navegador. El video de YouTube que acompaña al trabajo es una referencia más accesible y completa y está insertado al final de este artículo.  Fuente

El nuevo trabajo implicó crear y seleccionar un conjunto de datos parcialmente nuevo, con casi 350 escenas originales del mundo real y también escenas sintetizadas. Se utilizaron repositorios públicos*. Las escenas se grabaron con equipos específicos o se obtuvieron de otras fuentes y se adaptaron a un flujo de trabajo basado en Blender, el sistema 3D de código abierto.

El conjunto híbrido Video Object Removal (VOR) sirve de base a la aplicación EffectErase, construida sobre el sistema de generación de video Wan2.1. El sistema también define dos nuevos bancos de pruebas relacionados: VOR Eval y VOR Wild, respectivamente para muestras con y sin datos de referencia correctos (ground truth).

(Aunque el artículo tiene un sitio web del proyecto, está sobrecargado de videos de alta resolución y cuesta cargarlo. Si tiene dificultades para usarlo, consulte los fragmentos que he recopilado en el video insertado arriba.)

Comparación de las cantidades incluidas en conjuntos de datos anteriores similares y en el nuevo conjunto. Fuente

Los investigadores afirman que su enfoque ofrece un rendimiento de vanguardia tanto en las métricas cuantitativas como en los resultados cualitativos valorados mediante un estudio con personas.

Señalan que trabajos anteriores no siempre han logrado eliminar efectos asociados a un objeto, como sombras y reflejos, y que su conjunto de datos se creó con cuidado para corregir esa limitación:

Ejemplos de enfoques anteriores que no lograron ir más allá del objeto que se quería eliminar y borrar indicios secundarios, como reflejos y sombras.

El nuevo artículo se titula EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing y lo firman cuatro investigadores de la Facultad de Ciencias de la Computación e Inteligencia Artificial de la Universidad Fudan.

Método

El conjunto híbrido VOR se diseñó para abarcar suficientes situaciones distintas como para cubrir todas las implicaciones de eliminar una persona o un objeto de un video:

Los pares de fotogramas de VOR muestran que la eliminación debe abarcar no solo el objeto visible, sino también los efectos que provoca. Los ejemplos incluyen oclusión, sombra, cambios de iluminación, reflejos y deformación física. Cada entrada, con el objeto presente, aparece junto al fondo limpio correspondiente tras eliminarlo. Para más ejemplos, consulte el video de YouTube insertado al final del artículo.

Los autores definen cinco tipos representativos de «interferencia» que deben abordarse: oclusión, que incluye distintos tipos de obstrucción por vidrio y humo; sombras; iluminación (por ejemplo, cuando el objeto que se elimina crea o modifica el recorrido de la luz); reflejo; y deformación (por ejemplo, la marca que deja una persona en un cojín y que no debería permanecer tras eliminarla).

Proceso de construcción de VOR, que combina escenas sintéticas generadas con Blender y grabaciones reales. Los datos sintéticos se crean a partir de entornos 3D, objetos y trayectorias de cámara seleccionados; las grabaciones reales abarcan diversas escenas y se amplían con movimiento Ken Burns. Después, la segmentación con SAM2 y el refinamiento manual producen tríos alineados de video de primer plano, video de fondo y máscara correspondiente.

Para los datos originales del mundo real, los investigadores grabaron con cámaras fijas escenas con y sin los objetos, en distintos entornos, horas del día y condiciones meteorológicas.

Para los datos sintetizados, renderizaron varios puntos de vista y crearon situaciones con múltiples objetos. Incorporaron movimientos de cámara deliberadamente complejos y difíciles, como los que pueden aparecer en grabaciones reales. Según los investigadores, esta estrategia es más sofisticada y laboriosa que la empleada en el conjunto Remove Objects with Side Effects in Videos (ROSE), similar en los demás aspectos.

Para aumentar la diversidad de movimientos, se aplicó el efecto Ken Burns a los pares grabados con cámara. Se añadieron panorámicas controladas, zooms y ligeros movimientos como los de una cámara en mano, siguiendo catorce reglas predefinidas. Se seleccionaron cinco patrones de movimiento por par, manteniendo el recorte dentro del fotograma original.

La combinación de objetos sintéticos con distintas configuraciones de cámara amplió aún más la escala y la diversidad. Las máscaras se generaron colocando manualmente indicaciones de puntos en fotogramas clave y propagando la segmentación con Segment Anything 2 (SAM2). Se limpiaron y refinaron los resultados y se reunieron tríos validados de primer plano, fondo y máscara para el entrenamiento.

La colección final contiene 145 horas de video en 60.000 videos emparejados, reales y sintéticos, que abarcan 366 clases de objetos en 443 escenas.

La red EffectErase recibe el material mediante un autocodificador variacional (VAE^†), mientras que Wan2.1 elimina el ruido de la representación latente. Sobre esta base, EffectErase utiliza tres componentes: Aprendizaje Conjunto de Eliminación e Inserción, que entrena ambas tareas juntas en las mismas regiones; Guía de Regiones según la Tarea (TARG), que emplea tokens de objeto y tarea con atención cruzada para modelar las relaciones espaciales y temporales entre los objetos y sus efectos y permitir el cambio de tarea; y Pérdida de Consistencia de los Efectos, que alinea las regiones afectadas entre las tareas de eliminación e inserción:

Esquema de EffectErase. Durante el entrenamiento, los videos emparejados se codifican en un espacio latente compartido, se combinan con ruido y se procesan mediante un transformador de difusión guiado por atención cruzada específica de la tarea. La pérdida de consistencia de los efectos alinea las regiones de eliminación e inserción para que ambas tareas se concentren en la misma zona.

Los procesos de eliminación e inserción se entrenan juntos sobre una base de difusión compartida. Así, el modelo aprende a concentrarse en las mismas regiones afectadas y los mismos indicios estructurales.

Primero se codifican los videos con objetos, los que contienen solo el fondo y las máscaras en un espacio latente. Después se añade ruido para el entrenamiento por difusión y el modelo aprende a recuperar representaciones limpias bajo una guía específica de cada tarea. Un adaptador ligero combina las características con ruido y las condiciones de eliminación o inserción. Así, ambas tareas comparten supervisión sin dejar de ser controlables.

La Guía de Regiones según la Tarea crea una señal específica de la tarea combinando tokens de lenguaje con características visuales extraídas del objeto en primer plano mediante CLIP. Sustituye un token genérico de objeto por una representación vectorial derivada del contenido real de la imagen. Esa representación combinada se introduce en la red de base mediante atención cruzada. Esto permite seguir cómo evolucionan un objeto y sus efectos visuales en el espacio y el tiempo, y alternar de forma flexible entre eliminación e inserción.

La Pérdida de Consistencia de los Efectos obliga a los procesos de eliminación e inserción a concentrarse en las mismas zonas modificadas, ya que ambos tratan el mismo objeto y sus efectos visuales. Los mapas de atención de cada rama se combinan en mapas suaves de regiones y se alinean con un mapa de diferencias calculado a partir de los videos con el objeto y los del fondo, para conservar cambios sutiles como iluminación y sombras. Esta pérdida adicional ayuda a que la inserción guíe la eliminación y mantiene la consistencia entre ambas tareas.

Datos y pruebas

Los investigadores compararon su enfoque con distintos métodos de relleno de imágenes, relleno de video y eliminación de objetos: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; y MiniMax-Remover.

Se realizó el ajuste fino de Wan2.1 con LoRA^†† sobre VOR a una resolución de 832×480 píxeles. Para el entrenamiento se seleccionaron aleatoriamente 81 fotogramas consecutivos, el límite práctico de WAN, más allá del cual suelen producirse errores. El entrenamiento duró 129.000 iteraciones con un tamaño de lote de 8, usando ocho GPU H100 con 80GB de VRAM cada una. La tasa de aprendizaje se fijó en 1×10² y el rango de LoRA en 256.

La colección sintética ROSE-Benchmark fue el único conjunto de datos externo evaluado. Los otros dos fueron VOR-Eval, correspondiente al conjunto VOR en su división de prueba; y VOR-Wild, un conjunto de prueba con 195 videos reales recopilados en internet, en los que aparecen objetos en movimiento.

Las métricas utilizadas fueron Relación Señal-Ruido de Pico (PSNR); Índice de Similitud Estructural (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); y Distancia de Video de Fréchet (FVD). También se consideró un estudio con usuarios de 195 videos generados a partir de VOR-Wild, tomando las puntuaciones medias de 20 voluntarios.

Los autores también idearon QScore, una métrica que emplea el modelo multimodal Qwen-VL para evaluar la calidad del video tras eliminar los objetos. Se tienen en cuenta los artefactos restantes y los efectos del entorno que no se han eliminado, como sombras o cambios de iluminación:

Comparación cuantitativa en los bancos de pruebas ROSE y VOR. Los mejores resultados aparecen en negrita y los segundos mejores, subrayados.

Sobre estos resultados, los autores señalan:

‘[Los actuales] métodos de relleno de imágenes trabajan sobre fotogramas individuales con modelos 2D, sin modelado temporal. Por ello no consiguen mantener la consistencia temporal en los videos.

Los [métodos] recientes de relleno de video no modelan explícitamente los efectos secundarios de los objetos, lo que produce resultados de eliminación poco naturales. Los [métodos] existentes de eliminación de objetos en video carecen de modelado de la correlación espacial y temporal entre el objeto y sus efectos secundarios. Por ello suelen producir artefactos y rastros residuales de los objetos eliminados.

‘En general, EffectErase alcanza un rendimiento de vanguardia en todos los conjuntos de datos y métricas de evaluación. Obtiene las mejores puntuaciones en la métrica de calidad de video FVD, lo que demuestra una mayor fluidez y consistencia temporal de los videos generados.

‘Nuestro método también consigue el mayor QScore y las mejores valoraciones de los usuarios. Esto demuestra aún más su eficacia para producir resultados de eliminación visualmente convincentes.’

Para la evaluación cualitativa, el artículo ofrece los resultados estáticos que se muestran justo debajo. Los resultados en movimiento están disponibles en el sitio del proyecto y en la presentación en video de YouTube:

Comparación cualitativa en VOR-Eval para casos de oclusión, sombra, iluminación, reflejo y deformación. Los métodos de relleno tienen dificultades para eliminar efectos fuera de la máscara, mientras que los modelos de eliminación suelen dejar artefactos visibles. EffectErase elimina los objetos objetivo y sus efectos asociados con mayor limpieza. Consulte el artículo original para una resolución mejor y el sitio del proyecto para ejemplos en video.

También remitimos al lector a los distintos ejemplos relacionados del sitio del proyecto, de los que se ofrece una vista previa abajo, y al video oficial de YouTube insertado al final de este artículo:

Haga clic para reproducir. Un ejemplo de comparación del sitio del proyecto EffectErase. Consulte el sitio para una resolución mejor, teniendo en cuenta las advertencias anteriores, y para más ejemplos.

Los autores comentan:

‘Los [métodos] de relleno de video suelen producir artefactos en regiones enmascaradas y no eliminan por completo los efectos secundarios causados por los objetos eliminados. Los enfoques anteriores, como [ROSE] y [MinMax-Remover], eliminan bien los objetos objetivo, pero aún tienen dificultades con sus efectos secundarios, sobre todo en situaciones de oclusión, sombra, iluminación, reflejo y deformación.

‘En cambio, EffectErase elimina eficazmente tanto los objetos objetivo como sus efectos asociados y produce resultados limpios, coherentes y de alta calidad.’

Por último, los investigadores observan que el método también puede adaptarse a la inserción, en lugar de la eliminación, sin entrenamiento adicional:

Resultados de inserción de objetos en video. EffectErase inserta objetos conservando el contenido del fondo y genera, de forma consistente entre fotogramas, efectos causados por los objetos como sombras y reflejos.

Los resultados en video de la inserción pueden verse en los ejemplos del video de YouTube enlazado al momento correspondiente. También está insertado, sin marca de tiempo, al final del artículo.

Conclusión

Un repaso de proyectos similares en la literatura muestra que muchos todavía esperan que los modelos VFX de uso general puedan incorporar esta función a un modelo que actúe como «caja de herramientas» para distintos efectos, en lugar de limitarse a esta tarea concreta.

Sin embargo, dadas las limitaciones de una herramienta que intenta hacerlo todo, parece razonable suponer que sistemas especializados como EffectErase seguirán aventajando a enfoques más generales en esta función. La salvedad es que la diferencia podría reducirse tanto que no compensara el esfuerzo adicional de entrenar un modelo separado.

* Ante la creciente preocupación por la procedencia de la propiedad intelectual, cabría esperar que se citaran todas estas fuentes. Sin embargo, si los materiales disponibles del nuevo trabajo indican el origen de los modelos 3D, no pude localizar esa referencia.

^† La referencia proporcionada parece ser un texto explicativo genérico de 2013, sin detallar el VAE específico utilizado.

^†† Esta descripción, tomada del artículo, resulta semánticamente ambigua, ya que el ajuste fino y LoRA son procesos diferentes con exigencias muy distintas.

Publicado por primera vez el sábado 21 de marzo de 2026