Edición de imágenes con Gaussian Splatting

Una nueva colaboración entre investigadores de Polonia y el Reino Unido propone la posibilidad de utilizar Gaussian Splatting para editar imágenes, interpretando temporalmente una parte seleccionada de la imagen en el espacio 3D, lo que permite al usuario modificar y manipular la representación 3D de la imagen y luego aplicar la transformación.

Para cambiar la orientación de la cabeza del gato, la sección relevante se mueve al espacio 3D a través de Gaussian Splatting y luego se manipula por el usuario. La modificación se aplica luego. El proceso es análogo a varias técnicas modales en software de Adobe, que bloquean la interfaz hasta que se complete un proceso complejo actual. Fuente: https://github.com/waczjoan/MiraGe/

Dado que el elemento Gaussian Splat se representa temporalmente como una malla de triángulos y momentáneamente entra en un ‘estado CGI’, un motor de física integrado en el proceso puede interpretar movimientos naturales, ya sea para cambiar el estado estático de un objeto o para producir una animación.

Un motor de física incorporado en el nuevo sistema MiraGe puede realizar interpretaciones naturales de movimientos físicos, ya sea para animaciones o alteraciones estáticas de una imagen.

No hay inteligencia artificial generativa involucrada en el proceso, lo que significa que no se utilizan Modelos de Difusión Latente (LDM), a diferencia del sistema Firefly de Adobe, que se entrena con Adobe Stock (anteriormente Fotolia).

El sistema, llamado MiraGe, interpreta selecciones en el espacio 3D e infiere geometría creando una imagen especular de la selección y aproximando coordenadas 3D que pueden ser incorporadas en un Splat, que luego interpreta la imagen en una malla.

Haz clic para reproducir.Ejemplos adicionales de elementos que han sido alterados manualmente por un usuario del sistema MiraGe o sometidos a deformación basada en física.

Los autores compararon el sistema MiraGe con enfoques anteriores y encontraron que logra un rendimiento de vanguardia en la tarea objetivo.

Los usuarios del sistema de modelado zBrush estarán familiarizados con este proceso, ya que zBrush permite al usuario esencialmente ‘aplacar’ un modelo 3D y agregar detalles 2D, preservando la malla subyacente y interpretando los nuevos detalles en ella, una ‘congelación’ que es lo opuesto al método MiraGe, que opera más como Firefly u otras manipulaciones modales de Photoshop, como la deformación o interpretaciones 3D burdas.

Los Splats Gaussianos parametrizados permiten a MiraGe crear reconstrucciones de alta calidad de áreas seleccionadas de una imagen 2D y aplicar física de cuerpo blando a la selección temporalmente 3D.

El artículo establece:

‘[Nosotros] presentamos un modelo que codifica imágenes 2D simulando la interpretación humana. Específicamente, nuestro modelo percibe una imagen 2D como un ser humano vería una fotografía o una hoja de papel, tratándola como un objeto plano dentro de un espacio 3D.

‘Este enfoque permite una edición de imagen intuitiva y flexible, capturando las nuances de la percepción humana mientras permite transformaciones complejas.’

El nuevo artículo se titula MiraGe: Imágenes 2D editables utilizando Gaussian Splatting y proviene de cuatro autores de la Universidad Jaguelónica de Cracovia y la Universidad de Cambridge. El código completo del sistema se ha publicado en GitHub.

Veamos cómo los investigadores abordaron el desafío.

Método

El enfoque MiraGe utiliza la parametrización Gaussian Mesh Splatting (GaMeS), una técnica desarrollada por un grupo que incluye a dos de los autores del nuevo artículo. GaMeS permite que los Splats Gaussianos se interpreten como mallas CGI tradicionales y se sometan a las técnicas de deformación y modificación estándar que la comunidad CGI ha desarrollado en las últimas décadas.

MiraGe interpreta ‘Gaussianos planos’ en un espacio 2D y utiliza GaMeS para ‘extraer’ contenido en el espacio 3D habilitado por GSplat, temporalmente.

Cada Gaussiano plano se representa como tres puntos en una nube de triángulos, llamada ‘sopa de triángulos’, abriendo la imagen inferida a la manipulación. Fuente: https://arxiv.org/pdf/2410.01521

Podemos ver en la esquina inferior izquierda de la imagen de arriba que MiraGe crea una ‘imagen especular’ de la sección de la imagen que se va a interpretar.

Los autores establecen:

‘[Nosotros] empleamos un enfoque novedoso que utiliza dos cámaras opuestas posicionadas a lo largo del eje Y, simétricamente alineadas alrededor del origen y dirigidas hacia cada una. La primera cámara se encarga de reconstruir la imagen original, mientras que la segunda modela la reflexión especular.

‘La fotografía se concibe así como una hoja de papel transparente, incrustada en el contexto espacial 3D. La reflexión se puede representar efectivamente invirtiendo horizontalmente la [imagen]. Este conjunto de cámaras especulares mejora la fidelidad de las reflexiones generadas, proporcionando una solución robusta para capturar elementos visuales con precisión.’

El artículo señala que una vez que se ha logrado esta extracción, los ajustes de perspectiva que normalmente serían desafiantes se vuelven accesibles a través de la edición directa en 3D. En el ejemplo a continuación, vemos una selección de una imagen de una mujer que abarca solo su brazo. En este caso, el usuario ha inclinado la mano hacia abajo de una manera plausible, lo que sería una tarea desafiante solo empujando píxeles.

Un ejemplo de la técnica de edición MiraGe.

Intentar esto utilizando las herramientas generativas de Firefly en Photoshop normalmente significaría que la mano se reemplaza por una mano sintetizada, imaginada por difusión, lo que rompe la autenticidad de la edición. Incluso los sistemas más capaces, como el ControlNet y Flux, luchan por lograr este tipo de edición en una canalización de imagen a imagen.

Esta búsqueda en particular ha sido dominada por métodos que utilizan Representaciones Neuronales Implícitas (INR), como SIREN y WIRE. La diferencia entre un método de representación implícita y explícita es que las coordenadas del modelo no son directamente accesibles en INR, que utilizan una función continua.

Por contraste, Gaussian Splatting ofrece coordenadas cartesianas X/Y/Z explícitas y direccionales, incluso aunque utiliza elipses gaussianas en lugar de voxels o otros métodos para representar contenido en un espacio 3D.

La idea de utilizar GSplat en un espacio 2D ha sido presentada de manera más prominente, según los autores, en la colaboración académica china de 2024 GaussianImage, que ofreció una versión 2D de Gaussian Splatting, permitiendo tasas de inferencia de 1000fps. Sin embargo, este modelo no tiene implementación relacionada con la edición de imágenes.

Después de que la parametrización GaMeS extrae el área seleccionada en una representación Gaussian/malla, la imagen se reconstruye utilizando la técnica del Método de Puntos de Material (MPM) que se describió por primera vez en un artículo de 2018 de CSAIL.

En MiraGe, durante el proceso de alteración, el Splat Gaussiano existe como un proxy guía para una versión de malla equivalente, similar a cómo los modelos CGI 3DMM se utilizan frecuentemente como métodos de orquestación para técnicas de renderizado neuronal implícito como Campos de Radiancia Neuronal (NeRF).

En el proceso, los objetos bidimensionales se modelan en el espacio 3D y las partes de la imagen que no se ven influenciadas no son visibles para el usuario final, de modo que el efecto contextual de las manipulaciones no es aparente hasta que se concluye el proceso.

MiraGe se puede integrar en el popular programa de código abierto 3D Blender, que ahora se utiliza frecuentemente en flujos de trabajo que incluyen inteligencia artificial, principalmente para propósitos de imagen a imagen.

Un flujo de trabajo para MiraGe en Blender, que implica el movimiento del brazo de una figura representada en una imagen 2D.

Los autores ofrecen dos versiones de un enfoque de deformación basado en Gaussian Splatting: Amorfo y Grafito.

El enfoque Amorfo utiliza directamente el método GaMeS y permite que la selección 2D extraída se mueva libremente en el espacio 3D, mientras que el enfoque Grafito restringe los Gaussianos al espacio 2D durante la inicialización y el entrenamiento.

Los investigadores encontraron que aunque el enfoque Amorfo podría manejar formas complejas mejor que Grafito, los ‘desgarros’ o artefactos de rift eran más evidentes, donde el borde de la deformación se alinea con la parte no afectada de la imagen*.

Por lo tanto, desarrollaron el mencionado sistema de ‘imagen especular’:

‘[Nosotros] empleamos un enfoque novedoso que utiliza dos cámaras opuestas posicionadas a lo largo del eje Y, simétricamente alineadas alrededor del origen y dirigidas hacia cada una.

‘La primera cámara se encarga de reconstruir la imagen original, mientras que la segunda modela la reflexión especular. La fotografía se concibe así como una hoja de papel transparente, incrustada en el contexto espacial 3D. La reflexión se puede representar efectivamente invirtiendo horizontalmente la [imagen].

‘Este conjunto de cámaras especulares mejora la fidelidad de las reflexiones generadas, proporcionando una solución robusta para capturar elementos visuales con precisión.’

El artículo señala que MiraGe puede utilizar motores de física externos como los disponibles en Blender o en Taichi_Elements.

Datos y pruebas

Para las evaluaciones de calidad de imagen en las pruebas realizadas para MiraGe, se utilizaron la Relación Señal-Ruido (SNR) y las métricas MS-SIM.

Los conjuntos de datos utilizados fueron el Conjunto de Imágenes de Color Verdadero sin Pérdida de Kodak y el conjunto de validación DIV2K. Las resoluciones de estos conjuntos de datos se adecuaban a una comparación con el trabajo previo más cercano, Gaussian Image. Los otros marcos de trabajo rivales probados fueron SIREN, WIRE, Primitivas Gráficas Neuronales Instantáneas de NVIDIA (I-NGP) y NeuRBF.

Los experimentos se llevaron a cabo en una laptop NVIDIA GEFORCE RTX 4070 y en una NVIDIA RTX 2080.

MiraGe ofrece resultados de vanguardia frente a los marcos de trabajo previos elegidos, según los resultados presentados en el nuevo artículo.

De estos resultados, los autores establecen:

‘Vemos que nuestra propuesta supera a las soluciones anteriores en ambos conjuntos de datos. La calidad medida por ambas métricas muestra una mejora significativa en comparación con todos los enfoques anteriores.’

Conclusión

La adaptación de MiraGe de Gaussian Splatting 2D es claramente una incursión naciente y tentativa en lo que puede ser una alternativa muy interesante a las incertidumbres y caprichos de utilizar modelos de difusión para efectuar modificaciones en una imagen (es decir, a través de Firefly y otros métodos de difusión basados en API, y a través de arquitecturas de código abierto como Stable Diffusion y Flux).

Aunque hay muchos modelos de difusión que pueden efectuar cambios menores en las imágenes, los LDM están limitados por su enfoque semántico y a menudo ‘sobreampliado’ para una solicitud de modificación basada en texto.

Por lo tanto, la capacidad de extraer temporalmente una parte de una imagen al espacio 3D, manipularla y reemplazarla nuevamente en la imagen, utilizando solo la imagen de origen como referencia, parece una tarea para la que Gaussian Splatting puede ser adecuado en el futuro.

* Hay alguna confusión en el artículo, en el que se cita ‘Amorphous-Mirage’ como el método más efectivo y capaz, a pesar de su tendencia a producir Gaussianos no deseados (artefactos), mientras que se argumenta que ‘Graphite-Mirage’ es más flexible. Parece que Amorphous-Mirage obtiene el mejor detalle, y Graphite-Mirage la mejor flexibilidad. Dado que ambos métodos se presentan en el artículo, con sus diversas fortalezas y debilidades, la preferencia de los autores, si la hay, no parece ser clara en este momento.

Publicado por primera vez el jueves 3 de octubre de 2024