Mejorar la precisión de la edición de imágenes de IA

Aunque el modelo de difusión latente de Adobe (LDM) es probablemente uno de los mejores disponibles actualmente, los usuarios de Photoshop que han probado sus características generativas habrán notado que no puede editar fácilmente imágenes existentes, sino que sustituye completamente el área seleccionada por el usuario con imágenes basadas en el texto de la promoción del usuario (aunque Firefly es hábil para integrar la sección generada resultante en el contexto de la imagen).

En la versión beta actual, Photoshop puede al menos incorporar una imagen de referencia como una promoción de imagen parcial, lo que permite a Adobe alcanzar la misma funcionalidad que los usuarios de Stable Diffusion han disfrutado durante más de dos años, gracias a marcos de terceros como Controlnet:

La versión beta actual de Adobe Photoshop permite el uso de imágenes de referencia al generar nuevo contenido dentro de una selección, aunque es un asunto de hito y error en este momento.

Esto ilustra un problema abierto en la investigación de síntesis de imágenes, la dificultad que los modelos de difusión tienen para editar imágenes existentes sin implementar una “reimaginación” a gran escala de la selección indicada por el usuario.

Aunque esta pintura basada en difusión obedece a la promoción del usuario, reinventa completamente la materia del sujeto sin tener en cuenta la imagen original (excepto al mezclar la nueva generación con el entorno). Fuente: https://arxiv.org/pdf/2502.20376

Este problema ocurre porque los LDM generan imágenes a través de ruido iterativo, donde cada etapa del proceso se basa en la promoción de texto proporcionada por el usuario. Con el contenido de la promoción de texto convertido en tokens de incrustación, y con un modelo de hiperscala como Stable Diffusion o Flux que contiene cientos de miles (o millones) de incrustaciones relacionadas con la promoción, el proceso tiene una distribución condicional calculada para apuntar; y cada paso es un paso hacia esta “distribución condicional objetivo”.

Así que eso es texto a imagen, un escenario en el que el usuario “espera lo mejor”, ya que no hay forma de saber exactamente qué será la generación.

En cambio, muchos han buscado utilizar la capacidad generativa poderosa de un LDM para editar imágenes existentes, pero esto implica un equilibrio entre fidelidad y flexibilidad.

Cuando una imagen se proyecta en el espacio latente del modelo mediante métodos como la inversión DDIM, el objetivo es recuperar la original lo más cerca posible mientras se permiten ediciones significativas. El problema es que cuanto más precisamente se reconstruye una imagen, más se adhiere el modelo a su estructura original, lo que hace que las modificaciones importantes sean difíciles.

Al igual que muchos otros marcos de edición de imágenes basados en difusión propuestos en los últimos años, la arquitectura Renoise tiene dificultades para hacer cualquier cambio real en la apariencia de la imagen, con solo una indicación perfunctoria de un lazo apareciendo en la base de la garganta del gato.

Por otro lado, si el proceso prioriza la edibilidad, el modelo afloja su agarre en la original, lo que facilita la introducción de cambios, pero a costa de la consistencia general con la imagen de origen:

Misión cumplida, pero es una transformación en lugar de un ajuste, para la mayoría de los marcos de edición de imágenes basados en IA.

Dado que es un problema que incluso los considerables recursos de Adobe están luchando para abordar, entonces podemos razonablemente considerar que el desafío es notable y puede que no permita soluciones fáciles, si es que las hay.

Inversión ajustada

Por lo tanto, los ejemplos en un nuevo artículo publicado esta semana llamaron mi atención, ya que el trabajo ofrece una mejora valiosa y notable en el estado actual de la técnica en este área, al demostrar la capacidad de aplicar ediciones sutiles y refinadas a imágenes proyectadas en el espacio latente de un modelo, sin que las ediciones sean insignificantes o abrumen el contenido original de la imagen de origen:

Con la inversión ajustada aplicada a los métodos de inversión existentes, la selección de origen se considera de una manera mucho más granular, y las transformaciones se ajustan al material original en lugar de sobrescribirlo.

Los aficionados y practicantes de LDM pueden reconocer este tipo de resultado, ya que gran parte de él se puede crear en un flujo de trabajo complejo utilizando sistemas externos como Controlnet y IP-Adapter.

De hecho, el nuevo método, llamado inversión ajustada, aprovecha IP-Adapter, junto con un modelo basado en rostros dedicado, para representaciones humanas.

Del artículo original de IP-Adapter de 2023, ejemplos de crear ediciones apropiadas al material de origen. Fuente: https://arxiv.org/pdf/2308.06721

El logro destacado de la inversión ajustada, entonces, es haber proceduralizado técnicas complejas en una sola modalidad de complemento que se puede aplicar a sistemas existentes, incluyendo muchas de las distribuciones de LDM más populares.

Naturalmente, esto significa que la inversión ajustada (TI), al igual que los sistemas auxiliares que aprovecha, utiliza la imagen de origen como un factor de condicionamiento para su propia versión editada, en lugar de confiar únicamente en promociones de texto precisas:

Más ejemplos de la capacidad de la inversión ajustada para aplicar ediciones verdaderamente mezcladas al material de origen.

Aunque los autores conceden que su enfoque no está exento de la tensión tradicional y continua entre fidelidad y edibilidad en las técnicas de edición de imágenes basadas en difusión, informan resultados de estado de la técnica al inyectar TI en sistemas existentes, en comparación con el rendimiento de referencia.

El nuevo trabajo se titula Inversión ajustada: inversión condicionada por imagen para edición de imágenes reales, y proviene de cinco investigadores de la Universidad de Tel Aviv y Snap Research.

Método

Inicialmente, se utiliza un modelo de lenguaje grande (LLM) para generar un conjunto de promociones de texto variadas a partir de las cuales se genera una imagen. Luego, se aplica la inversión DDIM a cada imagen con tres condiciones de texto: la promoción de texto utilizada para generar la imagen; una versión abreviada de la misma; y una promoción nula (vacía).

Con el ruido invertido devuelto de estos procesos, las imágenes se regeneran con la misma condición, y sin orientación de clasificador libre (CFG).

Puntuaciones de inversión DDIM en varios métricas con configuraciones de promoción variables.

Como podemos ver en el gráfico anterior, las puntuaciones en varias métricas mejoran con la longitud de texto aumentada. Las métricas utilizadas fueron la relación señal a ruido pico (PSNR); la distancia L2; el índice de similitud estructural (SSIM); y la similitud de parches de imagen perceptual aprendida (LPIPS).

Consciente de la imagen

En efecto, la inversión ajustada cambia la forma en que un modelo de difusión de host edita imágenes reales al condicionar el proceso de inversión en la imagen en sí, en lugar de confiar únicamente en el texto.

Normalmente, invertir una imagen en el espacio de ruido de un modelo de difusión requiere estimar el ruido inicial que, cuando se desenoisa, reconstruye la entrada. Los métodos estándar utilizan una promoción de texto para guiar este proceso; pero una promoción imperfecta puede llevar a errores, perdiendo detalles o alterando estructuras.

La inversión ajustada, en cambio, utiliza IP Adapter para alimentar información visual al modelo, para que reconstruya la imagen con mayor precisión, convirtiendo las imágenes de origen en tokens de condicionamiento y proyectándolos en la tubería de inversión.

Estos parámetros son editables: aumentar la influencia de la imagen de origen hace que la reconstrucción sea casi perfecta, mientras que reducirla permite cambios más creativos. Esto hace que la inversión ajustada sea útil tanto para modificaciones sutiles, como cambiar el color de una camisa, como para ediciones más significativas, como intercambiar objetos, sin los efectos secundarios comunes de otros métodos de inversión, como la pérdida de detalles finos o aberraciones inesperadas en el contenido de fondo.

Los autores afirman:

‘Observamos que la inversión ajustada se puede integrar fácilmente con métodos de inversión anteriores (por ejemplo, Edit Friendly DDPM, ReNoise) sustituyendo el núcleo de difusión nativo por el modelo alterado por IP Adapter, y la inversión ajustada mejora consistentemente estos métodos en términos de reconstrucción y edibilidad.’

Datos y pruebas

Los investigadores evaluaron TI en su capacidad para reconstruir y editar imágenes de origen del mundo real. Todos los experimentos utilizaron Stable Diffusion XL con un programador DDIM, como se describe en el artículo original de Stable Diffusion; y todas las pruebas utilizaron 50 pasos de desenoising con una escala de orientación predeterminada de 7,5.

Para el condicionamiento de la imagen, se utilizó IP-Adapter-plus sdxl vit-h. Para las pruebas de pocos pasos, los investigadores utilizaron SDXL-Turbo con un programador Euler, y también realizaron experimentos con FLUX.1-dev, condicionando el modelo en este caso en PuLID-Flux, utilizando RF-Inversión a 28 pasos.

PuLID se utilizó únicamente en casos que presentaban rostros humanos, ya que este es el dominio para el que PuLID fue entrenado, y aunque es digno de mención que se utilice un subsistema especializado para este tipo de promoción, nuestro interés excesivo en generar rostros humanos sugiere que confiar únicamente en los pesos más amplios de un modelo de base como Stable Diffusion puede no ser adecuado para los estándares que exigimos para esta tarea en particular.

Las pruebas de reconstrucción se realizaron para una evaluación cualitativa y cuantitativa. En la imagen a continuación, vemos ejemplos cualitativos para la inversión DDIM:

Resultados cualitativos para la inversión DDIM. Cada fila muestra una imagen muy detallada junto con sus versiones reconstruidas, con cada paso utilizando condiciones progresivamente más precisas durante la inversión y el desenoising. A medida que la condicionamiento se vuelve más preciso, la calidad de la reconstrucción mejora. La columna de la derecha demuestra los mejores resultados, donde la imagen original se utiliza como condición, logrando la mayor fidelidad. CFG no se utilizó en ninguna etapa. Por favor, consulte el documento de origen para una mejor resolución y detalle.

El artículo afirma:

‘Estos ejemplos destacan que condicionar el proceso de inversión en una imagen mejora significativamente la reconstrucción en regiones muy detalladas.

‘En particular, en el tercer ejemplo de [la imagen a continuación], nuestro método reconstruye con éxito el tatuaje en la espalda del boxeador derecho. Además, la pose de la pierna del boxeador se conserva con mayor precisión, y el tatuaje en la pierna se vuelve visible.’

Más resultados cualitativos para la inversión DDIM. Las condiciones descriptivas mejoran la inversión DDIM, con el condicionamiento de la imagen superando al texto, especialmente en imágenes complejas.

Los autores también probaron la inversión ajustada como un módulo de inserción para sistemas existentes, comparando las versiones modificadas con su rendimiento de referencia.

Los tres sistemas probados fueron la inversión DDIM y la inversión RF; y también ReNoise, que comparte algunos autores con el artículo que se discute aquí. Dado que los resultados de DDIM no tienen dificultades para obtener una reconstrucción del 100%, los investigadores se centraron únicamente en la edibilidad.

(Las imágenes de resultados cualitativos están formateadas de una manera que es difícil de reproducir aquí, así que nos referimos al lector al PDF de origen para una cobertura más completa y una mejor resolución, a pesar de que algunas selecciones se presentan a continuación)

Izquierda, resultados cualitativos de reconstrucción para la inversión ajustada con SDXL. Derecha, reconstrucción con Flux. El diseño de estos resultados en el trabajo publicado hace que sea difícil reproducirlos aquí, así que por favor consulte el PDF de origen para una impresión verdadera de las diferencias obtenidas.

Aquí, los autores comentan:

‘Como se ilustra, integrar la inversión ajustada con métodos existentes mejora consistentemente la reconstrucción. Por ejemplo, nuestro método reconstruye con precisión la barandilla en el ejemplo más a la izquierda y el hombre con la camisa azul en el ejemplo más a la derecha [en la figura 5 del artículo].’

Los autores también probaron el sistema cuantitativamente. En línea con trabajos anteriores, utilizaron el conjunto de validación de MS-COCO, y observan que los resultados (ilustrados a continuación) mejoran la reconstrucción en todas las métricas para todos los métodos.

Comparación de las métricas para el rendimiento de los sistemas con y sin la inversión ajustada.

A continuación, los autores probaron la capacidad del sistema para editar fotos, comparándolo con versiones de referencia de enfoques anteriores prompt2prompt; Edit Friendly DDPM; LED-ITS++; y RF-Inversión.

Se muestran a continuación algunas de las selecciones de los resultados cualitativos del artículo para SDXL y Flux (y nos referimos al lector al PDF de origen para una mejor resolución y claridad significativa).

Selecciones de los resultados cualitativos abrumadores (presentados de manera confusa) en todo el artículo. Nos referimos al lector al PDF de origen para una mejor resolución y claridad significativa.

Los autores sostienen que la inversión ajustada mejora consistentemente las técnicas de inversión existentes al equilibrar mejor la reconstrucción y la edibilidad. Los métodos estándar como la inversión DDIM y ReNoise pueden recuperar una imagen bien, pero el artículo afirma que a menudo luchan por preservar los detalles finos cuando se aplican ediciones.

Por el contrario, la inversión ajustada aprovecha el condicionamiento de la imagen para anclar la salida del modelo más cerca de la original, evitando distorsiones no deseadas. Los autores sostienen que incluso cuando los enfoques competitivos producen reconstrucciones que parecen precisas, la introducción de ediciones a menudo conduce a artefactos o inconsistencias estructurales, y que la inversión ajustada mitiga estos problemas.

Finalmente, se obtuvieron resultados cuantitativos al evaluar la inversión ajustada contra la referencia MagicBrush, utilizando la inversión DDIM y LEDITS++, medida con CLIP Sim.

Comparaciones cuantitativas de la inversión ajustada contra la referencia MagicBrush.

Los autores concluyen:

‘En ambos gráficos, el equilibrio entre la preservación de la imagen y la adherencia a la edición de destino es claramente observable. La inversión ajustada proporciona un mejor control sobre este equilibrio y preserva mejor la imagen de origen mientras aún se ajusta a la edición [de la promoción].’

‘Tenga en cuenta que una similitud de CLIP de más de 0,3 entre una imagen y una promoción de texto indica una alineación plausible entre la imagen y la promoción.’

Conclusión

Aunque no representa un “avance” en uno de los desafíos más espinosos de la síntesis de imágenes basada en LDM, la inversión ajustada consolida una serie de enfoques auxiliares incómodos en un método unificado de edición de imágenes basada en IA.

Aunque la tensión entre edibilidad y fidelidad no ha desaparecido con este método, se reduce notablemente, según los resultados presentados. Considerando que el desafío central que este trabajo aborda puede resultar en última instancia intractable si se aborda en sus propios términos (en lugar de buscar más allá de las arquitecturas basadas en LDM en sistemas futuros), la inversión ajustada representa una mejora incremental bienvenida en el estado de la técnica.

Publicado por primera vez el viernes 28 de febrero de 2025