Edición de objetos asistida por IA con Imagic de Google y ‘Erase and Replace’ de Runway

Esta semana, dos nuevos algoritmos gráficos impulsados por IA están ofreciendo formas novedosas para que los usuarios finales realicen cambios altamente granulares y efectivos en objetos en fotos.

El primero es Imagic, de Google Research, en asociación con el Instituto de Tecnología de Israel y el Instituto de Ciencia Weizmann. Imagic ofrece edición de objetos condicionada por texto, con edición de granularidad fina a través del ajuste fino de modelos de difusión.

Cambia lo que quieras, y deja el resto – Imagic promete edición granular de solo las partes que deseas cambiar. Fuente: https://arxiv.org/pdf/2210.09276.pdf

Cualquiera que haya intentado cambiar solo un elemento en una re-renderización de Stable Diffusion sabrá muy bien que, por cada edición exitosa, el sistema cambiará cinco cosas que te gustaban tal como estaban. Es una limitación que actualmente tiene a muchos de los entusiastas más talentosos de SD constantemente cambiando entre Stable Diffusion y Photoshop, para arreglar este tipo de “daño colateral”. Desde este punto de vista, los logros de Imagic parecen notables.

En el momento de escribir, Imagic carece incluso de un video promocional, y, dado el enfoque cauteloso de Google para lanzar herramientas de síntesis de imágenes sin restricciones, es incierto hasta qué punto, si es que lo hay, tendremos la oportunidad de probar el sistema.

La segunda oferta es la función Erase and Replace de Runway ML, una nueva característica en la sección “AI Magic Tools” de su suite en línea exclusiva de utilidades de efectos visuales basados en aprendizaje automático.

La función Erase and Replace de Runway ML, ya vista en una vista previa para un sistema de edición de video a texto. Fuente: https://www.youtube.com/watch?v=41Qb58ZPO60

Vamos a ver primero la salida de Runway.

Erase and Replace

Al igual que Imagic, Erase and Replace se ocupa exclusivamente de imágenes fijas, aunque Runway ha visto en una vista previa la misma funcionalidad en una solución de edición de video a texto que aún no se ha lanzado:

Aunque cualquiera puede probar la nueva Erase and Replace en imágenes, la versión de video aún no está disponible públicamente. Fuente: https://twitter.com/runwayml/status/1568220303808991232

Aunque Runway ML no ha lanzado detalles de las tecnologías detrás de Erase and Replace, la velocidad a la que se puede sustituir una planta de interior por un busto razonablemente convincente de Ronald Reagan sugiere que un modelo de difusión como Stable Diffusion (o, mucho menos probable, un DALL-E 2 con licencia) es el motor que está reinventando el objeto de tu elección en Erase and Replace.

Reemplazar una planta de interior con un busto de The Gipper no es tan rápido como esto, pero es bastante rápido. Fuente: https://app.runwayml.com/

El sistema tiene algunas restricciones del tipo DALL-E 2: imágenes o texto que activan los filtros de Erase and Replace desencadenarán una advertencia sobre la posible suspensión de la cuenta en caso de más infracciones – prácticamente una copia idéntica de las políticas de OpenAI para DALL-E 2.

Muchos de los resultados carecen de los bordes ásperos típicos de Stable Diffusion. Runway ML son inversores y socios de investigación en SD, y es posible que hayan entrenado un modelo propio que sea superior a los pesos de punto de referencia de código abierto 1.4 que el resto de nosotros está luchando actualmente (al igual que muchos otros grupos de desarrollo, aficionados y profesionales, que están entrenando o ajustando modelos de Stable Diffusion).

Sustituir una mesa doméstica por una ‘mesa de hielo’ en Erase and Replace de Runway ML.

Como con Imagic (ver más abajo), Erase and Replace es ‘orientado a objetos’, por así decirlo: no puedes simplemente borrar una ‘parte vacía’ de la imagen y rellenarla con el resultado de tu texto; en ese escenario, el sistema simplemente trazará el objeto más cercano aparente a lo largo de la línea de visión de la máscara (como una pared o un televisor) y aplicará la transformación allí.

Como indica el nombre, no puedes inyectar objetos en el espacio vacío en Erase and Replace. Aquí, un intento de invocar al más famoso de los señores Sith resulta en un extraño mural de Vader en la TV, aproximadamente donde se dibujó el área de ‘reemplazo’.

Es difícil decir si Erase and Replace está evitando el uso de imágenes con derechos de autor (que aún están obstaculizadas en gran medida, aunque con diferente éxito, en DALL-E 2), o si el modelo utilizado en el motor de renderizado de backend no está optimizado para ese tipo de cosas.

El ‘Mural de Nicole Kidman’ ligeramente NSFW indica que el modelo de difusión presumiblemente utilizado carece de la rechazada sistemática de DALL-E 2 para renderizar caras realistas o contenido subido de tono, mientras que los resultados de los intentos de evocar obras con derechos de autor van desde lo ambiguo (‘xenomorph’) hasta lo absurdo (‘el trono de hierro’). En la esquina inferior derecha, la imagen de origen.

Sería interesante saber qué métodos está utilizando Erase and Replace para aislar los objetos que puede reemplazar. Presumiblemente, la imagen se ejecuta a través de alguna derivación de CLIP, con los elementos discretos individuados por reconocimiento de objetos y segmentación semántica posterior. Ninguna de estas operaciones funciona casi tan bien en una instalación común de Stable Diffusion.

Pero nada es perfecto: a veces el sistema parece borrar y no reemplazar, incluso cuando (como hemos visto en la imagen de arriba), el mecanismo de renderizado subyacente definitivamente sabe lo que significa una llamada de texto. En este caso, resulta imposible convertir una mesa de café en un xenomorph: en su lugar, la mesa simplemente desaparece.

Una iteración más aterradora de ‘¿Dónde está Waldo?’, ya que Erase and Replace no logra producir un alienígena.

Erase and Replace parece ser un sistema de sustitución de objetos efectivo, con un excelente rellenado. Sin embargo, no puede editar objetos existentes percibidos, sino solo reemplazarlos. En realidad, alterar el contenido de una imagen existente sin comprometer el material ambiental es una tarea mucho más difícil, ligada a la lucha del sector de la visión por computadora hacia la desentanglement en los diferentes espacios latentes de los marcos populares.

Imagic

Es una tarea que Imagic aborda. El nuevo documento ofrece numerosos ejemplos de ediciones que modifican con éxito facetas individuales de una foto mientras dejan el resto de la imagen intacta.

En Imagic, las imágenes modificadas no sufren de estiramiento, distorsión y ‘conjetura de occlusión’ característicos de la marioneta de deepfake, que utiliza priores limitados derivados de una sola imagen.

El sistema emplea un proceso de tres etapas: optimización de incrustación de texto; ajuste fino del modelo; y, finalmente, la generación de la imagen modificada.

Imagic codifica la llamada de texto de destino para recuperar la incrustación de texto inicial, y luego optimiza el resultado para obtener la imagen de entrada. Después de eso, el modelo generativo se ajusta a la imagen de origen, agregando una serie de parámetros, antes de someterse a la interpolación solicitada.

No es de extrañar que el marco se base en la arquitectura de texto a video de Imagen de Google, aunque los investigadores afirman que los principios del sistema son ampliamente aplicables a modelos de difusión latentes.

Imagen utiliza una arquitectura de tres niveles, en lugar de la matriz de siete niveles utilizada para la iteración más reciente de texto a video del software. Los tres módulos distintos consisten en un modelo de difusión generativo que opera a una resolución de 64x64px; un modelo de super-resolución que escala esta salida a 256x256px; y un modelo de super-resolución adicional para llevar la salida hasta una resolución de 1024×1024.

Imagic interviene en la etapa más temprana de este proceso, optimizando la incrustación de texto solicitada en la etapa de 64px en un optimizador Adam con una tasa de aprendizaje estática de 0,0001.

Una clase magistral de desentanglement: aquellos que han intentado cambiar algo tan simple como el color de un objeto renderizado en una difusión, GAN o modelo NeRF sabrán lo significativo que es que Imagic pueda realizar tales transformaciones sin ‘desgarrar’ la coherencia del resto de la imagen.

El ajuste fino luego tiene lugar en el modelo base de Imagen, condicionado a la incrustación revisada, durante 1500 pasos por imagen de entrada. Al mismo tiempo, la capa secundaria de 64px a 256px se optimiza en paralelo en la imagen condicionada. Los investigadores señalan que una optimización similar para la capa final de 256px a 1024px tiene ‘poco o ningún efecto’ en los resultados finales, y por lo tanto no lo han implementado.

El documento establece que el proceso de optimización tarda aproximadamente ocho minutos por imagen en chips TPUV4 gemelos. El renderizado final tiene lugar en Imagen central bajo el esquema de muestreo DDIM.

Al igual que con procesos de ajuste fino similares para DreamBooth de Google, las incrustaciones resultantes pueden utilizarse adicionalmente para alimentar la estilización, así como ediciones fotorealistas que contienen información extraída de la base de datos subyacente más amplia que alimenta a Imagen (ya que, como muestra la primera columna a continuación, las imágenes de origen no tienen el contenido necesario para efectuar estas transformaciones).

Se pueden obtener movimientos y ediciones fotorealistas flexibles a través de Imagic, mientras que los códigos derivados y desentanglement obtenidos en el proceso se pueden utilizar igualmente para la salida estilizada.

Los investigadores compararon Imagic con trabajos anteriores SDEdit, un enfoque basado en GAN de 2021, una colaboración entre la Universidad de Stanford y la Universidad de Carnegie Mellon; y Text2Live, una colaboración, de abril de 2022, entre el Instituto de Ciencia Weizmann y NVIDIA.

Una comparación visual entre Imagic, SDEdit y Text2Live.

Está claro que los enfoques anteriores están luchando, pero en la fila inferior, que implica interjectar un cambio masivo de postura, los incumbentes fallan por completo para refigurar el material de origen, en comparación con un éxito notable de Imagic.

Los requisitos de recursos y el tiempo de entrenamiento por imagen de Imagic, aunque cortos según los estándares de tales empresas, lo hacen una inclusión poco probable en una aplicación de edición de imágenes local en computadoras personales: y no está claro hasta qué punto el proceso de ajuste fino podría reducirse a niveles de consumidor.

Como está, Imagic es una oferta impresionante que es más adecuada para las API: un entorno en el que Google Research, temeroso de la crítica por facilitar el deepfaking, puede estar más cómodo en cualquier caso.

En cuanto a qué