En los últimos años, los modelos de difusión basados en ajuste han demostrado un progreso notable en una amplia variedad de tareas de personalización y customización de imágenes. Sin embargo, a pesar de su potencial, los modelos de difusión basados en ajuste actuales siguen enfrentando una serie de desafíos complejos para producir y generar imágenes coherentes en términos de estilo, y puede que haya tres razones detrás de esto. Primero, el concepto de estilo sigue siendo ampliamente indefinido y no determinado, y comprende una combinación de elementos que incluyen atmósfera, estructura, diseño, material, color y mucho más. Segundo, los métodos basados en inversión son propensos a la degradación del estilo, lo que resulta en la pérdida frecuente de detalles finos. Finalmente, los enfoques basados en adaptadores requieren un ajuste frecuente de pesos para cada imagen de referencia para mantener un equilibrio entre la controlabilidad del texto y la intensidad del estilo.

Además, el objetivo principal de la mayoría de los enfoques de transferencia de estilo o generación de imágenes de estilo es utilizar la imagen de referencia y aplicar su estilo específico de un subconjunto dado o imagen de referencia a una imagen de contenido objetivo. Sin embargo, es el gran número de atributos de estilo lo que hace que el trabajo sea difícil para los investigadores para recopilar conjuntos de datos estilizados, representar el estilo correctamente y evaluar el éxito de la transferencia. Anteriormente, los modelos y marcos que tratan con el proceso de difusión basado en ajuste, ajustan el conjunto de datos de imágenes que comparten un estilo común, un proceso que es tanto tiempo-consuming como con una generalización limitada en tareas del mundo real, ya que es difícil reunir un subconjunto de imágenes que compartan el mismo o casi idéntico estilo.

En este artículo, hablaremos sobre InstantStyle, un marco diseñado con el objetivo de abordar los problemas que enfrentan los modelos de difusión basados en ajuste actuales para la generación y personalización de imágenes. Hablaremos sobre las dos estrategias clave implementadas por el marco de InstantStyle:

1. Un enfoque simple pero efectivo para desacoplar el estilo y el contenido de las imágenes de referencia dentro del espacio de características, predicho sobre la suposición de que las características dentro del mismo espacio de características pueden ser adicionadas o sustraídas entre sí.
2. Prevenir las fugas de estilo al inyectar las características de la imagen de referencia exclusivamente en los bloques específicos de estilo, y evitar deliberadamente la necesidad de utilizar pesos engorrosos para el ajuste, que a menudo caracterizan diseños más pesados en términos de parámetros.

Este artículo tiene como objetivo cubrir el marco de InstantStyle en profundidad, y exploraremos el mecanismo, la metodología, la arquitectura del marco, así como su comparación con los marcos de estado del arte. También hablaremos sobre cómo el marco de InstantStyle demuestra resultados visuales de estilización notables, y logra un equilibrio óptimo entre la controlabilidad de los elementos textuales y la intensidad del estilo. Así que comencemos.

InstantStyle: Preservación de Estilo en la Generación de Imágenes de Texto

Los marcos de generación de imágenes de texto basados en difusión han logrado un éxito notable en una amplia variedad de tareas de personalización y customización, particularmente en tareas de generación de imágenes coherentes, incluyendo la personalización de objetos, la preservación de imágenes y la transferencia de estilo. Sin embargo, a pesar del reciente éxito y aumento en el rendimiento, la transferencia de estilo sigue siendo una tarea desafiante para los investigadores, debido a la naturaleza no determinada y no definida del estilo, que a menudo incluye una variedad de elementos, incluyendo atmósfera, estructura, diseño, material, color y mucho más. Con eso dicho, el objetivo principal de la generación de imágenes de estilo o la transferencia de estilo es aplicar el estilo específico de una imagen de referencia dada o un subconjunto de imágenes de referencia a la imagen de contenido objetivo. Sin embargo, el gran número de atributos de estilo hace que el trabajo sea difícil para los investigadores para recopilar conjuntos de datos estilizados, representar el estilo correctamente y evaluar el éxito de la transferencia. Anteriormente, los modelos y marcos que tratan con el proceso de difusión basado en ajuste, ajustan el conjunto de datos de imágenes que comparten un estilo común, un proceso que es tanto tiempo-consuming como con una generalización limitada en tareas del mundo real, ya que es difícil reunir un subconjunto de imágenes que compartan el mismo o casi idéntico estilo.

Con los desafíos que enfrenta el enfoque actual, los investigadores han tomado interés en desarrollar enfoques de ajuste para la transferencia de estilo o la generación de imágenes de estilo, y estos marcos se pueden dividir en dos grupos diferentes:

• Enfoques sin adaptador: Los enfoques sin adaptador y los marcos aprovechan el poder de la autoatención dentro del proceso de difusión, y al implementar una operación de atención compartida, estos modelos son capaces de extraer características esenciales, incluyendo claves y valores de las imágenes de estilo de referencia dadas directamente.

• Enfoques basados en adaptador: Los enfoques basados en adaptador y los marcos, por otro lado, incorporan un modelo ligero diseñado para extraer representaciones de imagen detalladas de las imágenes de estilo de referencia. El marco luego integra estas representaciones en el proceso de difusión de manera hábil, utilizando mecanismos de atención cruzada. El objetivo principal del proceso de integración es guiar el proceso de generación y asegurarse de que la imagen resultante esté alineada con las nuances estilísticas deseadas de la imagen de referencia.

Sin embargo, a pesar de las promesas, los métodos sin ajuste a menudo enfrentan algunos desafíos. Primero, el enfoque sin adaptador requiere un intercambio de claves y valores dentro de las capas de autoatención, y precaptura las matrices de claves y valores derivadas de las imágenes de estilo de referencia. Cuando se implementa en imágenes naturales, el enfoque sin adaptador requiere la inversión de la imagen hacia el ruido latente utilizando técnicas como DDIM o modelos de difusión implícitos de ruido. Sin embargo, el uso de DDIM o otros enfoques de inversión puede resultar en la pérdida de detalles finos como el color y la textura, lo que disminuye la información de estilo en las imágenes generadas. Además, el paso adicional introducido por estos enfoques es un proceso tiempo-consuming y puede suponer desventajas significativas en aplicaciones prácticas. Por otro lado, el desafío principal para los métodos basados en adaptador radica en lograr el equilibrio adecuado entre la fuga de contexto y la intensidad del estilo. La fuga de contenido ocurre cuando un aumento en la intensidad del estilo resulta en la aparición de elementos no estilísticos de la imagen de referencia en la salida generada, con el punto principal de dificultad siendo separar estilos de contenido dentro de la imagen de referencia de manera efectiva. Para abordar este problema, algunos marcos construyen conjuntos de datos emparejados que representan el mismo objeto en diferentes estilos, facilitando la extracción de la representación de contenido y estilos desacoplados. Sin embargo, gracias a la representación inherentemente no determinada del estilo, la tarea de crear conjuntos de datos emparejados a gran escala es limitada en términos de la diversidad de estilos que puede capturar, y es un proceso intensivo en recursos.

Para abordar estas limitaciones, se introduce el marco de InstantStyle, que es un mecanismo sin ajuste novel basado en métodos basados en adaptador existentes, con la capacidad de integrarse de manera transparente con otros métodos de inyección basados en atención, y lograr la desacoplación efectiva del contenido y el estilo. Además, el marco de InstantStyle introduce no uno, sino dos métodos efectivos para completar la desacoplación del estilo y el contenido, logrando una mejor migración de estilo sin necesidad de introducir métodos adicionales para lograr la desacoplación o construir conjuntos de datos emparejados.

Además, los marcos de adaptador anteriores han sido utilizados ampliamente en los métodos basados en CLIP como extractores de características de imagen, algunos marcos han explorado la posibilidad de implementar la desacoplación de características dentro del espacio de características, y cuando se compara con la indeterminación del estilo, es más fácil describir el contenido con texto. Dado que las imágenes y los textos comparten un espacio de características en los métodos basados en CLIP, una simple operación de resta de las características del texto de contexto y las características de la imagen puede reducir significativamente la fuga de contenido. Además, en la mayoría de los modelos de difusión, hay una capa particular en su arquitectura que inyecta la información de estilo, y logra la desacoplación del contenido y el estilo al inyectar las características de la imagen solo en bloques de estilo específicos. Al implementar estas dos estrategias simples, el marco de InstantStyle es capaz de resolver los problemas de fuga de contenido que enfrentan la mayoría de los marcos existentes, mientras mantiene la fuerza del estilo.

En resumen, el marco de InstantStyle emplea dos mecanismos simples, directos y efectivos para lograr una desacoplación efectiva del contenido y el estilo de las imágenes de referencia. El marco de InstantStyle es un enfoque independiente del modelo y sin ajuste que demuestra un rendimiento notable en tareas de transferencia de estilo, con un gran potencial para tareas posteriores.

Instant-Style: Metodología y Arquitectura

Como se ha demostrado por los enfoques anteriores, hay un equilibrio en la inyección de condiciones de estilo en los modelos de difusión sin ajuste. Si la intensidad de la condición de imagen es demasiado alta, puede resultar en fuga de contenido, mientras que si la intensidad de la condición de imagen disminuye demasiado, el estilo puede no ser lo suficientemente obvio. Una razón principal detrás de esta observación es que en una imagen, el estilo y el contenido están interconectados, y debido a los atributos de estilo inherentemente no determinados, es difícil desacoplar el estilo y la intención. Como resultado, se ajustan pesos meticulosos para cada imagen de referencia en un intento de equilibrar la controlabilidad del texto y la fuerza del estilo. Además, para una imagen de referencia dada y su descripción de texto correspondiente en los métodos basados en inversión, se adoptan enfoques de inversión como DDIM sobre la imagen para obtener la trayectoria de difusión invertida, un proceso que aproxima la ecuación de inversión para transformar una imagen en una representación de ruido latente. A partir de esto, y comenzando desde la trayectoria de difusión invertida junto con un nuevo conjunto de prompts, estos métodos generan nuevo contenido con su estilo alineado con la entrada. Sin embargo, como se muestra en la siguiente figura, el enfoque de inversión DDIM para imágenes reales es a menudo inestable, ya que se basa en suposiciones de linearización local, lo que resulta en la propagación de errores y conduce a la pérdida de contenido y la reconstrucción incorrecta de la imagen.

En cuanto a la metodología, en lugar de emplear estrategias complejas para desacoplar el contenido y el estilo de las imágenes, el marco de InstantStyle toma el enfoque más simple para lograr un rendimiento similar. En comparación con los atributos de estilo no determinados, el contenido puede ser representado por texto natural, lo que permite al marco de InstantStyle utilizar el codificador de texto de CLIP para extraer las características del texto de contenido como representaciones de contexto. Al mismo tiempo, el marco de InstantStyle implementa el codificador de imagen de CLIP para extraer las características de la imagen de referencia. Aprovechando la caracterización de las características globales de CLIP, y restando las características del texto de contenido de las características de la imagen, el marco de InstantStyle es capaz de desacoplar el estilo y el contenido explícitamente. Aunque es una estrategia simple, ayuda al marco de InstantStyle a ser bastante efectivo para mantener la fuga de contenido al mínimo.

Además, cada capa dentro de una red profunda es responsable de capturar información semántica diferente, y la observación clave de los modelos anteriores es que existen dos capas de atención que son responsables de manejar el estilo. En particular, son las capas blocks.0.attentions.1 y down blocks.2.attentions.1 que capturan el estilo como el color, el material, la atmósfera, y la capa de disposición espacial que capta la estructura y la composición, respectivamente. El marco de InstantStyle utiliza estas capas implícitamente para extraer la información de estilo, y evita la fuga de contenido sin perder la fuerza del estilo. La estrategia es simple pero efectiva, ya que el modelo ha localizado los bloques de estilo que pueden inyectar las características de la imagen en estos bloques para lograr una transferencia de estilo sin problemas. Además, dado que el modelo reduce significativamente el número de parámetros del adaptador, la capacidad de control del texto del marco se ve mejorada, y el mecanismo también es aplicable a otros modelos de inyección de características basados en atención para edición y otras tareas.

Instant-Style: Experimentos y Resultados

El marco de InstantStyle se implementa en el marco de Stable Diffusion XL, y utiliza el adaptador IR preentrenado como su ejemplo para validar su metodología, y silencia todos los bloques excepto los bloques de estilo para las características de la imagen. El modelo de InstantStyle también entrena el adaptador IR en 4 millones de conjuntos de datos de texto e imagen emparejados a gran escala desde cero, y en lugar de entrenar todos los bloques, solo actualiza los bloques de estilo.

Para realizar sus capacidades de generalización y robustez, el marco de InstantStyle lleva a cabo numerosos experimentos de transferencia de estilo con diferentes estilos en contenido variado, y los resultados se pueden observar en las siguientes imágenes. Dada una sola imagen de referencia de estilo junto con prompts variables, el marco de InstantStyle entrega una generación de imágenes de alta calidad y estilo coherente.

Además, dado que el modelo inyecta información de imagen solo en los bloques de estilo, es capaz de mitigar significativamente el problema de fuga de contenido, y por lo tanto, no necesita realizar ajustes de peso.

Continuando, el marco de InstantStyle también adopta la arquitectura de ControlNet para lograr la estilización de imágenes con control espacial, y los resultados se demuestran en la siguiente imagen.

En comparación con los métodos de estado del arte anteriores, incluyendo StyleAlign, B-LoRA, Swapping Self Attention y IP-Adapter, el marco de InstantStyle demuestra los mejores efectos visuales.

Pensamientos Finales

En este artículo, hemos hablado sobre InstantStyle, un marco general que emplea dos estrategias simples pero efectivas para lograr una desacoplación efectiva del contenido y el estilo de las imágenes de referencia. El marco de InstantStyle está diseñado con el objetivo de abordar los problemas que enfrentan los modelos de difusión basados en ajuste actuales para la generación y personalización de imágenes. El marco de InstantStyle implementa dos estrategias vitales: un enfoque simple pero efectivo para desacoplar el estilo y el contenido de las imágenes de referencia dentro del espacio de características, predicho sobre la suposición de que las características dentro del mismo espacio de características pueden ser adicionadas o sustraídas entre sí. Segundo, prevenir las fugas de estilo al inyectar las características de la imagen de referencia exclusivamente en los bloques específicos de estilo, y evitar deliberadamente la necesidad de utilizar pesos engorrosos para el ajuste, que a menudo caracterizan diseños más pesados en términos de parámetros.