La tecnología de generación de imágenes basada en inteligencia artificial ha experimentado un crecimiento notable en los últimos años, desde que los modelos de difusión de texto a imagen como DALL-E, GLIDE, Stable Diffusion, Imagen y más han irrumpido en la escena. A pesar de que los modelos de generación de imágenes de inteligencia artificial tienen arquitecturas y métodos de entrenamiento únicos, todos comparten un punto focal común: la generación de imágenes personalizadas y personalizadas que apuntan a crear imágenes con un carácter ID, sujeto y estilo consistentes en función de las imágenes de referencia. Debido a sus notables capacidades generativas, los marcos de inteligencia artificial de generación de imágenes modernos han encontrado aplicaciones en campos que incluyen la animación de imágenes, la realidad virtual, el comercio electrónico, los retratos de inteligencia artificial y más. Sin embargo, a pesar de sus notables capacidades generativas, estos marcos todos comparten un obstáculo común, la mayoría de ellos no pueden generar imágenes personalizadas mientras preservan los delicados detalles de identidad de los objetos humanos.

Generar imágenes personalizadas mientras se preservan los detalles intrincados es de importancia crítica, especialmente en tareas de identidad facial que requieren un alto estándar de fidelidad y detalle, y semántica sutil en comparación con las tareas de generación de imágenes de objetos generales que se concentran principalmente en texturas y colores granulares. Además, los marcos de síntesis de imágenes personalizadas en los últimos años, como LoRA, DreamBooth, Textual Inversion y más, han avanzado significativamente. Sin embargo, los modelos de generación de imágenes personalizadas de inteligencia artificial aún no son perfectos para su implementación en escenarios del mundo real, ya que tienen un alto requisito de almacenamiento, requieren múltiples imágenes de referencia y a menudo tienen un proceso de ajuste fino prolongado. Por otro lado, aunque los métodos basados en la incrustación de ID existentes requieren solo una referencia única, o bien carecen de compatibilidad con modelos preentrenados disponibles públicamente, o requieren un proceso de ajuste fino excesivo en numerosos parámetros, o no logran mantener una alta fidelidad facial.

Para abordar estos desafíos y mejorar aún más las capacidades de generación de imágenes, en este artículo hablaremos sobre InstantID, una solución basada en el modelo de difusión para la generación de imágenes. InstantID es un módulo de plug and play que maneja la generación de imágenes y la personalización con habilidad en varios estilos con solo una imagen de referencia y también garantiza una alta fidelidad. El objetivo principal de este artículo es proporcionar a nuestros lectores una comprensión exhaustiva de los fundamentos técnicos y componentes del marco de InstantID, ya que tendremos una visión detallada de la arquitectura del modelo, el proceso de entrenamiento y los escenarios de aplicación. Así que comencemos.

InstantID: Generación de Imágenes de Preservación de Identidad de Zero-Shot

El surgimiento de los modelos de difusión de texto a imagen ha contribuido significativamente al avance de la tecnología de generación de imágenes. El objetivo principal de estos modelos es la generación personalizada y personal, y la creación de imágenes con un sujeto, estilo y carácter ID consistentes utilizando una o más imágenes de referencia. La capacidad de estos marcos para crear imágenes consistentes ha creado aplicaciones potenciales en diferentes industrias, incluyendo la animación de imágenes, la generación de retratos de inteligencia artificial, el comercio electrónico, la realidad virtual y aumentada, y mucho más.

Sin embargo, a pesar de sus notables capacidades, estos marcos enfrentan un desafío fundamental: a menudo luchan por generar imágenes personalizadas que preserven los detalles intrincados de los sujetos humanos con precisión. Es digno de destacar que generar imágenes personalizadas con detalles intrincados es una tarea desafiante, ya que la identidad facial requiere un grado más alto de fidelidad y detalle, junto con una semántica más avanzada en comparación con los objetos generales o estilos que se centran principalmente en colores o texturas granulares. Los modelos de texto a imagen existentes dependen de descripciones textuales detalladas y luchan por lograr una fuerte relevancia semántica para la generación de imágenes personalizadas. Además, algunos marcos de texto a imagen preentrenados agregan controles de acondicionamiento espacial para mejorar la controlabilidad, facilitando el control estructural fino utilizando elementos como poses corporales, mapas de profundidad, bocetos dibujados por el usuario, mapas de segmentación semántica y más. Sin embargo, a pesar de estas adiciones y mejoras, estos marcos solo logran una fidelidad parcial de la imagen generada con respecto a la imagen de referencia.

Para superar estos obstáculos, el marco de InstantID se centra en la síntesis de imágenes de preservación de identidad instantánea y trata de cerrar la brecha entre la eficiencia y la alta fidelidad introduciendo un módulo de plug and play simple que permite al marco manejar la personalización de imágenes utilizando solo una imagen facial y manteniendo una alta fidelidad. Además, para preservar la identidad facial de la imagen de referencia, el marco de InstantID implementa un codificador de rostro novel que retiene los detalles de la imagen intrincados agregando condiciones espaciales débiles y condiciones semánticas fuertes que guían el proceso de generación de imágenes incorporando prompts textuales, imágenes de referencia y faciales.

Hay tres características distintivas que separan el marco de InstantID de los marcos de generación de imágenes de texto a imagen existentes.

• Compatibilidad y Conectividad: En lugar de entrenar en los parámetros completos del marco de UNet, el marco de InstantID se centra en entrenar un adaptador ligero. Como resultado, el marco de InstantID es compatible y conectable con modelos preentrenados existentes.

• Ajuste Libre: La metodología del marco de InstantID elimina la necesidad de ajuste fino, ya que solo necesita una propagación hacia adelante única para la inferencia, lo que hace que el modelo sea altamente práctico y económico para el ajuste fino.
• Rendimiento Superior: El marco de InstantID demuestra una alta flexibilidad y fidelidad, ya que es capaz de entregar un rendimiento de vanguardia utilizando solo una imagen de referencia, comparable a los métodos basados en el entrenamiento que dependen de múltiples imágenes de referencia.

En general, las contribuciones del marco de InstantID se pueden categorizar en los siguientes puntos.

1. El marco de InstantID es un método innovador de adaptación de preservación de ID para modelos de difusión de texto a imagen preentrenados, con el objetivo de cerrar la brecha entre la eficiencia y la fidelidad.
2. El marco de InstantID es compatible y conectable con modelos personalizados ajustados con el mismo modelo de difusión en su arquitectura, lo que permite la preservación de ID en modelos preentrenados sin costo adicional.

InstantID: Metodología y Arquitectura

Como se mencionó anteriormente, el marco de InstantID es un adaptador ligero eficiente que dota a los modelos de difusión de texto a imagen preentrenados con capacidades de preservación de ID sin esfuerzo.

Hablando de la arquitectura, el marco de InstantID se basa en el modelo de Stable Diffusion, conocido por su capacidad para realizar el proceso de difusión con una alta eficiencia computacional en un espacio latente de baja dimensión en lugar de espacio de píxeles con un autoencoder. Para una imagen de entrada, el codificador primero mapea la imagen a una representación latente con un factor de muestreo y dimensiones latentes. Además, para desenoizar un ruido normalmente distribuido con ruido latente, condición y tiempo de paso actual, el proceso de difusión adopta un componente de UNet de desenoización. La condición es una incrustación de prompts textuales que se generan utilizando un codificador de texto CLIP preentrenado.

Además, el marco de InstantID también utiliza un componente de ControlNet que es capaz de agregar control espacial a un modelo de difusión preentrenado como su condición, extendiéndose más allá de las capacidades tradicionales de los prompts textuales. El componente de ControlNet también integra la arquitectura de UNet del marco de Stable Diffusion utilizando una réplica entrenada del componente de UNet. La réplica del componente de UNet cuenta con cero capas de convolución en los bloques intermedios y los bloques del codificador. A pesar de sus similitudes, el componente de ControlNet se distingue del modelo de Stable Diffusion; ambos difieren en el último elemento residual. El componente de ControlNet codifica información de condición espacial como poses, mapas de profundidad, bocetos y más agregando los residuos a los bloques de UNet, y luego incrusta estos residuos en la red original.

El marco de InstantID también se inspira en el IP-Adapter o Adaptador de Imagen, que introduce un enfoque novel para lograr capacidades de prompt de imagen que funcionan en paralelo con los prompts textuales sin requerir modificar los modelos de texto a imagen originales. El componente de IP-Adapter también emplea una estrategia de atención cruzada desacoplada que utiliza capas de atención cruzada adicionales para incrustar las características de la imagen, dejando los demás parámetros sin cambios.

Metodología

Para darte una visión general, el marco de InstantID apunta a generar imágenes personalizadas con diferentes estilos o poses utilizando solo una imagen de referencia con alta fidelidad. La siguiente figura proporciona una visión general del marco de InstantID.

Como se puede observar, el marco de InstantID tiene tres componentes esenciales:

1. Un componente de incrustación de ID que captura información semántica robusta de las características faciales en la imagen.
2. Un módulo adaptado ligero con un componente de atención cruzada desacoplada para facilitar el uso de una imagen como un prompt visual.
3. Un componente de IdentityNet que codifica las características detalladas de la imagen de referencia utilizando un control espacial adicional.

Incrustación de ID

A diferencia de los métodos existentes como FaceStudio, PhotoMaker, IP-Adapter y más que dependen de un codificador de imagen CLIP preentrenado para extraer prompts visuales, el marco de InstantID se centra en una fidelidad mejorada y detalles semánticos más fuertes en la tarea de preservación de ID. Es digno de destacar que las limitaciones inherentes del componente de CLIP radican principalmente en su proceso de entrenamiento en datos débilmente alineados, lo que significa que las características codificadas del codificador de CLIP capturan principalmente información semántica amplia y ambigua como colores, estilo y composición. Aunque estas características pueden actuar como un suplemento general para las incrustaciones de texto, no son adecuadas para tareas de preservación de ID precisas que enfatizan la semántica fuerte y la alta fidelidad. Además, la investigación reciente en modelos de representación facial, especialmente en torno al reconocimiento facial, ha demostrado la eficiencia de la representación facial en tareas complejas que incluyen la reconstrucción y el reconocimiento facial. Basándose en lo mismo, el marco de InstantID apunta a aprovechar un modelo de rostro preentrenado para detectar y extraer incrustaciones de ID de la imagen de referencia, guiando el modelo para la generación de imágenes.

Adaptador de Imagen

La capacidad de los modelos de difusión de texto a imagen preentrenados en tareas de prompt de imagen mejora significativamente los prompts textuales, especialmente para escenarios que no se pueden describir adecuadamente con los prompts textuales. El marco de InstantID adopta una estrategia similar a la utilizada por el modelo de IP-Adapter para el prompt de imagen, que introduce un módulo adaptado ligero emparejado con un componente de atención cruzada desacoplada para admitir imágenes como prompts de entrada. Sin embargo, contrario a las incrustaciones de CLIP alineadas grosamente, el marco de InstantID se desvía al emplear incrustaciones de ID como los prompts de imagen en un intento de lograr una integración de prompt más rica y matizada semánticamente.

IdentityNet

Aunque los métodos existentes pueden integrar los prompts de imagen con los prompts textuales, el marco de InstantID argumenta que estos métodos solo mejoran las características granulares con un nivel de integración que es insuficiente para la generación de imágenes de preservación de ID. Además, agregar los tokens de imagen y texto en capas de atención cruzada directamente tiende a debilitar el control de los tokens de texto, y un intento de mejorar la fuerza de los tokens de imagen podría resultar en dañar las capacidades de los tokens de texto en tareas de edición. Para contrarrestar estos desafíos, el marco de InstantID opta por ControlNet, un método de incrustación de características alternativo que utiliza información espacial como entrada para el módulo controlable, lo que permite mantener la consistencia con la configuración de UNet en los modelos de difusión.

El marco de InstantID realiza dos cambios en la arquitectura de ControlNet tradicional: para las entradas condicionales, el marco de InstantID opta por 5 puntos clave faciales en lugar de puntos clave faciales de OpenPose granulares. En segundo lugar, el marco de InstantID utiliza incrustaciones de ID en lugar de prompts textuales como condiciones para las capas de atención cruzada en la arquitectura de ControlNet.

Entrenamiento y Inferencia

Durante la fase de entrenamiento, el marco de InstantID optimiza los parámetros de IdentityNet y el Adaptador de Imagen mientras congela los parámetros del modelo de difusión preentrenado. La línea de InstantID completa se entrena en pares de imagen-texto que presentan sujetos humanos y emplea un objetivo de entrenamiento similar al utilizado en el marco de difusión estable con condiciones de imagen específicas de la tarea. El aspecto destacado del método de entrenamiento de InstantID es la separación entre las capas de atención cruzada de imagen y texto dentro del adaptador de prompt de imagen, una elección que permite al marco de InstantID ajustar los pesos de estas condiciones de imagen de manera flexible e independiente, lo que garantiza un proceso de inferencia y entrenamiento más dirigido y controlado.

InstantID: Experimentos y Resultados

El marco de InstantID implementa el modelo de Stable Diffusion y lo entrena en LAION-Face, un conjunto de datos de gran escala y abierto que consiste en más de 50 millones de pares de imagen-texto. Además, el marco de InstantID recopila más de 10 millones de imágenes humanas con automatización generadas automáticamente por el modelo de BLIP2 para mejorar aún más la calidad de la generación de imágenes. El marco de InstantID se centra principalmente en imágenes de una sola persona y emplea un modelo de rostro preentrenado para detectar y extraer incrustaciones de ID de las imágenes humanas, y en lugar de entrenar los conjuntos de datos de rostros recortados, entrena las imágenes humanas originales. Además, durante el entrenamiento, el marco de InstantID congela el modelo de texto a imagen preentrenado y solo actualiza los parámetros de IdentityNet y el Adaptador de Imagen.

Generación de Imágenes Solo

El modelo de InstantID utiliza un prompt vacío para guiar el proceso de generación de imágenes utilizando solo la imagen de referencia, y los resultados sin los prompts se demuestran en la siguiente imagen.

La generación de ‘Prompt Vacío’ como se demuestra en la imagen anterior muestra la capacidad del marco de InstantID para mantener características faciales semánticas ricas como la identidad, la edad y la expresión de manera robusta. Sin embargo, es digno de destacar que utilizar prompts vacíos puede no ser capaz de replicar los resultados en otras semánticas como el género con precisión. Además, en la imagen anterior, las columnas 2 a 4 utilizan una imagen y un prompt, y como se puede ver, la imagen generada no demuestra una degradación en las capacidades de control de texto, y también garantiza la consistencia de la identidad. Finalmente, las columnas 5 a 9 utilizan una imagen, un prompt y un control espacial, demostrando la compatibilidad del modelo con los modelos de control espacial preentrenados, lo que permite al modelo de InstantID introducir controles espaciales de manera flexible utilizando un componente de ControlNet preentrenado.

También es digno de destacar que la cantidad de imágenes de referencia tiene un impacto significativo en la imagen generada, como se demuestra en la imagen anterior. Aunque el marco de InstantID es capaz de entregar buenos resultados utilizando una sola imagen de referencia, múltiples imágenes de referencia producen una imagen de mejor calidad, ya que el marco de InstantID toma el promedio de las incrustaciones de ID como prompt de imagen. Continuando, es esencial comparar el marco de InstantID con los métodos anteriores que generan imágenes personalizadas utilizando una sola imagen de referencia. La siguiente figura compara los resultados generados por el marco de InstantID y los modelos de vanguardia existentes para la generación de imágenes personalizadas con una sola referencia.

Como se puede ver, el marco de InstantID es capaz de preservar las características faciales gracias a que la incrustación de ID inherentemente lleva información semántica rica, como la identidad, la edad y el género. Sería seguro decir que el marco de InstantID supera a los marcos existentes en la generación de imágenes personalizadas, ya que es capaz de preservar la identidad humana mientras mantiene el control y la flexibilidad estilística.

Pensamientos Finales

En este artículo, hemos hablado sobre InstantID, una solución basada en el modelo de difusión para la generación de imágenes. InstantID es un módulo de plug and play que maneja la generación de imágenes y la personalización con habilidad en varios estilos con solo una imagen de referencia y también garantiza una alta fidelidad. El marco de InstantID se centra en la síntesis de imágenes de preservación de identidad instantánea y trata de cerrar la brecha entre la eficiencia y la alta fidelidad introduciendo un módulo de plug and play simple que permite al marco manejar la personalización de imágenes utilizando solo una imagen facial y manteniendo una alta fidelidad.