En el mundo de la Inteligencia Artificial Generativa, mantenerse al día con lo último es el nombre del juego. Y cuando se trata de generar imágenes, Stable Diffusion y Midjourney eran las plataformas de las que todo el mundo hablaba – hasta ahora.
OpenAI, respaldada por el gigante tecnológico Microsoft, presentó DALL·E 3 el 20 de septiembre de 2023.
DALL-E 3 no se trata solo de crear imágenes; se trata de dar vida a tus ideas, tal como las imaginaste. Y lo mejor de todo es que es rápido, como realmente rápido. Tienes una idea, se la das a DALL-E 3 y listo, tu imagen está lista.
Así que, en este artículo, vamos a sumergirnos profundamente en lo que es DALL-E 3. Hablaremos de cómo funciona, qué lo diferencia del resto y por qué puede ser la herramienta que no sabías que necesitabas. Ya sea que seas un diseñador, un artista o simplemente alguien con muchas ideas geniales, vas a querer quedarte por aquí. Empecemos.
Lo nuevo con DALL·E 3 es que entiende el contexto mucho mejor que DALL·E 2. Las versiones anteriores podrían haber perdido algunos detalles o ignorado algunos detalles aquí y allá, pero DALL·E 3 es preciso. Se da cuenta de los detalles exactos de lo que estás pidiendo, dándote una imagen que se acerca a lo que imaginaste.
La parte divertida! DALL·E 3 y ChatGPT ahora están integrados. Trabajan juntos para ayudar a refinar tus ideas. Le das un concepto, ChatGPT ayuda a afinar la solicitud y DALL·E 3 lo lleva a la vida. Si no te gusta la imagen, puedes pedirle a ChatGPT que ajuste la solicitud y que DALL·E 3 intente de nuevo. Por una tarifa mensual de 20$, tienes acceso a GPT-4, DALL·E 3 y muchas otras características geniales.
El Bing Chat de Microsoft obtuvo DALL·E 3 incluso antes de que lo hiciera el ChatGPT de OpenAI, y ahora no es solo para las grandes empresas, sino que todos pueden jugar con él de forma gratuita. La integración en Bing Chat y Bing Image Creator lo hace mucho más fácil de usar para cualquier persona.
El auge de los modelos de difusión
En los últimos 3 años, la inteligencia artificial visual ha presenciado el auge de los modelos de difusión, dando un gran salto adelante, especialmente en la generación de imágenes. Antes de los modelos de difusión, las Redes Adversarias Generativas (GANs) eran la tecnología para generar imágenes realistas.
GANs
Sin embargo, tenían sus propios desafíos, incluyendo la necesidad de grandes cantidades de datos y potencia computacional, lo que a menudo los hacía difíciles de manejar.
Entonces, llegan los modelos de difusión. Emergieron como una alternativa más estable y eficiente a las GANs. A diferencia de las GANs, los modelos de difusión operan agregando ruido a los datos, ocultándolos hasta que solo queda aleatoriedad. Luego, trabajan hacia atrás para revertir este proceso, reconstruyendo datos significativos a partir del ruido. Este proceso ha demostrado ser efectivo y menos intensivo en recursos, lo que hace que los modelos de difusión sean un tema candente en la comunidad de inteligencia artificial.
El verdadero punto de inflexión llegó alrededor de 2020, con una serie de artículos innovadores y la introducción de la tecnología CLIP de OpenAI, que avanzó significativamente las capacidades de los modelos de difusión. Esto hizo que los modelos de difusión fueran excepcionalmente buenos en la síntesis de texto a imagen, permitiéndoles generar imágenes realistas a partir de descripciones textuales. Estos avances no se limitaron solo a la generación de imágenes, sino que también se extendieron a campos como la composición musical y la investigación biomédica.
Hoy en día, los modelos de difusión no son solo un tema de interés académico, sino que también se están utilizando en escenarios prácticos y del mundo real.
Modelado generativo y capas de autoatención: DALL-E 3
Una de las avanzadas críticas en este campo ha sido la evolución del modelado generativo, con enfoques basados en muestreo como el modelado generativo autoregresivo y los procesos de difusión liderando el camino. Han transformado los modelos de texto a imagen, lo que ha llevado a mejoras significativas en el rendimiento. Al descomponer la generación de imágenes en pasos discretos, estos modelos se han vuelto más tratables y fáciles de aprender para las redes neuronales.
En paralelo, el uso de capas de autoatención ha jugado un papel crucial. Estas capas, apiladas, han ayudado a generar imágenes sin la necesidad de sesgos espaciales implícitos, un problema común con las convoluciones. Este cambio ha permitido que los modelos de texto a imagen escalen y mejoren de manera confiable, gracias a las bien entendidas propiedades de escalabilidad de los transformadores.
Desafíos y soluciones en la generación de imágenes
A pesar de estos avances, la controlabilidad en la generación de imágenes sigue siendo un desafío. Problemas como el seguimiento de la solicitud, donde el modelo puede no adherirse estrechamente al texto de entrada, han sido comunes. Para abordar esto, se han propuesto nuevos enfoques como la mejora de la descripción, destinados a mejorar la calidad de los pares de texto e imagen en los conjuntos de datos de entrenamiento.
Mejora de la descripción: Un enfoque novedoso
La mejora de la descripción implica generar descripciones de mejor calidad para las imágenes, lo que a su vez ayuda a entrenar modelos de texto a imagen más precisos. Esto se logra a través de un descriptor de imágenes robusto que produce descripciones detalladas y precisas de las imágenes. Al entrenar con estas descripciones mejoradas, DALL-E 3 ha logrado resultados notables, muy similares a fotografías y obras de arte producidas por humanos.
Entrenamiento con datos sintéticos
El concepto de entrenamiento con datos sintéticos no es nuevo. Sin embargo, la contribución única aquí es la creación de un sistema de descripción de imágenes novedoso y descriptivo. El impacto de utilizar descripciones sintéticas para entrenar modelos generativos ha sido sustancial, lo que ha llevado a mejoras en la capacidad del modelo para seguir las solicitudes con precisión.
Evaluación de DALL-E 3
A través de múltiples evaluaciones y comparaciones con modelos anteriores como DALL-E 2 y Stable Diffusion XL, DALL-E 3 ha demostrado un rendimiento superior, especialmente en tareas relacionadas con el seguimiento de la solicitud.
Comparación de modelos de texto a imagen en varias evaluaciones
El uso de evaluaciones automatizadas y benchmarks ha proporcionado evidencia clara de sus capacidades, consolidando su posición como un generador de texto a imagen de vanguardia.
Solicitudes y habilidades de DALL-E 3
DALL-E 3 ofrece un enfoque más lógico y refinado para crear visuales. A medida que desplazas, notarás cómo DALL-E crea cada imagen, con una mezcla de precisión y imaginación que resuena con la solicitud dada.
A diferencia de su predecesor, esta versión mejorada sobresale en la organización de objetos de manera natural dentro de una escena y en la representación de características humanas con precisión, hasta el número correcto de dedos en una mano. Las mejoras se extienden a detalles más finos y ahora están disponibles en una resolución más alta, lo que garantiza una salida más realista y profesional.
Las capacidades de renderizado de texto también han mejorado sustancialmente. Donde las versiones anteriores de DALL-E producían texto sin sentido, DALL-E 3 puede generar texto legible y estilizado profesionalmente (a veces), e incluso logotipos limpios en ocasiones.
La comprensión del modelo de solicitudes de imagen complejas y matizadas ha mejorado significativamente. DALL-E 3 puede seguir descripciones detalladas con precisión, incluso en escenarios con múltiples elementos y instrucciones específicas, demostrando su capacidad para producir imágenes coherentes y bien compuestas. Veamos algunas solicitudes y la salida que obtuvimos:
Diseña el embalaje para una línea de tés orgánicos. Incluye espacio para el nombre del producto y la descripción.
Imágenes de DALL-E 3 basadas en solicitudes de texto (Nota que el póster de la izquierda tiene un error de ortografía)
Crea un banner web que anuncie una venta de verano en muebles de jardín. La imagen debe mostrar un entorno de playa con diferentes piezas de muebles de jardín y texto que anuncie 'Grandes ahorros de verano!'
Imágenes de DALL-E 3 basadas en solicitudes de texto
Un póster de viaje vintage de París con texto estilizado y audaz que dice 'Visita París' en la parte inferior.
Imágenes de DALL-E 3 basadas en solicitudes de texto (Nota que ambos pósteres tienen errores de ortografía)
Una escena concurrida de la fiesta de Diwali en la India, con familias encendiendo lámparas, fuegos artificiales en el cielo y dulces y decoraciones tradicionales.
Imágenes de DALL-E 3 basadas en solicitudes de texto
Un mercado detallado en la antigua Roma, con personas vestidas con ropa de la época, varios productos a la venta y arquitectura de la época.
Imágenes de DALL-E 3 basadas en solicitudes de texto
Genera una imagen de una figura histórica famosa, como Cleopatra o Leonardo da Vinci, colocada en un entorno contemporáneo, utilizando tecnología moderna como teléfonos inteligentes o portátiles.
Imágenes de DALL-E 3 basadas en solicitudes de texto
Limitaciones y riesgos de DALL-E 3
OpenAI ha tomado medidas significativas para filtrar contenido explícito de los datos de entrenamiento de DALL-E 3, con el objetivo de reducir sesgos y mejorar la salida del modelo. Esto incluye la aplicación de filtros específicos para categorías de contenido sensible y una revisión de umbrales para filtros más amplios. La pila de mitigación también incluye varias capas de salvaguardias, como mecanismos de negación en ChatGPT para temas sensibles, clasificadores de entrada de solicitud para prevenir violaciones de políticas, listas de bloqueo para categorías de contenido específicas y transformaciones para garantizar que las solicitudes se alineen con las directrices.
A pesar de sus avances, DALL-E 3 tiene limitaciones en la comprensión de relaciones espaciales, el renderizado de texto largo con precisión y la generación de imágenes específicas. OpenAI reconoce estos desafíos y está trabajando en mejoras para versiones futuras.
La empresa también está trabajando en formas de diferenciar las imágenes generadas por AI de las hechas por humanos, reflejando su compromiso con la transparencia y el uso responsable de la inteligencia artificial.
DALL·E 3
DALL-E 3, la versión más reciente, estará disponible en fases, comenzando con grupos de clientes específicos y expandiéndose posteriormente a laboratorios de investigación y servicios de API. Sin embargo, no se ha confirmado una fecha de lanzamiento pública gratuita.
OpenAI está estableciendo un nuevo estándar en el campo de la inteligencia artificial con DALL-E 3, uniendo de manera fluida capacidades técnicas complejas y interfaces de usuario amigables. La integración de DALL-E 3 en plataformas ampliamente utilizadas como Bing refleja un cambio de aplicaciones especializadas a formas más amplias y accesibles de entretenimiento y utilidad.
El verdadero juego cambia en los próximos años probablemente será el equilibrio entre innovación y empoderamiento del usuario. Las empresas que prosperen serán aquellas que no solo empujan los límites de lo que la inteligencia artificial puede lograr, sino que también brindan a los usuarios la autonomía y el control que desean. OpenAI, con su compromiso con la inteligencia artificial ética, está navegando este camino con cuidado. El objetivo es claro: crear herramientas de inteligencia artificial que no solo sean poderosas, sino también confiables e inclusivas, asegurando que los beneficios de la inteligencia artificial sean accesibles para todos.
He dedicado los últimos cinco años sumergiéndome en el fascinante mundo de Machine Learning y Deep Learning. Mi pasión y experiencia me han llevado a contribuir a más de 50 proyectos de ingeniería de software diversos, con un enfoque particular en AI/ML. Mi curiosidad en curso también me ha llevado hacia el Procesamiento de Lenguaje Natural, un campo que estoy ansioso por explorar más a fondo.
