El Bucle de Retroalimentación de IA: Mantener la Calidad de la Producción del Modelo en la Era del Contenido Generado por IA

Los modelos de IA desplegados en producción necesitan un mecanismo de evaluación del rendimiento robusto y continuo. Es aquí donde se puede aplicar un bucle de retroalimentación de IA para garantizar un rendimiento de modelo consistente.

Tómelo de Elon Musk:

“Creo que es muy importante tener un bucle de retroalimentación, donde estás constantemente pensando en lo que has hecho y cómo podrías hacerlo mejor.”

Para todos los modelos de IA, el procedimiento estándar es desplegar el modelo y luego volver a entrenarlo periódicamente con los últimos datos del mundo real para garantizar que su rendimiento no se deteriore. Pero, con el auge meteórico de IA Generativa, el entrenamiento de modelos de IA se ha vuelto anómalo y propenso a errores. Esto se debe a que las fuentes de datos en línea (internet) están convirtiéndose gradualmente en una mezcla de datos generados por humanos y datos generados por IA.

Por ejemplo, muchos blogs de hoy en día presentan texto generado por IA impulsado por MLM (Módulos de Lenguaje Grande) como ChatGPT o GPT-4. Muchas fuentes de datos contienen imágenes generadas por IA creadas utilizando DALL-E2 o Midjourney. Además, los investigadores de IA están utilizando datos sintéticos generados utilizando IA Generativa en sus tuberías de entrenamiento de modelos.

Por lo tanto, necesitamos un mecanismo robusto para garantizar la calidad de los modelos de IA. Es aquí donde la necesidad de bucles de retroalimentación de IA se ha vuelto más amplificada.

¿Qué es un Bucle de Retroalimentación de IA?

Un bucle de retroalimentación de IA es un proceso iterativo donde las decisiones y salidas de un modelo de IA se recopilan y utilizan continuamente para mejorar o volver a entrenar el mismo modelo, lo que resulta en un aprendizaje, desarrollo y mejora del modelo continuos. En este proceso, los datos de entrenamiento del sistema de IA, los parámetros del modelo y los algoritmos se actualizan y mejoran en función de la entrada generada desde dentro del sistema.

Principalmente, hay dos tipos de bucles de retroalimentación de IA:

1. Bucles de Retroalimentación de IA Positivos: Cuando los modelos de IA generan resultados precisos que se alinean con las expectativas y preferencias de los usuarios, los usuarios brindan retroalimentación positiva a través de un bucle de retroalimentación, lo que a su vez refuerza la precisión de los resultados futuros. Tal bucle de retroalimentación se denomina positivo.
2. Bucles de Retroalimentación de IA Negativos: Cuando los modelos de IA generan resultados inexactos, los usuarios informan defectos a través de un bucle de retroalimentación que a su vez intenta mejorar la estabilidad del sistema al corregir defectos. Tal bucle de retroalimentación se denomina negativo.

Ambos tipos de bucles de retroalimentación de IA permiten el desarrollo y la mejora del rendimiento del modelo con el tiempo. Y no se utilizan ni aplican en aislamiento. Juntos, ayudan a los modelos de IA desplegados en producción a saber qué es correcto o incorrecto.

Etapa del Bucle de Retroalimentación de IA

Una ilustración de alto nivel del mecanismo de retroalimentación en los modelos de IA. Fuente

Entender cómo funcionan los bucles de retroalimentación de IA es significativo para desbloquear todo el potencial del desarrollo de IA. Exploraremos las diversas etapas de los bucles de retroalimentación de IA a continuación.

1. Recopilación de Retroalimentación: Recopilar resultados de modelo relevantes para la evaluación. Normalmente, los usuarios brindan su retroalimentación sobre el resultado del modelo, que se utiliza para volver a entrenar. O puede ser datos externos de la web curados para afinar el rendimiento del sistema.
2. Volver a Entrenar el Modelo: Utilizando la información recopilada, el sistema de IA se vuelve a entrenar para hacer mejores predicciones, proporcionar respuestas o realizar actividades específicas al refinar los parámetros del modelo o pesos.
3. Integración y Prueba de Retroalimentación: Después de volver a entrenar, el modelo se prueba y evalúa nuevamente. En esta etapa, la retroalimentación de Expertos en la Materia (EM) también se incluye para resaltar problemas más allá de los datos.
4. Despliegue: El modelo se vuelve a desplegar después de verificar los cambios. En esta etapa, el modelo debe informar un mejor rendimiento en nuevos datos del mundo real, lo que resulta en una mejor experiencia del usuario.
5. Monitoreo: El modelo se monitorea continuamente utilizando métricas para identificar una posible deterioración, como la deriva. Y el ciclo de retroalimentación continúa.

Los Problemas en los Datos de Producción y la Salida del Modelo de IA

Construir sistemas de IA robustos requiere una comprensión exhaustiva de los problemas potenciales en los datos de producción (datos del mundo real) y las salidas del modelo. Veamos algunos problemas que se convierten en un obstáculo para garantizar la precisión y la confiabilidad de los sistemas de IA:

1. Deriva de Datos: Ocurre cuando el modelo comienza a recibir datos del mundo real de una distribución diferente a la distribución de los datos de entrenamiento del modelo.
2. Deriva del Modelo: Las capacidades predictivas y la eficiencia del modelo disminuyen con el tiempo debido a los cambios en los entornos del mundo real. Esto se conoce como deriva del modelo.
3. Salida del Modelo de IA vs. Decisión del Mundo Real: Los modelos de IA producen salidas inexactas que no se alinean con las decisiones de los partes interesadas del mundo real.
4. Sesgo y Equidad: Los modelos de IA pueden desarrollar sesgo y problemas de equidad. Por ejemplo, en una charla TED de Janelle Shane, describe la decisión de Amazon de dejar de trabajar en un algoritmo de clasificación de currículums debido a la discriminación de género.

Una vez que los modelos de IA comienzan a entrenarse con contenido generado por IA, estos problemas pueden aumentar aún más. ¿Cómo? Discutamos esto con más detalle.

Bucles de Retroalimentación de IA en la Era del Contenido Generado por IA

En el despertar de la adopción rápida de IA generativa, los investigadores han estudiado un fenómeno conocido como Colapso del Modelo. Lo definen como:

“Un proceso degenerativo que afecta a las generaciones de modelos generativos aprendidos, donde los datos generados terminan contaminando el conjunto de entrenamiento de la próxima generación de modelos; al ser entrenados con datos contaminados, terminan perdiendo la percepción de la realidad.”

El Colapso del Modelo consta de dos casos especiales,

• Colapso del Modelo Temprano ocurre cuando “el modelo comienza a perder información sobre las colas de la distribución”, es decir, los extremos de la distribución de los datos de entrenamiento.
• Colapso del Modelo Tardío ocurre cuando el “modelo entrelaza diferentes modos de la distribución original y converge a una distribución que lleva poco parecido a la original, a menudo con una varianza muy pequeña.”

Causas del Colapso del Modelo

Para que los practicantes de IA aborden este problema, es esencial comprender las razones del Colapso del Modelo, agrupadas en dos categorías principales:

1. Error de Aproximación Estadística: Este es el error principal causado por el número finito de muestras, y desaparece a medida que el recuento de muestras se acerca al infinito.
2. Error de Aproximación Funcional: Este error se produce cuando los modelos, como las redes neuronales, no logran capturar la función subyacente real que debe aprenderse de los datos.

Un ejemplo de resultados del modelo para múltiples generaciones de modelos afectados por el Colapso del Modelo. Fuente

¿Cómo el Bucle de Retroalimentación de IA se Ve Afectado por el Contenido Generado por IA?

Cuando los modelos de IA se entrenan con contenido generado por IA, tiene un efecto destructivo en los bucles de retroalimentación de IA y puede causar muchos problemas para los modelos de IA reentrenados, como:

• Colapso del Modelo: Como se explicó anteriormente, el Colapso del Modelo es una posibilidad probable si el bucle de retroalimentación de IA contiene contenido generado por IA.
• Olvido Catastrófico: Un desafío típico en el aprendizaje continuo es que el modelo olvida las muestras anteriores al aprender nueva información. Esto se conoce como olvido catastrófico.
• Contaminación de Datos: Se refiere a alimentar datos sintéticos manipulados al modelo de IA para comprometer el rendimiento, lo que lo lleva a producir salidas inexactas.

¿Cómo las Empresas Pueden Crear un Bucle de Retroalimentación Robusto para sus Modelos de IA?

Las empresas pueden beneficiarse al utilizar bucles de retroalimentación en sus flujos de trabajo de IA. Siga los tres pasos principales a continuación para mejorar el rendimiento de sus modelos de IA.

• Retroalimentación de Expertos en la Materia: Los EM son muy conocedores en su dominio y comprenden el uso de los modelos de IA. Pueden ofrecer información para aumentar la alineación del modelo con los entornos del mundo real, lo que da una mayor posibilidad de resultados correctos. También pueden gobernar y administrar mejor los datos generados por IA.
• Elección de Métricas de Calidad del Modelo Relevantes: Elegir la métrica de evaluación correcta para la tarea correcta y monitorear el modelo en producción en función de estas métricas puede garantizar la calidad del modelo. Los practicantes de IA también emplean herramientas de MLOps para la evaluación y el monitoreo automatizados para alertar a todas las partes interesadas si el rendimiento del modelo comienza a deteriorarse en producción.
• Curación Estricta de Datos: A medida que los modelos de producción se vuelven a entrenar con nuevos datos, pueden olvidar la información pasada, por lo que es crucial curar datos de alta calidad que se alineen bien con el propósito del modelo. Estos datos se pueden utilizar para volver a entrenar el modelo en generaciones posteriores, junto con la retroalimentación del usuario para garantizar la calidad.

Para obtener más información sobre los avances de IA, visite Unite.ai.