El circuito de retroalimentación de IA: mantenimiento de la calidad de producción de modelos en la era del contenido generado por IA

Los modelos de IA implementados en producción necesitan un mecanismo de evaluación de rendimiento sólido y continuo. Aquí es donde se puede aplicar un ciclo de retroalimentación de IA para garantizar un rendimiento uniforme del modelo.

Tómalo de Elon Musk:

"Creo que es muy importante tener un circuito de retroalimentación, donde estás pensando constantemente en lo que has hecho y en cómo podrías hacerlo mejor".

Para todos los modelos de IA, el procedimiento estándar es implementar el modelo y luego volver a entrenarlo periódicamente con los datos más recientes del mundo real para garantizar que su rendimiento no se deteriore. Pero, con el ascenso meteórico de IA generativa, el entrenamiento del modelo de IA se ha vuelto anómalo y propenso a errores. Esto se debe a que las fuentes de datos en línea (Internet) se están convirtiendo gradualmente en una mezcla de datos generados por humanos y generados por IA.

Por ejemplo, muchos blogs hoy en día cuentan con texto generado por IA impulsado por LLM (Módulos de idiomas grandes) como ChatGPT o GPT-4. Muchas fuentes de datos contienen imágenes generadas por IA creadas con DALL-E2 o Midjourney. Además, los investigadores de IA están utilizando datos sintéticos generados mediante IA generativa en sus procesos de formación de modelos.

Por lo tanto, necesitamos un mecanismo robusto para garantizar la calidad de los modelos de IA. Aquí es donde la necesidad de bucles de retroalimentación de IA se ha amplificado más.

¿Qué es un circuito de retroalimentación de IA?

Un circuito de retroalimentación de IA es un proceso iterativo en el que las decisiones y los resultados de un modelo de IA se recopilan y utilizan continuamente para mejorar o volver a entrenar el mismo modelo, lo que da como resultado un aprendizaje, desarrollo y mejora del modelo continuos. En este proceso, los datos de entrenamiento, los parámetros del modelo y los algoritmos del sistema de IA se actualizan y mejoran en función de los datos generados desde dentro del sistema.

Principalmente, hay dos tipos de bucles de retroalimentación de IA:

1. Bucles de retroalimentación positiva de IA: Cuando los modelos de IA generan resultados precisos que se alinean con las expectativas y preferencias de los usuarios, los usuarios brindan comentarios positivos a través de un ciclo de comentarios, lo que a su vez refuerza la precisión de los resultados futuros. Tal ciclo de retroalimentación se denomina positivo.
2. Bucles de retroalimentación negativa de IA: Cuando los modelos de IA generan resultados inexactos, los usuarios informan fallas a través de un ciclo de retroalimentación que, a cambio, intenta mejorar la estabilidad del sistema solucionando fallas. Tal ciclo de retroalimentación se denomina negativo.

Ambos tipos de bucles de retroalimentación de IA permiten el desarrollo continuo de modelos y la mejora del rendimiento a lo largo del tiempo. Y no se utilizan ni se aplican de forma aislada. Juntos, ayudan a los modelos de IA implementados en producción a saber qué está bien o mal.

Etapas de los bucles de retroalimentación de IA

Comprender cómo funcionan los circuitos de retroalimentación de IA es importante para desbloquear todo el potencial del desarrollo de IA. Exploremos las diversas etapas de los bucles de retroalimentación de IA a continuación.

1. Recopilación de comentarios: Recopile los resultados del modelo relevantes para la evaluación. Por lo general, los usuarios dan su opinión sobre el resultado del modelo, que luego se utiliza para el reentrenamiento. O pueden ser datos externos de la web seleccionados para ajustar el rendimiento del sistema.
2. Reentrenamiento de modelos: Usando la información recopilada, el sistema de IA se vuelve a entrenar para hacer mejores predicciones, proporcionar respuestas o realizar actividades particulares al refinar los parámetros o pesos del modelo.
3. Evaluación e integración de retroalimentación: Después del reentrenamiento, el modelo se prueba y evalúa nuevamente. En esta etapa, también se incluyen comentarios de expertos en la materia (SME) para resaltar problemas más allá de los datos.
4. Despliegue: El modelo se vuelve a implementar después de verificar los cambios. En esta etapa, el modelo debería reportar un mejor rendimiento en los nuevos datos del mundo real, lo que resulta en una experiencia de usuario mejorada.
5. Monitoreo: El modelo se monitorea continuamente usando métricas para identificar el deterioro potencial, como la deriva. Y el ciclo de retroalimentación continúa.

Los problemas en los datos de producción y la salida del modelo de IA

La construcción de sistemas robustos de IA requiere una comprensión profunda de los posibles problemas en los datos de producción (datos del mundo real) y los resultados del modelo. Veamos algunos problemas que se convierten en un obstáculo para garantizar la precisión y confiabilidad de los sistemas de IA:

1. Desviación de datos: Ocurre cuando el modelo comienza a recibir datos del mundo real de una distribución diferente en comparación con la distribución de datos de entrenamiento del modelo.
2. Deriva del modelo: Las capacidades predictivas y la eficiencia del modelo disminuyen con el tiempo debido a los entornos cambiantes del mundo real. Esto se conoce como deriva del modelo.
3. Salida del modelo de IA frente a decisión del mundo real: Los modelos de IA producen resultados inexactos que no se alinean con las decisiones de las partes interesadas del mundo real.
4. Sesgo y equidad: Los modelos de IA pueden desarrollar problemas de sesgo y equidad. Por ejemplo, en un Charla TED de Janelle Shane, describe la decisión de Amazon de dejar de trabajar en un algoritmo de clasificación de currículos debido a la discriminación de género.

Una vez que los modelos de IA comienzan a entrenar en contenido generado por IA, estos problemas pueden aumentar aún más. ¿Cómo? Vamos a discutir esto con más detalle.

Bucles de retroalimentación de IA en la era del contenido generado por IA

A raíz de la rápida adopción de la IA generativa, los investigadores han estudiado un fenómeno conocido como Colapso del modelo. Definen el colapso del modelo como:

“Proceso degenerativo que afecta a generaciones de modelos generativos aprendidos, donde los datos generados terminan contaminando el conjunto de entrenamiento de la próxima generación de modelos; siendo entrenados en datos contaminados, entonces perciben mal la realidad”.

Model Collapse consta de dos casos especiales,

• Colapso del modelo inicial sucede cuando “el modelo comienza a perder información sobre las colas de la distribución”, es decir, los extremos de la distribución de datos de entrenamiento.
• Colapso del último modelo sucede cuando el “modelo entrelaza diferentes modos de las distribuciones originales y converge en una distribución que se parece un poco a la original, a menudo con una variación muy pequeña”.

Causas del colapso del modelo

Para que los profesionales de la IA aborden este problema, es esencial comprender las razones del colapso del modelo, agrupadas en dos categorías principales:

1. Error de aproximación estadística: Este es el error principal causado por el número finito de muestras y desaparece a medida que el recuento de muestras se acerca al infinito.
2. Error de aproximación funcional: Este error surge cuando los modelos, como las redes neuronales, no logran capturar la verdadera función subyacente que debe aprenderse de los datos.

Cómo se ve afectado el bucle de retroalimentación de IA debido al contenido generado por IA

Cuando los modelos de IA se entrenan con contenido generado por IA, tiene un efecto destructivo en los bucles de retroalimentación de IA y puede causar muchos problemas para los modelos de IA reentrenados, como:

• Colapso del modelo: Como se explicó anteriormente, Model Collapse es una posibilidad probable si el circuito de retroalimentación de IA contiene contenido generado por IA.
• Olvido catastrófico: Un desafío típico en el aprendizaje continuo es que el modelo olvida muestras anteriores cuando aprende nueva información. Esto se conoce como olvido catastrófico.
• Contaminación de datos: Se refiere a alimentar datos sintéticos manipulables en el modelo de IA para comprometer el rendimiento, lo que provoca que produzca resultados inexactos.

¿Cómo pueden las empresas crear un circuito de retroalimentación sólido para sus modelos de IA?

Las empresas pueden beneficiarse mediante el uso de bucles de retroalimentación en sus flujos de trabajo de IA. Siga los tres pasos principales a continuación para mejorar el rendimiento de sus modelos de IA.

• Comentarios de expertos en la materia: Las PYMES tienen un gran conocimiento en su dominio y entienden el uso de modelos de IA. Pueden ofrecer información para aumentar la alineación del modelo con la configuración del mundo real, lo que brinda una mayor probabilidad de obtener resultados correctos. Además, pueden gobernar y administrar mejor los datos generados por IA.
• Elija métricas de calidad de modelo relevantes: Elegir la métrica de evaluación correcta para la tarea correcta y monitorear el modelo en producción en función de estas métricas puede garantizar la calidad del modelo. Los profesionales de IA también emplean herramientas MLOps para la evaluación y el monitoreo automatizados para alertar a todas las partes interesadas si el rendimiento del modelo comienza a deteriorarse en la producción.
• Curación estricta de datos: A medida que los modelos de producción se vuelven a entrenar con nuevos datos, pueden olvidar la información anterior, por lo que es crucial seleccionar datos de alta calidad que se alineen bien con el propósito del modelo. Estos datos se pueden usar para volver a entrenar el modelo en generaciones posteriores, junto con los comentarios de los usuarios para garantizar la calidad.

Para obtener más información sobre los avances de la IA, vaya a Unirse.ai.