¿Qué son las alucinaciones en los LLM? Causas, preocupaciones éticas y prevención

Los modelos de lenguaje grande (LLM) son sistemas de inteligencia artificial capaces de analizar y generar texto similar al humano. Pero tienen un problema – los LLM alucinan, es decir, inventan cosas. Las alucinaciones de los LLM han preocupado a los investigadores sobre el progreso en este campo porque si los investigadores no pueden controlar el resultado de los modelos, entonces no pueden construir sistemas críticos para servir a la humanidad. Más sobre esto más adelante.

En general, los LLM utilizan grandes cantidades de datos de entrenamiento y algoritmos de aprendizaje complejos para generar salidas realistas. En algunos casos, se utiliza el aprendizaje en contexto para entrenar estos modelos utilizando solo unos pocos ejemplos. Los LLM están becoming cada vez más populares en diversas áreas de aplicación, desde la traducción automática, el análisis de sentimiento, la asistencia virtual de IA, la anotación de imágenes, el procesamiento del lenguaje natural, etc.

A pesar de la naturaleza de vanguardia de los LLM, todavía son propensos a sesgos, errores y alucinaciones. Yann LeCun, actual científico jefe de IA en Meta, mencionó recientemente la falla central en los LLM que causa alucinaciones: “Los modelos de lenguaje grande no tienen idea de la realidad subyacente que describe el lenguaje. Esos sistemas generan texto que suena bien, gramatical y semánticamente, pero no tienen un objetivo objetivo más que satisfacer la consistencia estadística con la solicitud”.

Alucinaciones en los LLM

Imagen de Gerd Altmann de Pixabay

Las alucinaciones se refieren a la generación de salidas que son sintácticamente y semánticamente correctas pero están desconectadas de la realidad y basadas en suposiciones falsas. La alucinación es una de las preocupaciones éticas principales de los LLM, y puede tener consecuencias perjudiciales ya que los usuarios sin conocimientos adecuados en el dominio comienzan a confiar demasiado en estos modelos de lenguaje cada vez más convincentes.

Un cierto grado de alucinación es inevitable en todos los LLM autoregresivos. Por ejemplo, un modelo puede atribuir una cita falsa a una celebridad que nunca se dijo. Pueden afirmar algo sobre un tema en particular que es factualmente incorrecto o citar fuentes inexistentes en artículos de investigación, lo que lleva a la propagación de información errónea.

Sin embargo, hacer que los modelos de IA alucinen no siempre tiene efectos adversos. Por ejemplo, un nuevo estudio sugiere que los científicos están descubriendo ‘proteínas novedosas con una variedad ilimitada de propiedades’ a través de LLM que alucinan.

¿Qué causa las alucinaciones en los LLM?

Los LLM pueden alucinar debido a varios factores, que van desde errores de sobreajuste en la codificación y decodificación hasta sesgos en el entrenamiento.

Sobreajuste

Imagen de janjf93 de Pixabay

El sobreajuste es un problema en el que un modelo de IA se ajusta demasiado bien a los datos de entrenamiento, pero no puede representar completamente el rango de entradas que puede encontrar, es decir, no puede generalizar su poder predictivo a nuevos datos no vistos. El sobreajuste puede llevar a que el modelo produzca contenido alucinado.

Errores de codificación y decodificación

Imagen de geralt de Pixabay

Si hay errores en la codificación y decodificación del texto y sus representaciones posteriores, esto también puede causar que el modelo genere salidas sin sentido y erróneas.

Sesgo en el entrenamiento

Imagen de Quince Creative de Pixabay

Otro factor es la presencia de ciertos sesgos en los datos de entrenamiento, lo que puede causar que el modelo dé resultados que representan esos sesgos en lugar de la naturaleza real de los datos. Esto es similar a la falta de diversidad en los datos de entrenamiento, lo que limita la capacidad del modelo para generalizar a nuevos datos.

La estructura compleja de los LLM hace que sea bastante desafiante para los investigadores y practicantes de IA identificar, interpretar y corregir las causas subyacentes de las alucinaciones.

Preocupaciones éticas de las alucinaciones en los LLM

Los LLM pueden perpetuar y amplificar sesgos perjudiciales a través de alucinaciones y pueden, a su vez, tener un impacto negativo en los usuarios y tener consecuencias sociales perjudiciales. Algunas de estas preocupaciones éticas más importantes se enumeran a continuación:

Contenido discriminatorio y tóxico

Imagen de ar130405 de Pixabay

Dado que los datos de entrenamiento de los LLM a menudo están llenos de estereotipos socioculturales debido a los sesgos inherentes y la falta de diversidad, los LLM pueden, por lo tanto, producir y reforzar estas ideas perjudiciales contra grupos desfavorecidos en la sociedad.

Pueden generar este contenido discriminatorio y odioso basado en raza, género, religión, etnia, etc.

Problemas de privacidad

Imagen de JanBaby de Pixabay

Los LLM se entrenan en un corpus de entrenamiento masivo que a menudo incluye información personal de individuos. Ha habido casos en los que dichos modelos han violado la privacidad de las personas. Pueden filtrar información específica como números de seguro social, direcciones de hogar, números de teléfono celular y detalles médicos.

Desinformación y mala información

Imagen de geralt de Pixabay

Los modelos de lenguaje pueden producir contenido similar al humano que parece preciso pero es, de hecho, falso y no está respaldado por evidencia empírica. Esto puede ser accidental, lo que lleva a la mala información, o puede tener una intención maliciosa detrás para propagar deliberadamente la desinformación. Si esto no se controla, puede crear tendencias sociales, culturales, económicas y políticas adversas.

Prevención de las alucinaciones en los LLM

Imagen de athree23 de Pixabay

Los investigadores y practicantes están tomando varios enfoques para abordar el problema de las alucinaciones en los LLM. Estos incluyen mejorar la diversidad de los datos de entrenamiento, eliminar sesgos inherentes, utilizar mejores técnicas de regularización y emplear entrenamiento adversario y aprendizaje por refuerzo, entre otros:

• Desarrollar mejores técnicas de regularización es fundamental para abordar las alucinaciones. Ayudan a prevenir el sobreajuste y otros problemas que causan alucinaciones.
• La ampliación de datos puede reducir la frecuencia de las alucinaciones, como se evidencia en un estudio de investigación. La ampliación de datos implica aumentar el conjunto de entrenamiento agregando un token aleatorio en cualquier lugar de la oración. Duplica el tamaño del conjunto de entrenamiento y causa una disminución en la frecuencia de las alucinaciones.
• OpenAI y Google’s DeepMind desarrollaron una técnica llamada aprendizaje por refuerzo con retroalimentación humana (RLHF) para abordar el problema de las alucinaciones en ChatGPT. Implica un evaluador humano que revisa frecuentemente las respuestas del modelo y selecciona las más adecuadas para las solicitudes del usuario. Esta retroalimentación se utiliza para ajustar el comportamiento del modelo. Ilya Sutskever, científico jefe de OpenAI, mencionó recientemente que este enfoque puede potencialmente resolver las alucinaciones en ChatGPT: “Tengo muchas esperanzas de que simplemente mejorando este paso de aprendizaje por refuerzo posterior con la retroalimentación humana, podemos enseñarle a no alucinar”.
• Identificar el contenido alucinado para utilizarlo como ejemplo para el entrenamiento futuro también es un método utilizado para abordar las alucinaciones. Una nueva técnica en este regard detecta las alucinaciones a nivel de token y predice si cada token en la salida es alucinado. También incluye un método para el aprendizaje no supervisado de detectores de alucinaciones.

Detección de alucinaciones a nivel de token

En resumen, las alucinaciones en los LLM son una preocupación creciente. Y a pesar de los esfuerzos, todavía se necesita mucho trabajo para abordar el problema. La complejidad de estos modelos significa que es generalmente desafiante identificar y corregir correctamente las causas subyacentes de las alucinaciones.

Sin embargo, con la investigación y el desarrollo continuos, es posible mitigar las alucinaciones en los LLM y reducir sus consecuencias éticas.

Si deseas aprender más sobre los LLM y las técnicas preventivas que se están desarrollando para rectificar las alucinaciones en los LLM, consulta unite.ai para ampliar tus conocimientos.