¿Qué son las alucinaciones LLM? Causas, preocupaciones éticas y prevención

Los modelos de lenguaje extenso (LLM) son sistemas de inteligencia artificial capaces de analizar y generar texto similar al humano. pero tienen un problema – Los LLM alucinan, es decir, inventan cosas. Las alucinaciones LLM han hecho que los investigadores se preocupen por el progreso en este campo porque si los investigadores no pueden controlar el resultado de los modelos, entonces no pueden construir sistemas críticos para servir a la humanidad. Más sobre esto más adelante.

En general, los LLM utilizan grandes cantidades de datos de capacitación y algoritmos de aprendizaje complejos para generar resultados realistas. En algunos casos, se utiliza el aprendizaje en contexto para entrenar estos modelos utilizando sólo unos pocos ejemplos. Los LLM se están volviendo cada vez más populares en varias áreas de aplicación que van desde la traducción automática, el análisis de sentimientos, la asistencia virtual de IA, la anotación de imágenes, procesamiento natural del lenguaje, etc.

A pesar de la naturaleza de vanguardia de los LLM, todavía son propensos a sesgos, errores y alucinaciones. Yann LeCun, actual científico jefe de IA en Meta, mencionó recientemente la falla central en los LLM que causa alucinaciones: “Los grandes modelos de lenguaje no tienen idea de la realidad subyacente que describe el lenguaje. Esos sistemas generan texto que suena bien, gramatical y semánticamente, pero en realidad no tienen ningún tipo de objetivo más que simplemente satisfacer la consistencia estadística con el aviso”.

Alucinaciones en LLM

Las alucinaciones se refieren al modelo que genera resultados que son sintáctica y semánticamente correctos pero que están desconectados de la realidad y se basan en suposiciones falsas. La alucinación es una de las Principales preocupaciones éticas de los LLM, y puede tener consecuencias dañinas ya que los usuarios sin el conocimiento adecuado del dominio comienzan a depender demasiado de estos modelos de lenguaje cada vez más convincentes.

Un cierto grado de alucinación es inevitable en todos los LLM autorregresivos. Por ejemplo, una modelo puede atribuir una cita falsa a una celebridad que nunca se dijo. Pueden afirmar algo sobre un tema en particular que es fácticamente incorrecto o citar fuentes inexistentes en trabajos de investigación, difundiendo así información errónea.

Sin embargo, lograr que los modelos de IA alucinen no siempre tiene efectos adversos. por ejemplo, un nuevo estudio sugiere Los científicos están descubriendo "nuevas proteínas con una variedad ilimitada de propiedades" a través de LLM alucinantes.

¿Qué causa las alucinaciones de LLM?

Los LLM pueden alucinar debido a varios factores, que van desde errores de sobreajuste en la codificación y decodificación hasta sesgos de entrenamiento.

Sobreajuste

El sobreajuste es un problema en el que un modelo de IA se ajusta demasiado bien a los datos de entrenamiento. Aún así, no puede representar completamente toda la gama de entradas que puede encontrar, es decir, no logra generalizar su poder predictivo a datos nuevos e invisibles. El sobreajuste puede hacer que el modelo produzca contenido alucinado.

Errores de codificación y decodificación

Si hay errores en la codificación y decodificación del texto y sus representaciones posteriores, esto también puede hacer que el modelo genere resultados erróneos y sin sentido.

Sesgo de entrenamiento

Otro factor es la presencia de ciertos sesgos en los datos de entrenamiento, que pueden hacer que el modelo proporcione resultados que representen esos sesgos en lugar de la naturaleza real de los datos. Esto es similar a la falta de diversidad en los datos de entrenamiento, lo que limita la capacidad del modelo para generalizar a nuevos datos.

La compleja estructura de los LLM hace que sea bastante difícil para los investigadores y profesionales de la IA identificar, interpretar y corregir estas causas subyacentes de las alucinaciones.

Preocupaciones éticas de las alucinaciones LLM

Los LLM pueden perpetuar y amplificar sesgos dañinos a través de alucinaciones y, a su vez, pueden impactar negativamente a los usuarios y tener consecuencias sociales perjudiciales. Algunas de estas preocupaciones éticas más importantes se enumeran a continuación:

Contenido discriminatorio y tóxico

Dado que los datos de capacitación LLM a menudo están llenos de estereotipos socioculturales debido a los sesgos inherentes y la falta de diversidad. Los LLM pueden, por lo tanto, producir y reforzar estas ideas dañinas contra los grupos desfavorecidos de la sociedad.

Pueden generar este contenido discriminatorio y de odio basado en raza, género, religión, etnia, etc.

Problemas de privacidad

Los LLM están capacitados en un corpus de capacitación masivo que a menudo incluye la información personal de las personas. Ha habido casos en los que tales modelos han violado la privacidad de las personas. Pueden filtrar información específica, como números de seguro social, domicilios, números de teléfonos celulares y detalles médicos.

Desinformación y Desinformación

Los modelos de lenguaje pueden producir contenido similar al humano que parece preciso pero que, de hecho, es falso y no está respaldado por evidencia empírica. Esto puede ser accidental, lo que lleva a la desinformación, o puede tener una intención maliciosa detrás de esto para difundir desinformación a sabiendas. Si esto no se controla, puede crear tendencias sociales, culturales, económicas y políticas adversas.

Prevención de alucinaciones LLM

Los investigadores y profesionales están adoptando varios enfoques para abordar el problema de las alucinaciones en los LLM. Estos incluyen mejorar la diversidad de los datos de entrenamiento, eliminar los sesgos inherentes, usar mejores técnicas de regularización y emplear el entrenamiento antagónico y el aprendizaje por refuerzo, entre otros:

• Desarrollar mejores técnicas de regularización es fundamental para abordar las alucinaciones. Ayudan a prevenir el sobreajuste y otros problemas que provocan alucinaciones.
• El aumento de datos puede reducir la frecuencia de las alucinaciones, como lo demuestra un estudio de investigación. El aumento de datos implica aumentar el conjunto de entrenamiento agregando un token aleatorio en cualquier parte de la oración. Duplica el tamaño del conjunto de entrenamiento y provoca una disminución en la frecuencia de las alucinaciones.
• OpenAI y DeepMind de Google desarrollaron una técnica llamada aprendizaje por refuerzo con retroalimentación humana (RLHF) para abordar el problema de alucinaciones de ChatGPT. Involucra a un evaluador humano que revisa con frecuencia las respuestas del modelo y elige las más apropiadas para las indicaciones del usuario. Esta retroalimentación se usa luego para ajustar el comportamiento del modelo. Ilya Sutskever, científico jefe de OpenAI, mencionó recientemente que este enfoque puede resolver potencialmente las alucinaciones en ChatGPT: "Tengo muchas esperanzas de que simplemente mejorando este aprendizaje de refuerzo posterior del paso de retroalimentación humana, podamos enseñarle a no alucinar"..
• La identificación de contenido alucinado para usarlo como ejemplo para futuras capacitaciones también es un método utilizado para abordar las alucinaciones. A tecnica novedosa en este sentido, detecta alucinaciones a nivel de token y predice si cada token en la salida es una alucinación. También incluye un método para el aprendizaje no supervisado de detectores de alucinaciones.

En pocas palabras, las alucinaciones LLM son una preocupación creciente. Y a pesar de los esfuerzos, aún queda mucho trabajo por hacer para abordar el problema. La complejidad de estos modelos significa que generalmente es un desafío identificar y rectificar correctamente las causas inherentes de las alucinaciones.

Sin embargo, con investigación y desarrollo continuos, es posible mitigar las alucinaciones en los LLM y reducir sus consecuencias éticas.

Si desea obtener más información sobre los LLM y las técnicas preventivas que se están desarrollando para rectificar las alucinaciones de LLM, consulte unir.ai para ampliar tus conocimientos.