La lucha para evitar que la IA engañe en las pruebas

Nuevos hallazgos de investigación de una universidad china ofrecen una visión sobre por qué los modelos de procesamiento de lenguaje natural generativo, como GPT-3, tienden a ‘engañar’ cuando se les hace una pregunta difícil, produciendo respuestas que pueden ser técnicamente correctas, pero sin una comprensión real de por qué la respuesta es correcta; y por qué demuestran poca o ninguna capacidad para explicar la lógica detrás de sus respuestas ‘fáciles’. Los investigadores también proponen nuevos métodos para hacer que los sistemas ‘estudien más’ durante la fase de entrenamiento.

El problema es doble: primero, diseñamos sistemas que intentan lograr resultados rápidamente y con un uso óptimo de recursos. Incluso cuando, como con GPT-3, los recursos pueden ser considerablemente mayores que los que un proyecto de investigación de PLN promedio puede reunir, esta cultura de optimización orientada a resultados todavía prevalece en la metodología, porque ha llegado a dominar la convención académica.

En consecuencia, nuestras arquitecturas de entrenamiento recompensan a los modelos que convergen rápidamente y producen respuestas aparentemente adecuadas a las preguntas, incluso si el modelo de PLN no puede justificar su respuesta posteriormente, o demostrar cómo llegó a sus conclusiones.

Una disposición temprana a engañar

Esto ocurre porque el modelo aprende ‘respuestas de atajo’ mucho antes en el entrenamiento de lo que aprende tipos de adquisición de conocimiento más complicados. Dado que la precisión aumentada a menudo se recompensa de manera bastante indiscriminada en todo el entrenamiento, el modelo luego prioriza cualquier enfoque que le permita responder a una pregunta ‘con facilidad’, y sin una visión real.

Dado que el aprendizaje de atajos inevitablemente representará los primeros éxitos durante el entrenamiento, la sesión naturalmente tenderá a alejarse de la tarea más difícil de obtener una perspectiva epistemológica útil y más completa, que puede contener capas más profundas y más intuitivas de atribución y lógica.

Alimentar a la IA con respuestas ‘fáciles’

El segundo problema es que, aunque las iniciativas de investigación recientes han estudiado la tendencia de la IA a ‘engañar’ de esta manera, y han identificado el fenómeno de los ‘atajos’, no ha habido hasta ahora ningún esfuerzo por clasificar el material que permite ‘atajos’ en un conjunto de datos contribuyente, lo que sería el paso lógico para abordar lo que puede ser un error arquitectónico fundamental en los sistemas de comprensión de lectura de máquina (MRC).

El nuevo artículo, una colaboración entre el Instituto de Tecnología Informática Wangxuan y el Laboratorio Clave de Lingüística Computacional del Ministerio de Educación en la Universidad de Pekín, prueba varios modelos de lenguaje contra un conjunto de datos anotado recientemente que incluye clasificaciones para soluciones ‘fáciles’ y ‘difíciles’ de una pregunta posible.

Fuente: https://arxiv.org/pdf/2106.01024.pdf

El conjunto de datos utiliza la paráfrasis como criterio para las respuestas más complicadas y profundas, ya que se requiere una comprensión semántica para reformular el conocimiento obtenido. Por el contrario, las respuestas de ‘atajo’ pueden utilizar tokens como fechas y otras palabras clave encapsuladoras para producir una respuesta que es factualmente precisa, pero sin contexto ni razonamiento.

El componente de atajo de las anotaciones presenta la coincidencia de palabras de pregunta (QWM) y la coincidencia simple (SpM). Para QWM, el modelo utiliza entidades extraídas de los datos de texto suministrados y elimina el contexto; para SpM, el modelo identifica la superposición entre las oraciones de respuesta y las preguntas, ambas suministradas en los datos de entrenamiento.

Datos de atajo casi ‘virales’ en influencia en un conjunto de datos

Los investigadores sostienen que los conjuntos de datos tienden a contener una gran proporción de preguntas de atajo, lo que hace que los modelos entrenados confíen en trucos de atajo.

Los dos modelos utilizados en los experimentos fueron BiDAF y BERT-base de Google. Los investigadores observan que, incluso cuando se entrenan en variaciones del conjunto de datos con una mayor proporción de preguntas ‘difíciles’, ambos modelos aún realizan mejor en preguntas de atajo que en preguntas parafraseadas más difíciles, a pesar del pequeño número de ejemplos en los conjuntos de datos.

Esto presenta los ‘datos de atajo’ casi en el contexto de un virus – que necesita haber muy poco de él presente en un conjunto de datos para que sea adoptado y priorizado en el entrenamiento, bajo estándares y prácticas convencionales en PLN.

Probar el engaño

Un método que utiliza la investigación para probar la fragilidad de una respuesta de atajo es sustituir una palabra de entidad ‘fácil’ por una palabra anómala. Donde se ha utilizado un método de atajo, la lógica de la respuesta ‘engañosamente’ obtenida no puede proporcionarse; pero donde la respuesta se proporcionó a partir de un contexto más profundo y una evaluación semántica de una gama más amplia de texto contribuyente, es posible que el sistema pueda descomponer el error y reconstruir una respuesta correcta.

Sustituir ‘Beyoncé’ (una persona) por ‘América’ (un lugar), revela si el modelo tiene alguna lógica de fondo para su respuesta.

Atajos debido a una imperativa económica

En cuanto a algunas de las razones arquitectónicas por las que los atajos son tan priorizados en los flujos de trabajo de entrenamiento de PLN, los autores comentan ‘Los modelos de MRC pueden aprender los trucos de atajo, como QWM, con menos recursos computacionales que los desafíos de comprensión, como la identificación de paráfrasis’.

Esto, entonces, podría ser un resultado no intencionado de las filosofías de optimización y conservación de recursos estándar en los enfoques de comprensión de lectura de máquina, y la presión para obtener resultados con recursos limitados en plazos ajustados.

Los investigadores también señalan:

‘[Dado que] el truco de atajo puede usarse para responder correctamente a la mayoría de las preguntas de entrenamiento, las preguntas no resueltas limitadas que quedan pueden no motivar a los modelos a explorar soluciones sofisticadas que requieren habilidades desafiantes.’

Si los resultados del artículo se confirman posteriormente, parecería que el vasto y creciente campo del preprocesamiento de datos puede necesitar considerar los ‘cribs ocultos’ en los datos como un problema a abordar a largo plazo, o revisar las arquitecturas de PLN para priorizar rutinas más desafiantes para la ingesta de datos. g skills.’ Si los resultados del artículo se confirman posteriormente, parecería que el vasto y creciente campo del preprocesamiento de datos puede necesitar considerar los ‘cribs ocultos’ en los datos como un problema a abordar a largo plazo, o revisar las arquitecturas de PLN para priorizar rutinas más desafiantes para la ingesta de datos.