Investigadores Desarrollan Conjunto de Preguntas Capaces de Confundir a los Mejores Computadores

Los investigadores de la Universidad de Maryland lograron crear un conjunto de preguntas que son fáciles de responder para las personas, pero difíciles para algunos de los mejores sistemas de respuesta de computadoras que existen hoy en día. El equipo generó las preguntas a través de una colaboración entre humanos y computadoras, y fueron capaces de crear una base de datos de más de 1.200 palabras. Si un sistema de computadora es capaz de aprender y dominar estas preguntas, tendrá la mejor comprensión del lenguaje humano entre cualquier sistema de computadora que exista actualmente.

El trabajo se publicó en un artículo en la revista Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, profesor asociado de ciencias de la computación en UMD y autor principal del artículo, habló sobre los nuevos desarrollos.

“La mayoría de los sistemas de respuesta de computadoras no explican por qué responden de la manera en que lo hacen, pero nuestro trabajo nos ayuda a ver qué es lo que las computadoras realmente entienden”, dijo. “Además, hemos producido un conjunto de datos para probar en computadoras que revelará si un sistema de lenguaje de computadora está leyendo y procesando de la misma manera que los humanos.”

Actualmente, las preguntas para estos programas y sistemas son generadas por autores humanos o computadoras. El problema es que cuando los humanos son los que generan las preguntas, no son conscientes de todos los diferentes elementos de una pregunta que son confusos para las computadoras. Los sistemas de computadora, por otro lado, utilizan fórmulas, escriben preguntas de llenar los espacios en blanco o cometen errores, lo que puede generar sinsentidos.

Para obtener la cooperación entre humanos y computadoras que les permitiera generar las preguntas, Boyd-Garber y el equipo de investigadores crearon una interfaz de computadora especial. Según ellos, es capaz de decir qué es lo que una computadora “piensa” mientras un humano escribe una pregunta. El escritor puede entonces editar y cambiar la pregunta en función de las debilidades de la computadora. Esto puede generar confusión para la computadora.

A medida que el escritor escribe la pregunta, las suposiciones de la computadora se ordenan en una lista. Las palabras que son responsables de las suposiciones de la computadora se resaltan.

El sistema puede responder correctamente a una pregunta y la interfaz resaltará las palabras o frases que llevaron a la respuesta. Con esa información, el autor puede entonces editar la pregunta para hacerla más difícil para la computadora, pero la pregunta seguirá teniendo el mismo significado. Mientras que la computadora eventualmente se confundirá, los humanos expertos todavía podrán responder.

Cuando los humanos y las computadoras trabajaron juntos, fueron capaces de desarrollar 1.213 preguntas de computadora que la computadora no podía responder. Los investigadores probaron las preguntas en una competencia entre jugadores humanos y computadoras. Los jugadores humanos incluyeron equipos de trivia de escuelas secundarias y campeones de “Jeopardy!”. El equipo humano más débil pudo derrotar al sistema de computadora más fuerte.

Shi Feng, estudiante de posgrado en ciencias de la computación de UMD y coautor del artículo, habló sobre la nueva investigación.

“Durante tres o cuatro años, la gente ha sido consciente de que los sistemas de respuesta de computadoras son muy frágiles y pueden ser engañados muy fácilmente”, dijo. “Pero este es el primer artículo del que somos conscientes que realmente utiliza una máquina para ayudar a los humanos a romper el modelo en sí.”

Las preguntas utilizadas fueron capaces de revelar seis diferentes fenómenos del lenguaje que confunden a las computadoras. Hay dos categorías diferentes. La primera es los fenómenos lingüísticos que incluyen parafraseo, lenguaje distractor y contextos inesperados. La segunda es las habilidades de razonamiento y incluye lógica y cálculo, triangulación mental de elementos en una pregunta y la combinación de varios pasos para formar una conclusión.

“Los humanos pueden generalizar más y ver conexiones más profundas”, dijo Boyd-Garber. “No tienen la memoria ilimitada de las computadoras, pero todavía tienen una ventaja al poder ver el bosque a través de los árboles. Catalogar los problemas que tienen las computadoras nos ayuda a entender los problemas que debemos abordar, para que podamos hacer que las computadoras comiencen a ver el bosque a través de los árboles y respondan preguntas de la manera en que los humanos lo hacen.”

Esta investigación establece la base para que los sistemas de computadora eventualmente dominen el lenguaje humano. Sin duda, seguirá desarrollándose y mejorándose.

“Este artículo está estableciendo una agenda de investigación para los próximos años, para que podamos hacer que las computadoras respondan preguntas de manera efectiva”, dijo Boyd-Garber.