Pesquisadores Desenvolvem Conjunto de Perguntas Capaz de Confundir os Melhores Computadores

Pesquisadores da Universidade de Maryland foram capazes de criar um conjunto de perguntas que são fáceis para as pessoas responderem, mas difíceis para alguns dos melhores sistemas de resposta de computador que existem hoje. A equipe gerou as perguntas por meio de uma colaboração entre humanos e computadores e foi capaz de criar um banco de dados com mais de 1.200 palavras. Se um sistema de computador for capaz de aprender e dominar essas perguntas, ele terá a melhor compreensão da linguagem humana entre todos os sistemas de computador que existem atualmente.

O trabalho foi publicado em um artigo na revista Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, professor associado de ciência da computação na UMD e autor sênior do artigo, falou sobre os novos desenvolvimentos.

“A maioria dos sistemas de resposta de computador não explica por que respondem da maneira que o fazem, mas nosso trabalho nos ajuda a ver o que os computadores realmente entendem”, disse ele. “Além disso, produzimos um conjunto de dados para testar nos computadores que revelará se um sistema de linguagem de computador está realmente lendo e processando da mesma forma que os humanos são capazes de fazer.”

Atualmente, as perguntas para esses programas e sistemas são geradas por autores humanos ou computadores. O problema é que, quando os humanos são os que geram as perguntas, eles não estão cientes de todos os diferentes elementos de uma pergunta que são confusos para os computadores. Os sistemas de computador, por outro lado, usam fórmulas, criam perguntas de preenchimento de lacunas ou cometem erros, o que pode gerar nonsense.

Para obter cooperação entre humanos e computadores que permitisse gerar as perguntas, Boyd-Garber e a equipe de pesquisadores criaram uma interface de computador especial. De acordo com eles, ela é capaz de dizer o que um computador está “pensando” enquanto um humano digita uma pergunta. O escritor é então capaz de editar e alterar a pergunta com base nas fraquezas do computador. Isso é capaz de gerar confusão para o computador.

À medida que o escritor digita a pergunta, as suposições do computador são colocadas em uma ordem classificada. As palavras que são responsáveis pelas suposições do computador são realçadas.

O sistema pode responder corretamente a uma pergunta e a interface realçará as palavras ou frases que levaram à resposta. Com essa informação, o autor é então capaz de editar a pergunta para torná-la mais difícil para o computador, mas a pergunta ainda terá o mesmo significado. Embora o computador eventualmente fique confuso, os humanos especializados ainda serão capazes de responder.

Quando os humanos e os computadores trabalharam juntos, eles foram capazes de desenvolver 1.213 perguntas de computador que o computador não foi capaz de responder. Os pesquisadores testaram as perguntas em uma competição entre jogadores humanos e computadores. Os jogadores humanos incluíam times de trivia do ensino médio e campeões de “Jeopardy!”. A equipe humana mais fraca foi capaz de derrotar o sistema de computador mais forte.

Shi Feng, um estudante de pós-graduação em ciência da computação da UMD e coautor do artigo, falou sobre a nova pesquisa.

“Por três ou quatro anos, as pessoas têm sido conscientes de que os sistemas de resposta de computador são muito frágeis e podem ser enganados com facilidade”, disse ela. “Mas este é o primeiro artigo do qual temos conhecimento que realmente usa uma máquina para ajudar os humanos a quebrar o modelo em si.”

As perguntas usadas foram capazes de revelar seis diferentes fenômenos linguísticos que confundem os computadores. Existem duas categorias diferentes. A primeira é fenômenos linguísticos, que inclui paráfrase, linguagem distrativa e contextos inesperados. A segunda é habilidades de raciocínio e inclui lógica e cálculo, triangulação mental de elementos em uma pergunta e combinação de várias etapas para formar uma conclusão.

“Os humanos são capazes de generalizar mais e ver conexões mais profundas”, disse Boyd-Garber. “Eles não têm a memória ilimitada dos computadores, mas ainda têm uma vantagem em ser capaz de ver a floresta pelas árvores. Catalogar os problemas dos computadores nos ajuda a entender os problemas que precisamos abordar, para que possamos realmente fazer com que os computadores comecem a ver a floresta pelas árvores e respondam às perguntas da maneira como os humanos fazem.”

Essa pesquisa estabelece a base para que os sistemas de computador eventualmente dominem a linguagem humana. Ela certamente continuará a ser desenvolvida e aprimorada.

“Este artigo está estabelecendo uma agenda de pesquisa para os próximos anos, para que possamos realmente fazer com que os computadores respondam às perguntas bem”, disse Boyd-Garber.