Les chercheurs développent un ensemble de questions capables de dérouter les meilleurs ordinateurs

Les chercheurs de l’Université du Maryland ont réussi à créer un ensemble de questions qui sont faciles pour les humains à répondre, mais difficiles pour certains des meilleurs systèmes de réponses informatiques qui existent aujourd’hui. L’équipe a généré les questions à travers une collaboration humain-ordinateur et a pu créer une base de données de plus de 1 200 mots. Si un système informatique est capable d’apprendre et de maîtriser ces questions, il aura la meilleure compréhension de la langue humaine parmi tous les systèmes informatiques qui existent actuellement.

Le travail a été publié dans un article de la revue Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, professeur agrégé de sciences informatiques à l’UMD et auteur principal de l’article, a parlé des nouveaux développements.

« La plupart des systèmes de réponses informatiques ne expliquent pas pourquoi ils répondent de telle ou telle manière, mais notre travail nous aide à voir ce que les ordinateurs comprennent vraiment », a-t-il déclaré. « En outre, nous avons produit un ensemble de données pour tester les ordinateurs qui révélera si un système de langage informatique est réellement en train de lire et de traiter les informations de la même manière que les humains. »

Actuellement, les questions pour ces programmes et systèmes sont générées par des auteurs humains ou des ordinateurs. Le problème est que lorsque les humains génèrent les questions, ils ne sont pas conscients de tous les éléments d’une question qui sont déroutants pour les ordinateurs. Les systèmes informatiques, quant à eux, utilisent des formules, écrivent des questions à remplir ou font des erreurs, ce qui peut générer des nonsens.

Pour obtenir une coopération entre les humains et les ordinateurs qui leur a permis de générer les questions, Boyd-Garber et l’équipe de chercheurs ont créé une interface informatique spéciale. Selon eux, elle est capable de dire ce qu’un ordinateur « pense » tandis qu’un humain tape une question. L’auteur peut alors éditer et modifier la question en fonction des faiblesses de l’ordinateur. Cela permet de générer de la confusion pour l’ordinateur.

Au fur et à mesure que l’auteur tape la question, les hypothèses de l’ordinateur sont classées par ordre de priorité. Les mots qui sont responsables des hypothèses de l’ordinateur sont mis en évidence.

Le système peut répondre correctement à une question et l’interface mettra en évidence les mots ou les phrases qui ont conduit à la réponse. Avec ces informations, l’auteur peut alors éditer la question pour la rendre plus difficile pour l’ordinateur, mais la question aura toujours le même sens. Alors que l’ordinateur sera finalement dérouté, les humains experts seront toujours capables de répondre.

Lorsque les humains et les ordinateurs ont travaillé ensemble, ils ont pu développer 1 213 questions informatiques que l’ordinateur n’a pas pu répondre. Les chercheurs ont testé les questions dans une compétition entre des joueurs humains et des ordinateurs. Les joueurs humains comprenaient des équipes de quiz de lycée et des champions de « Jeopardy ! ». L’équipe humaine la plus faible a pu battre le système informatique le plus fort.

Shi Feng, un étudiant en sciences informatiques de l’UMD et co-auteur de l’article, a parlé de la nouvelle recherche.

« Pendant trois ou quatre ans, les gens ont été conscients que les systèmes de réponses informatiques sont très fragiles et peuvent être trompés très facilement », a-t-elle déclaré. « Mais c’est le premier article dont nous sommes conscients qui utilise réellement une machine pour aider les humains à briser le modèle lui-même. »

Les questions utilisées ont pu révéler six phénomènes linguistiques différents qui déroutent les ordinateurs. Il y a deux catégories. La première est les phénomènes linguistiques qui incluent la paraphrase, le langage distrayant et les contextes inattendus. La deuxième est les compétences de raisonnement et inclut la logique et le calcul, la triangulation mentale des éléments d’une question et la combinaison de plusieurs étapes pour former une conclusion.

« Les humains sont capables de généraliser plus et de voir des connexions plus profondes », a déclaré Boyd-Garber. « Ils n’ont pas la mémoire infinie des ordinateurs, mais ils ont toujours un avantage en étant capables de voir la forêt à travers les arbres. Le catalogage des problèmes que les ordinateurs ont nous aide à comprendre les problèmes que nous devons résoudre, afin que nous puissions réellement obtenir que les ordinateurs commencent à voir la forêt à travers les arbres et répondent aux questions de la manière dont les humains le font. »

Cette recherche pose les fondements pour que les systèmes informatiques maîtrisent éventuellement la langue humaine. Elle continuera sans aucun doute à être développée et améliorée.

« Cet article établit un programme de recherche pour les prochaines années, afin que nous puissions réellement obtenir que les ordinateurs répondent bien aux questions », a déclaré Boyd-Garber.