Forscher entwickeln Satz von Fragen, der selbst die besten Computer verwirren kann

Forscher der University of Maryland haben es geschafft, einen Satz von Fragen zu erstellen, die für Menschen leicht zu beantworten sind, aber für einige der besten Computer-Beantwortungssysteme, die heute existieren, schwierig sind. Das Team hat die Fragen durch eine Mensch-Computer-Zusammenarbeit generiert und eine Datenbank mit mehr als 1.200 Wörtern erstellt. Wenn ein Computer-System in der Lage ist, diese Fragen zu lernen und zu meistern, wird es das beste Verständnis der menschlichen Sprache unter allen aktuellen Computer-Systemen haben.

Die Arbeit wurde in einem Artikel im Journal Transactions of the Association for Computational Linguistics veröffentlicht.

Jordan Boyd-Gaber, Associate Professor für Informatik an der UMD und Senior-Autor des Papiers, sprach über die neuen Entwicklungen.

“Die meisten Frage-Beantwortungssysteme erklären nicht, warum sie auf eine bestimmte Weise antworten, aber unsere Arbeit hilft uns zu verstehen, was Computer tatsächlich verstehen”, sagte er. “Außerdem haben wir eine Datenbank erstellt, um Computer zu testen, die zeigen, ob ein Computer-Sprachsystem tatsächlich liest und die gleichen Arten von Verarbeitungen durchführt, die Menschen durchführen können.”

Derzeit werden Fragen für diese Programme und Systeme von menschlichen Autoren oder Computern generiert. Das Problem ist, dass Menschen, wenn sie Fragen generieren, nicht alle verschiedenen Elemente einer Frage kennen, die für Computer verwirrend sind. Computer-Systeme hingegen verwenden Formeln, erstellen Fragen mit Lücken oder machen Fehler, die Unsinn erzeugen können.

Um eine Zusammenarbeit zwischen Menschen und Computern zu ermöglichen, die es ihnen ermöglichte, Fragen zu generieren, erstellten Boyd-Garber und das Team von Forschern eine spezielle Computer-Schnittstelle. Laut ihnen kann sie erkennen, was ein Computer “denkt”, während ein Mensch eine Frage tippt. Der Schreiber kann dann die Frage bearbeiten und ändern, basierend auf den Schwächen des Computers. Dies kann Verwirrung für den Computer erzeugen.

Wenn der Schreiber die Frage tippt, werden die Vermutungen des Computers in einer Rangliste angezeigt. Die Wörter, die für die Vermutungen des Computers verantwortlich sind, werden hervorgehoben.

Das System kann eine Frage richtig beantworten und die Schnittstelle hebt die Wörter oder Phrasen hervor, die zur Antwort geführt haben. Mit dieser Information kann der Autor die Frage bearbeiten, um sie für den Computer schwieriger zu machen, aber die Frage hat immer noch die gleiche Bedeutung. Während der Computer schließlich verwirrt sein wird, können Experten-Menschen immer noch antworten.

Als Menschen und Computer zusammenarbeiteten, konnten sie 1.213 Computer-Fragen entwickeln, die der Computer nicht beantworten konnte. Die Forscher testeten die Fragen in einem Wettbewerb zwischen menschlichen Spielern und Computern. Die menschlichen Spieler umfassten High-School-Trivia-Teams und “Jeopardy!”-Champions. Das schwächste menschliche Team konnte das stärkste Computer-System besiegen.

Shi Feng, ein Computer-Science-Graduiertenschüler von der UMD und Co-Autor des Papiers, sprach über die neue Forschung.

“Vor drei oder vier Jahren wussten die Menschen, dass Computer-Frage-Beantwortungssysteme sehr brüchig sind und leicht getäuscht werden können”, sagte sie. “Aber dies ist das erste Papier, von dem wir wissen, dass es tatsächlich eine Maschine verwendet, um Menschen zu helfen, das Modell selbst zu brechen.”

Die verwendeten Fragen konnten sechs verschiedene Sprachphänomene aufdecken, die Computer verwirren. Es gibt zwei verschiedene Kategorien. Die erste umfasst linguistische Phänomene, darunter Paraphrasierung, ablenkende Sprache und unerwartete Kontexte. Die zweite umfasst Denkfähigkeiten und umfasst Logik und Berechnung, mentale Triangulation von Elementen in einer Frage und die Kombination von mehreren Schritten, um zu einer Schlussfolgerung zu gelangen.

“Menschen können generalisieren und tiefergehende Verbindungen sehen”, sagte Boyd-Garber. “Sie haben nicht das unendliche Gedächtnis von Computern, aber sie haben immer noch einen Vorteil, wenn es darum geht, den Wald vor lauter Bäumen zu sehen. Die Katalogisierung der Probleme, mit denen Computer zu kämpfen haben, hilft uns, die Probleme zu verstehen, die wir angehen müssen, damit wir tatsächlich Computer dazu bringen können, Fragen auf die Weise zu beantworten, wie Menschen es tun.”

Diese Forschung legt den Grundstein für Computer-Systeme, die eventually die menschliche Sprache meistern werden. Sie wird zweifellos weiterentwickelt und verbessert.

“Dieses Papier legt eine Forschungsagenda für die nächsten Jahre fest, damit wir tatsächlich Computer dazu bringen können, Fragen gut zu beantworten”, sagte Boyd-Garber.