研究者がコンピュータを混乱させる質問のセットを開発

メリーランド大学の研究者は、人間には簡単に答えられるが、現在存在する最も優れたコンピュータの回答システムには難しい質問のセットを作成することができました。研究チームは人間とコンピュータの共同作業を通じて質問を生成し、1,200を超える単語のデータベースを作成することができました。コンピュータシステムがこれらの質問を学習し、習得することができれば、現在存在するコンピュータシステムの中で最も優れた人間の言語理解力を持ちます。

この研究は、計算言語学協会の会誌に掲載された記事で発表されました。

ジョーダン・ボイド＝ガーバー氏は、メリーランド大学のコンピューターサイエンスの准教授であり、この研究の著者です。

「大多数の質問回答コンピュータシステムは、自分がなぜそのように回答するのか説明できないですが、私たちの研究は、コンピュータが実際に何を理解しているかを明らかにするのに役立ちます。」とボイド＝ガーバー氏は述べています。 「さらに、コンピュータ言語システムが実際に読み込み、人間と同じ種類の処理を行っているかどうかを明らかにするためのデータセットを生成しました。」

現在、コンピュータプログラムやシステムの質問は、人間の著者またはコンピュータによって生成されます。問題は、人間が質問を生成する場合、コンピュータに混乱を招く質問のさまざまな要素をすべて認識できないことです。コンピュータシステムは、式を使用したり、埋め込み質問を作成したり、ミスを犯したりして、無意味な質問を生成することがあります。

人間とコンピュータの共同作業を可能にするために、ボイド＝ガーバー氏と研究チームは特別なコンピュータインターフェースを作成しました。インターフェースは、人間が質問を入力するときにコンピュータが「考える」ことができるように設計されています。作成者は、コンピュータの弱点に基づいて質問を編集および変更できます。これにより、コンピュータに混乱を招く質問を生成できます。

質問を入力するとき、コンピュータの推測はランク付けされます。コンピュータの推測に寄与する単語は強調表示されます。

システムは質問に正しく回答し、インターフェースは回答に至る単語やフレーズを強調表示します。この情報を使用して、作成者は質問を編集してコンピュータに回答を難しくすることができますが、質問の意味は同じままです。コンピュータは最終的に混乱しますが、専門家の人間はまだ回答できます。

人間とコンピュータが共同作業した結果、コンピュータが回答できない1,213の質問が開発されました。研究者は、質問を人間のプレーヤーとコンピュータの間の競争でテストしました。人間のプレーヤーには、高校のクイズチームや「ジェパディ！」のチャンピオンが含まれていました。最も弱い人間チームは、最も強いコンピュータシステムを破ることができました。

シーフェン氏は、メリーランド大学のコンピューターサイエンスの大学院生であり、この研究の共同著者です。

「3、4年前から、コンピュータの質問回答システムは非常に脆弱で、簡単に欺かれることがわかっていました。」とシーフェン氏は述べています。 「しかし、この研究は、実際に機械を使用して人間がモデルを破壊することを可能にする最初の研究です。」

使用された質問は、コンピュータに混乱を招く6つの言語現象を明らかにしました。2つのカテゴリがあります。最初のカテゴリは言語現象であり、言い換え、妨害的な言語、予想外のコンテキストが含まれます。2番目のカテゴリは推論スキルであり、論理と計算、質問内の要素の精神的な三角測量、結論を導き出すための複数のステップの組み合わせが含まれます。

「人間はより抽象的に考え、より深いつながりを見出すことができます。」とボイド＝ガーバー氏は述べています。 「コンピュータの限りない記憶力はないですが、まだ森を見て木を見ないでいるという点では優れています。コンピュータの問題をカタログ化することで、コンピュータが人間のように質問に回答するために必要な問題を理解することができます。」

この研究は、コンピュータシステムが最終的に人間の言語を習得する基礎を築きます。確実に発展し、改善され続けるでしょう。

「この研究は、次の数年間の研究計画を示しており、コンピュータが質問にうまく回答できるようにするためのものです。」とボイド＝ガーバー氏は述べています。