Исследователи разработали набор вопросов, способных запутать лучшие компьютеры

Исследователи из Университета Мэриленда смогли создать набор вопросов, которые легко ответить людям, но трудно ответить некоторым из лучших компьютерных систем, существующих сегодня. Команда сгенерировала вопросы посредством сотрудничества человека и компьютера и смогла создать базу данных из более чем 1200 слов. Если компьютерная система сможет выучить и освоить эти вопросы, она будет иметь лучшее понимание человеческого языка среди всех существующих компьютерных систем.

Работа была опубликована в статье в журнале Transactions of the Association for Computational Linguistics.

Джордан Бойд-Гарбер, доцент компьютерных наук в Университете Мэриленда и старший автор статьи, рассказал о новых разработках.

“Большинство компьютерных систем ответов на вопросы не объясняют, почему они отвечают так, как они делают, но наша работа помогает нам увидеть, что компьютеры действительно понимают”, – сказал он. “Кроме того, мы создали набор данных для тестирования компьютеров, который покажет, действительно ли компьютерная языковая система читает и выполняет те же виды обработки, что и люди.”

В настоящее время вопросы для этих программ и систем генерируются либо людьми, либо компьютерами. Проблема заключается в том, что когда люди генерируют вопросы, они не знают всех элементов вопроса, которые запутывают компьютеры. Компьютерные системы, с другой стороны, используют формулы, пишут вопросы с пробелами или делают ошибки, которые могут генерировать бессмыслицу.

Чтобы получить сотрудничество между людьми и компьютерами, которое позволило бы им генерировать вопросы, Бойд-Гарбер и команда исследователей создали специальный компьютерный интерфейс. Согласно им, он может сказать, о чем “думает” компьютер, пока человек набирает вопрос. Писатель может затем редактировать и изменять вопрос на основе слабостей компьютера. Это может генерировать запутанность для компьютера.

Когда писатель набирает вопрос, компьютерные догадки располагаются в ранжированном порядке. Слова, ответственные за догадки компьютера, подсвечиваются.

Система может правильно ответить на вопрос, и интерфейс подсвечивает слова или фразы, которые привели к ответу. С этой информацией автор может затем редактировать вопрос, чтобы сделать его более трудным для компьютера, но вопрос все равно будет иметь тот же смысл. Хотя компьютер в конечном итоге запутается, экспертные люди все равно смогут ответить.

Когда люди и компьютеры работали вместе, они смогли разработать 1213 компьютерных вопросов, на которые компьютер не смог ответить. Исследователи протестировали вопросы в соревновании между человеческими игроками и компьютерами. Человеческие игроки включали школьные команды по тривии и чемпионов “Jeopardy!”. Самая слабая человеческая команда смогла победить самую сильную компьютерную систему.

Ши Фэн, аспирант-компьютерщик из Университета Мэриленда и соавтор статьи, рассказал о новых исследованиях.

“В течение трех или четырех лет люди знали, что компьютерные системы ответов на вопросы очень хрупки и могут быть легко обмануты”, – сказала она. “Но это первая статья, о которой мы знаем, которая фактически использует машину, чтобы помочь людям разрушить саму модель.”

Вопросы, использованные для раскрытия шести различных языковых явлений, которые запутывают компьютеры. Существует две категории. Первая – лингвистические явления, которые включают перефразирование, отвлекающий язык и неожиданные контексты. Вторая – навыки рассуждения и включает логические и вычислительные операции, ментальную триангуляцию элементов в вопросе и объединение нескольких шагов для формирования вывода.

“Люди способны обобщать больше и видеть более глубокие связи”, – сказал Бойд-Гарбер. “У них нет бесконечной памяти компьютеров, но у них все равно есть преимущество в том, что они могут видеть лес за деревьями. Каталог проблем компьютеров помогает нам понять проблемы, которые нам нужно решить, чтобы мы могли фактически получить компьютеры, которые начинают видеть лес за деревьями и отвечают на вопросы так, как это делают люди.”

Это исследование закладывает основу для компьютерных систем, которые в конечном итоге овладеют человеческим языком. Оно, безусловно, будет продолжать разрабатываться и совершенствоваться.

“Эта статья закладывает основу для исследовательской программы на следующие несколько лет, чтобы мы могли фактически получить компьютеры, которые отвечают на вопросы хорошо”, – сказал Бойд-Гарбер.