Дослідники розробили набір питань, які можуть заплутати найкращі комп’ютерні системи

Дослідники з Університету Меріленду змогли створити набір питань, які легко відповісти людям, але складно відповісти деяким з найкращих комп’ютерних систем, які існують сьогодні. Команда створила питання за допомогою співробітництва людини та комп’ютера та змогла створити базу даних понад 1200 слів. Якщо комп’ютерна система зможе вивчити та оволодіти цими питаннями, вона матиме найкраще розуміння людської мови серед усіх комп’ютерних систем, які зараз існують.

Робота була опублікована в статті в журналі Transactions of the Association for Computational Linguistics.

Джордан Бойд-Гарбер, асоційований професор комп’ютерних наук в Університеті Меріленду та старший автор статті, розповів про нові розробки.

“Більшість комп’ютерних систем, які відповідають на питання, не пояснюють, чому вони відповідають певним чином, але наша робота допомагає нам побачити, що комп’ютери насправді розуміють”, – сказав він. “Крім того, ми створили набір даних для тестування комп’ютерних систем, який покаже, чи комп’ютерна мова система насправді читає та виконує ті ж самі види обробки, які можуть виконувати люди”.

На даний момент питання для цих програм та систем генеруються людьми або комп’ютерами. Проблема полягає в тому, що коли люди генерують питання, вони не знають усіх різних елементів питання, які можуть заплутати комп’ютери. Комп’ютерні системи, з іншого боку, використовують формули, створюють питання з пропусками або роблять помилки, які можуть генерувати безглуздість.

Для того щоб досягти співробітництва між людьми та комп’ютерами, яке дозволило б їм генерувати питання, Бойд-Гарбер та команда дослідників створили спеціальний комп’ютерний інтерфейс. За їхніми словами, він може сказати, про що “думає” комп’ютер, коли людина вводить питання. Тоді людина може редагувати та змінювати питання на основі слабкостей комп’ютера. Це дозволяє генерувати плутані питання для комп’ютера.

Коли людина вводить питання, комп’ютерні припущення розташовуються у порядку ранжування. Слова, які відповідають за комп’ютерні припущення, виділяються.

Система може правильно відповісти на питання, а інтерфейс виділяє слова або фрази, які привели до відповіді. З цією інформацією людина може редагувати питання, щоб зробити його складнішим для комп’ютера, але питання все одно матиме той же сенс. Хоча комп’ютер буде заплутаний, експерти-люди все одно зможуть відповісти.

Коли люди та комп’ютери працювали разом, вони змогли розробити 1213 комп’ютерних питань, на які комп’ютер не зміг відповісти. Дослідники протестували питання в змаганні між людьми та комп’ютерами. Людські учасники включали шкільні команди з тривіального питання та чемпіонів “Jeopardy!”. Найслабша людська команда змогла перемогти найсильнішу комп’ютерну систему.

Ші Фенг, аспірант комп’ютерних наук з Університету Меріленду та співавтор статті, розповів про нове дослідження.

“Три або чотири роки люди знали, що комп’ютерні системи відповідають на питання дуже хрупкі та можуть бути обмануті дуже легко”, – сказала вона. “Але це перша стаття, яку ми знаємо, яка насправді використовує машину, щоб допомогти людям зламати саму модель”.

Питання, які були використані, змогли показати шість різних мовних явищ, які заплутують комп’ютери. Є дві різні категорії. Перша – лінгвістичні явища, які включають перефразування, відволікаючу мову та несподівані контексти. Друга – навички мислення та включають логіку та обчислення, ментальну триангуляцію елементів у питанні та поєднання кількох кроків для формування висновку.

“Люди можуть узагальнювати більше та бачити глибші зв’язки”, – сказав Бойд-Гарбер. “У них немає безмежної пам’яті комп’ютерів, але вони все одно мають перевагу в тому, що можуть бачити ліс за деревами. Каталогізація проблем комп’ютерів допомагає нам зрозуміти питання, які потрібно вирішити, щоб комп’ютери могли почати бачити ліс за деревами та відповісти на питання так, як це роблять люди”.

Це дослідження закладає основу для комп’ютерних систем, які зможуть оволодіти людською мовою. Воно безумовно буде продовжено та покращено.

“Ця стаття закладає дослідницьку програму на найближчі кілька років, щоб ми могли насправді змусити комп’ютери відповісти на питання добре”, – сказав Бойд-Гарбер.