AI-чатботи борються зі зрозумілістю мови

Поява штучного інтелекту (AI) чатботів змінила досвід спілкування, принесши вдосконалення, які, здається, паралельні людському розумінню та використанню мови. Ці чатботи, які працюють на потужних мовних моделях, стають все більш досвідченими у навігації складностей людської взаємодії.

Однак, недавнє дослідження дослідження висвітлило постійну вразливість цих моделей у відрізненні природної мови від нісенсу. Дослідження, проведене дослідниками Колумбійського університету, представляє цікаві висновки щодо потенційних вдосконалень у роботі чатботів та обробці людської мови.

Дослідження мовних моделей

Команда розповіла про своє дослідження, яке включало дев’ять різних мовних моделей, які піддавалися численним парним реченням. Людям, які брали участь у дослідженні, було запропоновано визначити більш “природне” речення в кожній парі, що відображало повсякденне використання. Моделі були оцінені на основі того, чи їхні оцінки збігалися з людським вибором.

Коли моделі були протиставлені одна одній, ті, що базувалися на трансформаторних нейронних мережах, показали кращу продуктивність у порівнянні з простішими рекурентними нейронними мережами та статистичними моделями. Однак навіть більш досконалі моделі демонстрували помилки, часто вибираючи речення, які людьми сприймалися як безглузді.

Боротьба з безглуздими реченнями

Доктор Ніколас Крігескорте, головний дослідник Інституту Зукермана Колумбійського університету, підкреслив відносний успіх великих мовних моделей у захопленні важливих аспектів, яких не вистачало простішим моделям. Він зазначив: “То, що навіть найкращі моделі, які ми вивчали, все ще можуть бути обмануті безглуздими реченнями, показує, що їхні обчислення缺ують щось про те, як люди обробляють мову”.

Яскравий приклад з дослідження підкреслив, що моделі, такі як BERT, неправильно оцінювали природність речень, на відміну від моделей, таких як GPT-2, які збігалися з людськими судженнями. Превалюючі недоліки цих моделей, як зазначив Крістофер Балдассано, Ph.D., асистент-професор психології Колумбійського університету, викликають занепокоєння щодо залежності від систем штучного інтелекту у процесах прийняття рішень, привертаючи увагу до їхніх явних “сліпих плям” у маркуванні речень.

Наслідки та майбутні напрямки

Пропусти у продуктивності та дослідження того, чому деякі моделі перевершують інші, є сферами інтересу доктора Крігескорте. Він вважає, що розуміння цих розбіжностей може суттєво просунути розвиток мовних моделей.

Дослідження також відкриває шляхи для вивчення того, чи можуть механізми чатботів штучного інтелекту спровокувати нові наукові дослідження, допомагаючи нейробіологам розшифрувати складності людського мозку.

Тал Голан, Ph.D., відповідальний автор статті, висловив інтерес до розуміння людських процесів мислення, враховуючи зростаючі можливості інструментів штучного інтелекту у обробці мови. “Порівняння їхнього розуміння мови з нашим дає нам новий підхід до思考у про те, як ми думаємо”, – зазначив він.

Дослідження лінгвістичних можливостей чатботів штучного інтелекту викрило триваючі виклики у вирівнюванні їхнього розуміння з людською когніцією.

Постійні зусилля щодо вивчення цих розбіжностей та подальші відкриття готуються не тільки покращити ефективність чатботів штучного інтелекту, але й розшифрувати численні шари людських когнітивних процесів.

Протиставлення розуміння мови штучного інтелекту та людської когніції закладає основу для багатовимірних досліджень, які потенційно можуть змінити сприйняття та просунути знання в взаємопов’язаних сферах штучного інтелекту та нейробіології.