Чатботи штучного інтелекту борються з лінгвістичним розумінням

Поява чатботів штучного інтелекту (ШІ) змінила досвід спілкування, принесши досягнення, які здаються паралельними людському розумінню та використанню мови. Ці чатботи, які працюють на основі великих мовних моделей, стають все більш досвідченими у навигації складностей людської взаємодії.

Однак, недавнє дослідження показало, що ці моделі все ще вразливі до розрізнення природної мови та нісенсу. Дослідження, проведене дослідниками Колумбійського університету, надає цікаві висновки щодо потенційних поліпшень у роботі чатботів та обробці людської мови.

Дослідження мовних моделей

Команда розповіла про своє дослідження, яке включало дев’ять різних мовних моделей, які були піддані численним парним реченням. Людські учасники дослідження були запитані, щоб розрізнити більш “природне” речення в кожній парі, відображаючи повсякденне використання. Моделі були потім оцінені на основі того, чи їхні оцінки збігалися з людським вибором.

Коли моделі були протиставлені одна одній, ті, які були засновані на трансформерних нейронних мережах, показали кращу продуктивність порівняно з простішими рекурентними нейронними мережами та статистичними моделями. Однак навіть більш складні моделі демонстрували помилки, часто вибираючи речення, які люди сприймали як нісенс.

Боротьба з нісенсними реченнями

Доктор Ніколаус Крігескорте, головний дослідник Інституту Цукермана Колумбійського університету, підкреслив відносний успіх великих мовних моделей у захопленні важливих аспектів, яких не вистачає простішим моделям. Він зазначив: “Той факт, що навіть найкращі моделі, які ми вивчали, все ще можуть бути обмануті нісенсними реченнями, показує, що їхні обчислення缺ують щось про те, як люди обробляють мову”.

Вражаючий приклад з дослідження підкреслив, що моделі, такі як BERT, неправильно оцінювали природність речень, на відміну від моделей, таких як GPT-2, які збігалися з людськими судженнями. Превалюючі недоліки цих моделей, як зазначив Крістофер Бальдассано, Ph.D., асистент-професор психології Колумбійського університету, викликають занепокоєння щодо залежності від систем ШІ у процесах прийняття рішень, привертаючи увагу до їхніх явних “сліпих плям” у маркуванні речень.

Вплив і майбутні напрямки

Пропуски у продуктивності та дослідження того, чому деякі моделі перевершують інші, є сферами інтересу доктора Крігескорте. Він вважає, що розуміння цих розбіжностей може суттєво просунути розвиток мовних моделей.

Дослідження також відкриває можливості для дослідження того, чи можуть механізми чатботів ШІ спровокувати нові наукові дослідження, допомагаючи нейробіологам розшифрувати складності людського мозку.

Тал Голан, Ph.D., відповідальний автор статті, висловив інтерес до розуміння людських процесів мислення, враховуючи зростаючі можливості інструментів ШІ у обробці мови. “Порівняння їхнього розуміння мови з нашим дає нам новий підхід до思考 про те, як ми думаємо”, – зазначив він.

Дослідження лінгвістичних можливостей чатботів ШІ викрило тривожні труднощі у вирівнюванні їхнього розуміння з людською когніцією.

Постійні зусилля щодо вивчення цих розбіжностей та подальших відкриттів готуються не тільки покращити ефективність чатботів ШІ, але й розшифрувати численні шари людських когнітивних процесів.

Суперечність ШІ-заснованого розуміння мови та людської когніції створює основу для багатовимірних досліджень, потенційно змінюючи сприйняття та просунутий знання в взаємопов’язаних сферах ШІ та нейробіології.