Чат-боты с искусственным интеллектом борются с лингвистическим пониманием

Появление чат-ботов с искусственным интеллектом (ИИ) изменило формат разговорного опыта, создав достижения, которые, похоже, параллельны человеческому пониманию и использованию языка. Эти чат-боты, основанные на содержательных языковых моделях, становятся искусными в преодолении сложностей человеческого взаимодействия.

Тем не менее, недавний проведенное исследование выявил стойкую уязвимость этих моделей в различении естественного языка и бессмыслицы. Исследование, проведенное исследователями Колумбийского университета, дает интригующую информацию о потенциальных улучшениях производительности чат-ботов и обработки человеческого языка.

Исследование языковых моделей

Команда подробно остановилась на своем исследовании с использованием девяти различных языковых моделей, подвергнутых многочисленным парам предложений. Участников исследования попросили найти в каждой паре более «естественное» предложение, отражающее повседневное употребление. Затем модели оценивались на основе того, резонируют ли их оценки с человеческим выбором.

Когда модели сравнивались друг с другом, модели, основанные на нейронных сетях-трансформаторах, показали превосходную производительность по сравнению с более простыми моделями рекуррентных нейронных сетей и статистическими моделями. Однако даже более сложные модели демонстрировали ошибки, часто выбирая предложения, которые люди воспринимали как бессмысленные.

Борьба с бессмысленными предложениями

Доктор Николаус Кригескорте, главный исследователь Института Цукермана Колумбийского университета, подчеркнул относительную успешность больших языковых моделей в выявлении важных аспектов, упускаемых более простыми моделями. Он отметил: «То, что даже лучшие из изученных нами моделей всё ещё можно обмануть бессмысленными предложениями, показывает, что их вычислениям не хватает чего-то в том, как человек обрабатывает язык».

Яркий пример из исследования показал, что такие модели, как BERT, неверно оценивают естественность предложений, в отличие от таких моделей, как GPT-2, которые соответствуют человеческим суждениям. Преобладающие несовершенства этих моделей, как отметил Кристофер Бальдассано, доктор философии, доцент кафедры психологии Колумбийского университета, вызывают обеспокоенность по поводу использования систем искусственного интеллекта в процессах принятия решений, привлекая внимание к их очевидным «слепым пятнам» в маркировке. предложения.

Последствия и будущие направления

Разрывы в производительности и исследование того, почему некоторые модели превосходят другие, представляют собой области интересов доктора Кригескорте. Он считает, что понимание этих несоответствий может существенно ускорить прогресс в языковых моделях.

Исследование также открывает возможности для изучения того, могут ли механизмы чат-ботов на основе искусственного интеллекта послужить толчком к новым научным исследованиям, помогая нейробиологам расшифровывать тонкости человеческого мозга.

Таль Голан, доктор философии, автор-корреспондент статьи, выразил интерес к пониманию мыслительных процессов человека, учитывая растущие возможности инструментов ИИ в обработке языка. «Сравнение их понимания языка с нашим даёт нам новый подход к пониманию того, как мы думаем», — прокомментировал он.

Исследование лингвистических возможностей чат-ботов с искусственным интеллектом выявило сохраняющиеся проблемы в согласовании их понимания с человеческим познанием.

Постоянные усилия по углублению в эти различия и последующие открытия призваны не только повысить эффективность чат-ботов с искусственным интеллектом, но и раскрыть бесчисленные слои человеческих когнитивных процессов.

Сопоставление понимания языка, управляемого ИИ, и человеческого познания закладывает основу для многогранных исследований, потенциально меняющих восприятие и расширяющих знания во взаимосвязанных сферах ИИ и нейробиологии.