Искусственные интеллект чат-боты борются с лингвистическим пониманием

Появление искусственных интеллект чат-ботов изменило опыт общения, принеся достижения, которые似乎 параллельны человеческому пониманию и использованию языка. Эти чат-боты, работающие на основе значительных языковых моделей, становятся все более умелыми в навигации по сложностям человеческого взаимодействия.

Однако недавнее исследование показало постоянную уязвимость этих моделей в различении естественного языка и бессмысленных предложений. Исследование, проведенное исследователями Колумбийского университета, представляет интересные выводы о потенциальных улучшениях в работе чат-ботов и обработке человеческого языка.

Изучение языковых моделей

Команда подробно рассказала о своем исследовании, в котором были использованы девять разных языковых моделей, подвергнутых numerous парам предложений. Человеческие участники исследования были попрослены определить более «естественное» предложение в каждой паре, отражающее повседневное использование. Модели были затем оценены на основе того, насколько их оценки совпадали с человеческими выборами.

Когда модели были сравнены друг с другом, модели, основанные на трансформерных нейронных сетях, показали лучшую производительность по сравнению с более простыми рекуррентными нейронными сетями и статистическими моделями. Однако даже более сложные модели демонстрировали ошибки, часто выбирая предложения, которые люди считали бессмысленными.

Борьба с бессмысленными предложениями

Доктор Николаус Кригескорте, главный исследователь в Институте Зукермана Колумбийского университета, подчеркнул относительный успех больших языковых моделей в захвате важных аспектов, которые были пропущены более простыми моделями. Он отметил: «Тот факт, что даже лучшие модели, которые мы изучали, все еще могут быть обмануты бессмысленными предложениями, показывает, что их вычисления缺ают чего-то в том, как люди обрабатывают язык».

Заметный пример из исследования подчеркнул модели, такие как BERT, которые неправильно оценивали естественность предложений, в отличие от моделей, таких как GPT-2, которые соответствовали человеческим суждениям. Преобладающие несовершенства в этих моделях, как отметил Кристофер Балдассано, доктор философии, ассистент профессора психологии в Колумбийском университете, вызывают беспокойство по поводу зависимости от систем искусственного интеллекта в процессах принятия решений, привлекая внимание к их apparent «слепым пятнам» в маркировке предложений.

Последствия и будущие направления

Провалы в производительности и изучение причин, по которым некоторые модели превосходят другие, являются областями интереса для доктора Кригескорте. Он считает, что понимание этих различий может существенно продвинуть прогресс в языковых моделях.

Исследование также открывает возможности для изучения того, могут ли механизмы чат-ботов искусственного интеллекта вызвать новые научные исследования, помогая нейробиологам расшифровать сложности человеческого мозга.

Тал Голан, доктор философии, соответствующий автор статьи, выразил интерес к пониманию человеческих мыслительных процессов, учитывая растущие возможности инструментов искусственного интеллекта в обработке языка. «Сравнивая их понимание языка с нашим, мы получаем новый подход к思考 о том, как мы думаем», – прокомментировал он.

Изучение лингвистических возможностей чат-ботов искусственного интеллекта показало постоянные проблемы в согласовании их понимания с человеческой когнитивной деятельностью.

Продолжающиеся усилия по изучению этих различий и последующие открытия готовы не только повысить эффективность чат-ботов искусственного интеллекта, но и раскрыть многочисленные слои человеческих когнитивных процессов.

Сопоставление искусственного интеллекта, основанного на языковом понимании, и человеческой когнитивной деятельности закладывает основу для многофакторных исследований, потенциально меняющих восприятие и продвигающих знания в взаимосвязанных областях искусственного интеллекта и нейробиологии.