ИИ-чатботы борются с лингвистическим пониманием

Появление искусственного интеллекта (ИИ) чатботов изменило опыт разговоров, принеся достижения, которые, кажется, параллельны человеческому пониманию и использованию языка. Эти чатботы, работающие на основе существенных языковых моделей, становятся более умелыми в навигации по сложностям человеческого взаимодействия.

Однако недавнее исследование показало постоянную уязвимость этих моделей в различении естественного языка и бессмысленных выражений. Исследование, проведенное исследователями Колумбийского университета, представляет интересные идеи о потенциальных улучшениях в производительности чатботов и обработке человеческого языка.

Изучение языковых моделей

Команда подробно рассказала о своем исследовании, в котором участвовали девять разных языковых моделей, подвергнутых многочисленным парным предложениям. Человеческие участники исследования были попрослены определить более «естественное» предложение в каждой паре, отражающее повседневное использование. Модели были затем оценены на основе того, соответствуют ли их оценки человеческим выборам.

Когда модели были противопоставлены друг другу, модели, основанные на трансформаторных нейронных сетях, показали лучшую производительность по сравнению с более простыми рекуррентными нейронными сетями и статистическими моделями. Однако даже более сложные модели демонстрировали ошибки, часто выбирая предложения, воспринимаемые как бессмысленные людьми.

Борьба с бессмысленными предложениями

Доктор Николаус Криегескорте, основной исследователь в Институте Зукермана Колумбийского университета, подчеркнул относительный успех крупных языковых моделей в захвате важных аспектов, которые были пропущены более простыми моделями. Он отметил: «Тот факт, что даже лучшие модели, которые мы изучали, все еще могут быть обмануты бессмысленными предложениями, показывает, что их вычисления缺ают чего-то в том, как люди обрабатывают язык».

Заметный пример из исследования подчеркнул модели, такие как BERT, неправильно оценивающие естественность предложений, в отличие от моделей, таких как GPT-2, которые соответствовали человеческим суждениям. Преобладающие недостатки в этих моделях, как отметил Кристофер Балдассано, доктор психологии в Колумбийском университете, вызывают беспокойство по поводу зависимости от систем ИИ в процессах принятия решений, привлекая внимание к их явным «слепым пятнам» в маркировке предложений.

Последствия и будущие направления

Пробелы в производительности и изучение того, почему некоторые модели превосходят другие, являются областями интереса для доктора Криегескорте. Он считает, что понимание этих различий может существенно продвинуть прогресс в языковых моделях.

Исследование также открывает возможности для изучения того, могут ли механизмы в ИИ-чатботах вызвать новые научные исследования, помогая нейробиологам расшифровать сложности человеческого мозга.

Тал Гolan, доктор философии, соответствующий автор статьи, выразил интерес к пониманию человеческих мыслительных процессов, учитывая растущие возможности инструментов ИИ в обработке языка. «Сравнивая их понимание языка с нашим, мы получаем новый подход к размышлению о том, как мы думаем», — прокомментировал он.

Изучение лингвистических возможностей ИИ-чатботов показало постоянные проблемы в согласовании их понимания с человеческим познанием.

Непрерывные усилия по изучению этих различий и последующие открытия готовы не только повысить эффективность ИИ-чатботов, но и раскрыть многочисленные слои человеческих когнитивных процессов.

Сопоставление понимания языка, управляемого ИИ, и человеческого познания закладывает основу для многофакторных исследований, потенциально меняющих восприятие и продвигающих знания в взаимосвязанных областях ИИ и нейробиологии.