Способности ИИ к аналоговому рассуждению: вызов человеческому интеллекту?

Аналоговое рассуждение, уникальная способность, которой обладают люди, чтобы решать незнакомые проблемы, проводя параллели с известными проблемами, долгое время считалась характерной функцией человеческого когнитивного процесса. Однако новаторское исследование, проведенное психологами UCLA, представляет убедительные результаты, которые могут заставить нас пересмотреть это.

GPT-3: сопоставление с человеческим интеллектом?

Исследование UCLA показало, что GPT-3, языковая модель ИИ, разработанная OpenAI, демонстрирует способности к рассуждению, почти сопоставимые с возможностями студентов колледжа, особенно когда речь идет о решении проблем, аналогичных тем, которые встречаются в тестах на интеллект и стандартизированных экзаменах, таких как SAT. Это откровение, опубликованное в журнале Nature Human Behaviour, поднимает интересный вопрос: имитирует ли GPT-3 человеческое рассуждение благодаря своему обширному языковому обучающему набору данных или же оно использует совершенно новый когнитивный процесс?

Точная работа GPT-3 остается скрытой OpenAI, что оставляет исследователей UCLA любопытными о механизме, лежащем в основе его аналоговых рассуждений. Несмотря на похвальную производительность GPT-3 на определенных задачах рассуждения, этот инструмент не без недостатков. Тейлор Вебб, основной автор исследования и постдокторант UCLA, отметил: “Хотя наши результаты впечатляют, важно подчеркнуть, что эта система имеет значительные ограничения. GPT-3 может выполнять аналоговое рассуждение, но оно испытывает трудности с задачами, тривиальными для людей, такими как использование инструментов для физической задачи”.

Способности GPT-3 были проверены с помощью задач, вдохновленных прогрессивными матрицами Рэйвена – тестом, включающим сложные последовательности фигур. Преобразовав изображения в текстовый формат, который мог расшифровать GPT-3, Вебб обеспечил, что это были совершенно новые задачи для ИИ. Когда его сравнили с 40 студентами UCLA, GPT-3 не только соответствовал человеческой производительности, но и отражал ошибки, которые совершали люди. Модель ИИ точно решила 80% задач, превысив средний человеческий балл, но оставаясь в пределах диапазона лучших человеческих исполнителей.

Команда дальше проверила способности GPT-3 с помощью неопубликованных аналоговых вопросов SAT, и ИИ превзошел средний человеческий результат. Однако он немного ошибся, когда попытался провести аналогии из коротких историй, хотя более новая модель GPT-4 показала улучшенные результаты.

Сокращение разрыва между когнитивными способностями ИИ и человека

Исследователи UCLA не останавливаются на простых сравнениях. Они начали разрабатывать компьютерную модель, вдохновленную человеческим когнитивным процессом, постоянно сравнивая ее возможности с коммерческими моделями ИИ. Кит Холиок, профессор психологии UCLA и соавтор, заметил: “Наша психологическая модель ИИ превосходила другие в аналоговых задачах, пока GPT-3 не обновилась до версии, которая показала превосходящие или эквивалентные возможности”.

Однако команда определила определенные области, где GPT-3 отстает, особенно в задачах, требующих понимания физического пространства. В задачах, включающих использование инструментов, решения GPT-3 были заметно неверными.

Хонджинг Лу, старший автор исследования, выразил удивление от скачков в технологиях за последние два года, особенно в способности ИИ к рассуждению. Но вопрос о том, действительно ли эти модели “думают” как люди или просто имитируют человеческую мысль, остается открытым. Поиск информации о когнитивных процессах ИИ требует доступа к внутренней части моделей ИИ, что может сформировать будущую траекторию ИИ.

Эхо этого настроения, Вебб заключает: “Доступ к внутренней части моделей GPT значительно выиграет для исследователей ИИ и когнитивных процессов. Сейчас мы ограничены только входными и выходными данными, и это не имеет того глубокого смысла, к которому мы стремимся”.