Способности аналогового рассуждения ИИ: вызов человеческому интеллекту?

Аналоговое рассуждение, уникальная способность, которую люди обладают для решения незнакомых проблем, проводя параллели с известными проблемами, долгое время считалась характерной человеческой когнитивной функцией. Однако, новаторское исследование, проведенное психологами из UCLA, представляет убедительные результаты, которые могут заставить нас переоценить это.

GPT-3: соответствие человеческому интеллекту?

Исследование UCLA показало, что GPT-3, языковая модель ИИ, разработанная OpenAI, демонстрирует способности рассуждения, почти сопоставимые с возможностями студентов колледжа, особенно когда речь идет о решении проблем, аналогичных тем, которые встречаются в тестах на интеллект и стандартизированных экзаменах, таких как SAT. Это открытие, опубликованное в журнале Нейронаучное поведение человека, вызывает интересный вопрос: имитирует ли GPT-3 человеческое рассуждение благодаря своей обширной языковой базе данных, или это новый когнитивный процесс?

Точные механизмы работы GPT-3 остаются скрытыми от OpenAI, оставляя исследователей UCLA любопытными о механизме, лежащем в основе его аналоговых рассуждений. Несмотря на впечатляющие результаты GPT-3 на определенных задачах рассуждения, этот инструмент не без недостатков. Тейлор Вебб, основной автор исследования и постдокторант UCLA, отметил: “Хотя наши результаты впечатляющие, важно подчеркнуть, что эта система имеет значительные ограничения. GPT-3 может выполнять аналоговое рассуждение, но он испытывает трудности с задачами, тривиальными для людей, такими как использование инструментов для физической задачи.”

Способности GPT-3 были проверены с помощью проблем, вдохновленных прогрессивными матрицами Рэйвена – тестом, включающим сложные последовательности фигур. Преобразовав изображения в текстовый формат, который GPT-3 мог расшифровать, Вебб обеспечил, что это были совершенно новые задачи для ИИ. Когда его сравнили с 40 студентами UCLA, GPT-3 не только соответствовал человеческим результатам, но и повторял ошибки, сделанные людьми. Модель ИИ точно решила 80% проблем, превысив средний человеческий результат, но оставаясь в пределах диапазона лучших человеческих результатов.

Команда进一步 проверила возможности GPT-3 с помощью неопубликованных аналоговых вопросов SAT, и ИИ превзошел средний человеческий результат. Однако он немного споткнулся, когда попытался провести аналогии из коротких историй, хотя новая модель GPT-4 показала улучшенные результаты.

Снижение разрыва между когнитивными способностями человека и ИИ

Исследователи UCLA не останавливаются на простых сравнениях. Они приступили к разработке компьютерной модели, вдохновленной человеческой когнитивностью, постоянно сравнивая ее возможности с коммерческими моделями ИИ. Кит Холиок, профессор психологии UCLA и соавтор, заметил: “Наша психологическая модель ИИ превзошла другие в аналоговых задачах до последнего обновления GPT-3, которое показало лучшие или эквивалентные возможности.”

Однако команда определила определенные области, где GPT-3 отстает, особенно в задачах, требующих понимания физического пространства. В задачах, связанных с использованием инструментов, решения GPT-3 были заметно неуместными.

Хонджинг Лу, старший автор исследования, выразил удивление от скачков технологий за последние два года, особенно в способности ИИ рассуждать. Но вопрос о том, действительно ли эти модели “думают” как люди или просто имитируют человеческую мысль, все еще обсуждается. Поиск прозрений в когнитивных процессах ИИ требует доступа к задней части моделей ИИ, шаг, который может сформировать будущую траекторию ИИ.

Эхо этого настроения, Вебб заключает: “Доступ к задней части моделей GPT бы сильно выиграл ИИ и когнитивным исследователям. В настоящее время мы ограничены входными и выходными данными, и это лишено решающей глубины, к которой мы стремимся.”