Дослідження показує, що великомасштабні мови за замовчуванням використовують просте мислення, коли збільшується складність

Команда дослідників опублікувала комплексне дослідження 20 листопада, яке аналізувало понад 192 000 слідів мислення з великомасштабних мовних моделей (LLM), що показало, що системи штучного інтелекту використовують мілкі, лінійні стратегії, а не ієрархічні когнітивні процеси, які природно використовуються людьми.

Дослідницька команда вивчила 18 різних моделей у текстових, візуальних та аудіо завданнях з мисленням, порівнюючи їх підходи з 54 людськими слідами мислення, зібраними спеціально для дослідження. Аналіз встановив таксономію з 28 когнітивних елементів, які охоплюють обчислювальні обмеження, метакогнітивний контроль, знання та операції перетворення – надавши rámework для оцінки не тільки того, чи дають моделі правильні відповіді, але й того, як вони приходять до цих висновків.

Фундаментальні відмінності у когнітивній архітектурі

Людське мислення постійно демонструє ієрархічне вкладення та метакогнітивний контроль – здатність відображати та регулювати власні мислительні процеси. Люди легко організовують інформацію у вкладені структури, одночасно активно відстежуючи свій прогрес у складних завданнях.

Великомасштабні мови переважно використовують мілке прямое зв’язування, рухаючись крок за кроком через завдання без ієрархічної організації чи самоаналізу, який характеризує людське мислення. Ця розбіжність стає найбільш вираженою, коли завдання неструктуровані або двозначні, де людська адаптивність значно перевершує підходи штучного інтелекту.

Дослідження показало, що мовні моделі володіють поведінковими компонентами, пов’язаними з успішним мисленням, але часто не застосовують їх спонтанно. Продуктивність варіюється драматично залежно від типу завдання: мислення у дилемах показало найбільшу дисперсію, тоді як менші моделі значно боролися, а логічне мислення показало помірну продуктивність, причому більші моделі загалом перевершували менші. Моделі демонструють контрінтуїтивні слабкості, успішно справляючись із складними завданнями, але не з простішими варіантами.

Поліпшення продуктивності через кероване мислення

Дослідницька команда розробила керівництво з мислення під час тестування, яке автоматично забезпечує успішні когнітивні структури, демонструючи поліпшення продуктивності до 66,7% у складних завданнях, коли моделі спонукаються до прийняття більш людських підходів до мислення. Це відкриття свідчить про те, що великомасштабні мови володіють латентними можливостями для більш складного мислення, але потребують явного керівництва для ефективного застосування цих можливостей.

Пропуск між людським і штучним мисленням зростає, коли збільшується складність завдання. Хоча моделі можуть впоратися з прямими завданнями лише за допомогою прямого зв’язування, вони боролися з такими рекурсивними, самоаналізуючими стратегіями, які люди природно застосовують, коли стикаються з двозначними чи багаторівневими викликами.

Дані дослідження публічно доступні та надають базу для майбутніх досліджень, що порівнюють штучний і людський інтелект. Описавши 28 різних когнітивних елементів, rámework дозволяє дослідникам точно визначити, де штучне мислення розбивається, а не просто вимірювати точність відповідей.

Вплив на розвиток штучного інтелекту

Результати підкреслюють фундаментальну обмеження сучасних систем штучного інтелекту: пропуск між обчислювальною здатністю та справжньою когнітивною складністю. Моделі, навчені на величезних наборах даних, можуть шляхом узгодження знайти правильні відповіді на багато завдань, але не володіють рефлексивним, ієрархічним мисленням, яке характеризує людське розв’язування проблем.

Це дослідження продовжує зростаючі побоювання щодо обмежень штучного мислення, визначених у різних галузях. Поліпшення продуктивності за допомогою керованого мислення свідчить про те, що кращі стратегії спонукання та модифікації архітектури можуть допомогти моделям ефективніше застосовувати свої латентні можливості мислення.

Найбільший внесок дослідження може полягати у його детальній таксономії когнітивних елементів, яка надає дослідникам та розробникам конкретні цілі для поліпшення. Замість того, щоб розглядати мислення як монолітну здатність, rámework розбиває його на вимірювані компоненти, які можна окремо звернутися через модифікації навчання чи техніки інженерії спонукання.