Дослідження показує, що LLM за замовчуванням використовують просте розумування, коли складність збільшується

Команда дослідників опублікувала комплексне дослідження 20 листопада, що аналізує понад 192 000 слідів розумування з більших мовних моделей (LLM), показуючи, що системи штучного інтелекту використовують поверхневі, лінійні стратегії, а не ієрархічні когнітивні процеси, яких природно володіють люди.

Команда дослідників вивчила 18 різних моделей у текстових, візуальних та аудіо завданнях з розумуванням, порівнюючи їх підходи з 54 людськими слідами думок, зібраними спеціально для дослідження. Аналіз встановив taksonомію з 28 когнітивних елементів, які охоплюють обчислювальні обмеження, мета-когнітивний контроль, знання та операції перетворення – надають框 для оцінки не тільки того, чи дають моделі правильні відповіді, але й того, як вони до них приходять.

Фундаментальні відмінності в когнітивній архітектурі

Людське розумування постійно демонструє ієрархічне вкладення та мета-когнітивний моніторинг – здатність відображати та регулювати власні процеси мислення. Люди легко організовують інформацію у вкладені структури, активно відстежуючи свій прогрес через складні завдання.

LLM переважно використовують поверхневе прямое зв’язування, рухаючись крок за кроком через завдання без ієрархічної організації або самоаналізу, який характеризує людське сприйняття. Ця розбіжність стає найбільш вираженою, коли завдання неструктуровані або двозначні, де людська адаптивність значно перевершує підходи штучного інтелекту.

Дослідження показало, що мовні моделі володіють поведінковими компонентами, пов’язаними з успішним розумуванням, але часто не застосовують їх спонтанно. Продуктивність різко змінюється залежно від типу завдання: розумування дилем показало найбільшу дисперсію, при цьому менші моделі значно боролися, тоді як логічне розумування показало помірну продуктивність, при якій більші моделі загалом перевершували менші. Моделі демонструють контрінтуїтивні слабкості, успішно виконуючи складні завдання, але не проходячи простіші варіанти.

Поліпшення продуктивності через кероване розумування

Команда дослідників розробила кероване розумування під час тестування, яке автоматично створює успішні когнітивні структури, демонструючи поліпшення продуктивності до 66,7% на складних завданнях, коли моделі спонукаються до прийняття більш людських підходів до розумування. Це відкриття свідчить про те, що LLM володіють латентними можливостями для більш складного розумування, але потребують явного керівництва для ефективного застосування їх.

Пропуск між людським і штучним розумуванням зростає з підвищенням складності завдання. Хоча моделі можуть впоратися з прямими завданнями лише за допомогою прямого зв’язування, вони борються з такими рекурсивними, самоаналізуючими стратегіями, які люди природно застосовують, коли стикаються з нечіткими або багаторівневими викликами.

Публічно доступний набір даних дослідження надає базу для майбутніх досліджень порівняння штучного та людського інтелекту. Відображаючи 28 окремих когнітивних елементів,.framework дозволяє дослідникам точно визначити, де штучне розумування виходить з ладу, а не просто вимірювати точність.

Вплив на розвиток штучного інтелекту

Результати дослідження підкреслюють фундаментальну обмеженість сучасних систем штучного інтелекту: пропуск між обчислювальною здатністю та справжньою когнітивною складністю. Моделі, навчені на величезних наборах даних, можуть шляхом узгодження знайти правильні відповіді на багато завдань, але не володіють рефлексивним, ієрархічним мисленням, яке характеризує людське вирішення проблем.

Це дослідження продовжує зростаючі побоювання щодо обмежень штучного інтелекту, виявлених у різних галузях. Поліпшення продуктивності за допомогою керованого розумування свідчить про те, що кращі стратегії спонукання та модифікації архітектури можуть допомогти моделям більш ефективно застосувати свої латентні можливості розумування.

Найбільший внесок дослідження може полягати у детальній taksonomії когнітивних елементів, наданні дослідникам та розробникам конкретних цілей для покращення. Замість того, щоб розглядати розумування як монолітну здатність,.framework розбиває його на вимірювані компоненти, які можна окремо вдосконалити за допомогою модифікацій навчання або технік інженерії спонукання.