Міраж штучного інтелекту: чому ланцюг думок може не бути тим, чим ми його вважаємо

Великі мовні моделі (LLM) вразили нас своєю здатністю розбивати складні проблеми на окремі кроки. Коли ми просимо LLM розв’язати математичну задачу, вони тепер показують свою роботу, крок за кроком, перш ніж дійти до відповіді. Цей підхід, який називається Ланцюг думок (CoT), зробив системи штучного інтелекту схожими на людське мислення. Але що, якщо ця вражаюча здатність до розумових операцій насправді є ілюзією? Нові дослідження з Університету штату Аризона свідчать, що те, що виглядає як справжнє логічне мислення, може бути складною технікою розпізнавання закономірностей. У цій статті ми розглянемо це відкриття та проаналізуємо його наслідки для того, як ми проектуємо, оцінюємо та довіряємо системам штучного інтелекту.

Проблема зі сучасним розумінням

Ланцюг думок став одним з найбільш визначних досягнень у сфері штучного інтелекту. Він дозволяє моделям розв’язувати завдання, починаючи від математичних проблем і закінчуючи логічними головоломками, показуючи свою роботу через проміжні кроки. Ця очевидна здатність до розумових операцій привела багатьох до висновку, що системи штучного інтелекту розвивають інферентні можливості, подібні до людського мислення. Однак дослідники почали ставити під сумнів цю віру.

У недавньому дослідженні вони спостерігали, що коли моделям ставили питання, наприклад, чи була заснована США у високосний рік чи звичайний рік, LLM давали суперечливу відповідь. Хоча вони правильно ідентифікували причину, що 1776 рік ділиться на 4, і заявили, що це був високосний рік, моделі все ж таки дійшли висновку, що США були засновані у звичайний рік. У цьому випадку моделі продемонстрували знання правил і показали логічні кроки, але дійшли до суперечливого висновку.

Такі приклади свідчать про те, що між тим, що виглядає як мислення, і справжньою логічною інференцією може бути фундаментальна пропасть.

Новий погляд на розуміння штучного інтелекту

Ключовим інноваційним аспектом цього дослідження є введення “лінзи даних” для вивчення ланцюга думок. Дослідники припустили, що ланцюг думок є складною технікою розпізнавання закономірностей, яка працює на статистичних закономірностях у навчальних даних, а не на справжньому логічному мисленні. Модель генерує ланцюги мислення, які наближені до тих, які вона бачила раніше, а не виконують логічні операції.

Для перевірки цієї гіпотези дослідники створили DataAlchemy, контрольоване експериментальне середовище. Замість тестування попередньо навчених LLM з їхніми складними історіями навчання, вони навчали менші моделі з нуля на спеціально розроблених завданнях. Цей підхід усуває складність великомасштабного попереднього навчання і дозволяє систематично тестувати, як зміни розподілу даних впливають на результати мислення.

Дослідники зосередилися на простих завданнях перетворення, що включають послідовності букв. Наприклад, вони навчили моделі застосовувати операції, такі як обертання букв у алфавіті (А стає Н, Б стає О) або зміна позицій у послідовності (APPLE стає EAPPL). Об’єднавши ці операції, дослідники створили ланцюги мислення різної складності. Цей підхід дав їм перевагу точності. Вони можуть точно контролювати те, що моделі вивчили під час навчання, а потім тестувати, як добре вони узагальнюють до нових ситуацій. Цей рівень контролю неможливий з великими комерційними системами штучного інтелекту, навченими на величезних і різноманітних наборах даних.

Коли штучний інтелект втрачає здатність до мислення

Дослідники протестували ланцюг думок у трьох критичних вимірах, де реальні застосування можуть відрізнятися від навчальних даних.

Генералізація завдань вивчала, як моделі справляються з новими завданнями, яких вони ніколи не зустрічали раніше. Коли їх тестували на перетворення, ідентичні до навчальних даних, моделі досягли ідеальної продуктивності. Однак незначні відхилення спричинили драматичні провали у їхніх здатностях до мислення. Навіть коли нові завдання були композиціями знайомих операцій, моделі не змогли правильно застосувати свої вивчені закономірності.

Одним з найбільш тривожних висновків було те, що моделі часто генерували кроки мислення, які були ідеально сформатовані і виглядали логічними, але призводили до неправильних відповідей. У деяких випадках вони генерували правильні відповіді через збіг обставин, слідуючи зовсім неправильним ланцюгам мислення. Ці висновки свідчать про те, що моделі насправді розпізнають поверхневі закономірності, а не розуміють підлеглі логічні зв’язки.

Генералізація довжини тестувала, чи можуть моделі справитися з ланцюгами мислення довшими або коротшими, ніж ті, що були у навчальних даних. Дослідники виявили, що моделі, навчені на довжині 4, повністю провалилися, коли їх тестували на довжині 3 або 5, незважаючи на те, що ці зміни були відносно незначними. Крім того, моделі намагалися примусити свою думку до знайомої довжини ланцюга, додаючи або видаляючи кроки непідходящим чином, а не адаптувалися до нових вимог.

Генералізація формату оцінювала чутливість до поверхневих змін у презентації завдань. Навіть незначні зміни, такі як вставка шумових токенів або легка зміна структури запиту, спричинили значне погіршення продуктивності. Це показало, наскільки залежні моделі від точних закономірностей форматування з навчальних даних.

Проблема хрупкості

По всіх трьом вимірам дослідження показало постійну закономірність: ланцюг думок працює добре, коли застосовується до даних, подібних до навчальних прикладів, але стає крихким і схильним до провалів навіть під час помірних змін розподілу. Очевидна здатність до мислення є насправді “хрупким міражем”, який зникає, коли моделі зустрічають незнайомі ситуації.

Ця хрупкість може проявлятися у різних формах. Моделі можуть генерувати плавні, добре структуровані ланцюги мислення, які є повністю неправильними. Вони можуть слідувати ідеальній логічній формі, але втрачати фундаментальні логічні зв’язки. Іноді вони генерують правильні відповіді через математичну збіг обставин, демонструючи при цьому пошкоджені процеси мислення.

Дослідження також показало, що наглядальне донастроювання на малих кількостях нових даних може швидко відновити продуктивність, але це просто розширює репертуар моделі у сфері розпізнавання закономірностей, а не розвиває справжню здатність до мислення. Це схоже на вивчення нового типу математичної задачі шляхом запам’ятовування конкретних прикладів, а не розуміння підлеглих математичних принципів.

Наслідки для реального світу

Ці висновки можуть мати серйозні наслідки для того, як ми розгортаємо та довіряємо системам штучного інтелекту. У високих ставках, таких як медицина, фінанси або юридичний аналіз, здатність генерувати правдоподібні, але фундаментально неправильні ланцюги мислення, може бути більш небезпечною, ніж прості неправильні відповіді. Поява логічного мислення може привести користувачів до необґрунтованої довіри до висновків штучного інтелекту.

Дослідження пропонує кілька важливих рекомендацій для практиків штучного інтелекту. По-перше, організації не повинні розглядати ланцюг думок як універсальне рішення проблем. Стандартні підходи до тестування, які використовують дані, подібні до навчальних наборів, недостатні для оцінки справжньої здатності до мислення. Замість цього необхідно проводити ретельне тестування поза розподілом, щоб зрозуміти обмеження моделей.

По-друге, схильність моделей генерувати “плавний нісенітниця” вимагає ретельного нагляду людини, особливо у критичних застосуваннях. Спójна структура ланцюгів мислення, згенерованих штучним інтелектом, може маскувати фундаментальні логічні помилки, які можуть не бути одразу очевидними.

Погляд за межі розпізнавання закономірностей

Можливо, найважливіше, що це дослідження викликає спільноту штучного інтелекту рухатися за межі поверхневих поліпшень до розробки систем з справжньою здатністю до мислення. Поточні підходи, які покладаються на збільшення даних і параметрів, можуть зіткнутися з фундаментальними обмеженнями, якщо вони в основному є складними системами розпізнавання закономірностей.

Робота не знімає практичної корисності поточних систем штучного інтелекту. Розпізнавання закономірностей у великому масштабі може бути досить ефективним для багатьох застосувань. Однак вона підкреслює важливість розуміння справжньої природи цих можливостей, а не приписування людському мисленню, де його немає.

Шлях вперед

Це дослідження відкриває важливі питання про майбутнє штучного інтелекту. Якщо поточні підходи фундаментально обмежені своїми навчальними розподілами, які альтернативні підходи можуть привести до більш надійних можливостей мислення? Як ми можемо розробити методи оцінки, які розрізняють розпізнавання закономірностей і справжню логічну інференцію?

Висновки також підкреслюють важливість прозорості та правильної оцінки у розвитку штучного інтелекту. Коли ці системи стають більш складними і їхні висновки більш переконливими, розрив між очевидними і справжніми можливостями може стати все більш небезпечним, якщо його не зрозуміти належним чином.

Основний висновок

Ланцюг думок у великих мовних моделях часто відображає розпізнавання закономірностей, а не справжнє логічне мислення. Хоча висновки можуть виглядати переконливими, вони можуть зазнавати невдач у нових умовах, що викликає занепокоєння у критичних галузях, таких як медицина, право та наука. Це дослідження підкреслює необхідність кращого тестування та більш надійних підходів до штучного інтелекту.