Штучний Інтелект
COCONUT від Meta: метод ШІ, який мислить без мови
Коли дослідники вперше виявили, що великі мовні моделі (LLM) можуть «мислити» крок за кроком спонукання по ланцюжку думок, це був проривний момент – нарешті ми змогли зазирнути в процес міркування цих чорних ящиків. Але що, якби я сказав вам, що змушувати моделі штучного інтелекту думати природною мовою може заважати їм?
Це те, що виявили дослідники з Meta та Каліфорнійського університету в Сан-Дієго новий метод КОКОС (Ланцюг безперервної думки)..
Уявіть собі, що ви намагаєтесь розв’язати складну математичну задачу, змушуючи вголос розповідати кожен крок. Дратує, правда? Тепер ви наближаєтеся до розуміння основної проблеми, з якою стикаються мовні моделі.
Коли ми змушуємо моделі ШІ міркувати за допомогою природної мови:
- Більшість токенів, які вони генерують, є лише лінгвістичним клеєм – такими словами, як «отже», «далі» та «отже», які не додають жодної аргументаційної цінності
- Критичні моменти прийняття рішень стають вузькими через необхідність прихильності до конкретних слів
- Модель витрачає значні обчислювальні зусилля на підтримку граматичної зв’язності, а не на фактичне вирішення проблеми
Дослідники виявили дещо цікаве в своїх дослідженнях нейровізуалізації: коли люди вирішують складні логічні завдання, мовні центри нашого мозку часто залишаються напрочуд тихими. Проте ми створюємо системи штучного інтелекту, які роблять навпаки – змушують їх перекладати кожен крок міркування словами.
Подумайте, як ви вирішуєте головоломку. Ймовірно, ваш розум досліджує кілька можливостей одночасно, підтримує нечіткі гіпотези та кристалізує свої думки в мову лише тоді, коли ділиться рішенням. Але традиційні підходи до ланцюга думок змушують моделі штучного інтелекту вербалізувати кожен проміжний крок, створюючи «лінгвістичне вузьке місце».
Це розуміння привело до переконливого запитання: що, якби ми дозволили моделям штучного інтелекту міркувати їхньою рідною «мовою» — безперервним, багатовимірним простором їхніх прихованих станів — замість того, щоб змушувати їх переводити все в токени?
Розуміння інновацій COCONUT
Уявіть різницю між виголошенням своїх думок вголос і реальним розумовим процесом, що відбувається у вашому мозку. Цей розрив — між вербалізованими думками та нейронною активністю — саме те, що дослідники Meta виявили в COCONUT.
Справжній прорив COCONUT полягає в тому, що він дозволяє моделям штучного інтелекту мислити двома різними способами, подібно до того, як це роблять люди. Подумайте про те, коли ви розв’язуєте складну головоломку – ви не розповідаєте всі можливі рухи у своїй голові, чи не так? Натомість ви:
- Поглинути проблему: ви приймаєте інформацію (наприклад, читаєте правила головоломки)
- Думайте мовчки: Ваш мозок досліджує численні можливості, не передаючи їх словами
- Поділіться рішенням: Лише тоді ви пояснюєте свою думку іншим
COCONUT надає моделям ШІ таку ж природну гнучкість. Замість того, щоб змушувати їх «промовляти» кожну думку вголос (як це роблять традиційні методи), це дозволяє їм думати у своєму природному нейронному просторі – тому, що дослідники називають «латентним простором».
Модель плавно перемикається між двома режимами:
- Коли йому потрібно зрозуміти питання або дати відповіді, він використовує звичайну мову
- Але для реального процесу мислення? Він використовує чисті нейронні шаблони, вільні від обмежень слів
Зображення: Мета
Навчальна подорож
Одним із найцікавіших аспектів COCONUT є його навчальна програма. Що робить цей особливим, так це те, що він відображає природний процес навчання. Подумайте про те, як ми навчаємо складних навичок – ви не кинете когось у глибину одразу. Ви розвиваєтесь поступово, додаючи складності, коли вони опанують кожен рівень.
Дослідники застосували саме такий підхід до COCONUT:
Етап 1: Фундамент
По-перше, модель навчається, як і будь-який інший ШІ – за допомогою традиційного ланцюжка думок. Це дає міцне базове розуміння.
Етап 2: Перехід
Ось тут стає цікаво. Поступово ці записані кроки міркування замінюються безперервними думками. Уявіть, що ви повільно знімаєте тренувальні коліщатка, дозволяючи моделі розвивати власні внутрішні моделі мислення.
Етап 3: Баланс
Нарешті, модель вчиться плавно перемикатися між глибоким мисленням у прихованому просторі та передавати свої ідеї зрозумілою мовою.
Під час навчання модель розвинула здібності, які ніхто явно не програмував, наприклад, розглядати кілька шляхів міркування одночасно. Ця нова поведінка є особливо захоплюючою, тому що вона свідчить про те, що ми можемо наблизитися до більш природних форм міркувань ШІ. Саме ці несподівані події часто призводять до найбільших проривів.
Пам’ятаєте дослідження нейровізуалізації, про які я згадував раніше? Вони показали, що людський мозок часто обробляє складні логічні завдання без сильного залучення мовних центрів. Схоже, COCONUT розвиває подібні моделі – глибоко мислить у своєму рідному нейронному просторі та перетворюється на мову лише тоді, коли це необхідно для спілкування.
Числа розповідають історію
Ще кілька ключових результатів дослідження виділяють:
- Математичні текстові задачі (GSM8k): Тут COCONUT досяг 34.1% точності. Хоча цей показник нижчий за традиційний ланцюжок думок (42.9%), він значно кращий за базові підходи.
- Логічний висновок (ProntoQA): COCONUT досягає 99.8% точності, випереджаючи традиційну Chain-of-Thought 98.8%. Але ось головне: він зробив це, використовуючи лише 9 токенів порівняно з 92.5 CoT.
- Комплексне планування (ProsQA): Найбільш вражаючі результати отримали цей розширений тест на міркування. COCONUT досяг 97% точності, тоді як традиційні методи досягли лише 77.5%. І знову ж таки, він зробив це з надзвичайною ефективністю – 14.2 токена проти 49.4.
Те, що робить ці результати багатообіцяючими, полягає не лише в необроблених цифрах, а в тому, що вони розкривають про різні типи мислення. Хоча COCONUT, можливо, все ще знаходить свою основу з математичними міркуваннями, він чудово справляється із завданнями, що вимагають складного логічного планування та дедукції.
COCONUT представляє фундаментальне переосмислення того, як системи штучного інтелекту можуть міркувати, і це наближає нас до більш природних, ефективних і потужних форм штучного інтелекту. Подорож від міркування на основі мови до безперервного мислення є кроком до більш потужних і ефективних систем ШІ.
