Штучний інтелект
Meta’s COCONUT: Метод штучного інтелекту, який думає без мови
Коли дослідники вперше виявили, що великі мовні моделі (LLM) можуть “думати” крок за кроком через ланцюгове промовляння думок, це був проривний момент – нарешті, ми могли заглянути в процес мислення цих чорних скриньок. Але що, якщо я скажу вам, що те, що штучні моделі думають у природній мові, може утримувати їх?
Про це довідалися дослідники в Meta та Університеті Каліфорнії в Сан-Дієго зі своїм новим методом COCONUT (Ланцюг безперервної думки).
Помітьте, спробуйте вирішити складну математичну задачу, будучи змушеним промовляти кожен окремий крок голосно. Дратівливо, правда? Тепер ви наблизились до розуміння основної проблеми, з якою стикаються мовні моделі.
Коли ми змушуємо штучні моделі мислити через природну мову:
- Більшість токенів, які вони генерують, просто лінгвістичний клей – слова, такі як “отже”, “далі” і “в результаті”, які не додають жодної мислительної цінності
- Критичні рішення блокуються необхідністю зобов’язатися з конкретними словами
- Модель витрачає значні обчислювальні зусилля на підтримання граматичної узгодженості, а не на фактичне вирішення проблем
Дослідники виявили щось цікаве в своїх нейровізуальних дослідженнях: коли люди займаються складними завданнями мислення, мовні центри нашого мозку часто залишаються дивно тихими. Але ми будували штучні системи, які роблять протилежне – змушуючи їх перекладати кожен крок мислення на слова.
Помітьте, як ви розв’язуєте головоломку. Ваш розум, ймовірно, одночасно досліджує кілька можливостей, підтримує нечіткі гіпотези та лише кристалізує свої думки в мову, коли ділиться рішенням. Але традиційні ланцюгові підходи змушують штучні моделі промовляти кожен проміжний крок, створюючи “лінгвістичну пляшку”.
Цей висновок привів до переконливого питання: Що, якщо ми могли б дозволити штучним моделям мислити у своїй природній “мові” – безперервному, високовимірному просторі їхніх прихованих станів – а не змушувати їх перекладати все на токени?
Розуміння інновації COCONUT
Помітьте різницю між промовлянням ваших думок голосно та фактичним ментальним процесом, який відбувається в вашому мозку. Ця пропасть – між промовленими думками та нейронною активністю – саме те, до чого дослідники в Meta підійшли з COCONUT.
Справжній прорив COCONUT полягає в тому, що він дозволяє штучним моделям мислити двома різними способами, як і люди. Помітьте, коли ви розв’язуєте складну головоломку – ви не промовляєте кожен можливий хід у своєму мозку, правда?
- Впитайте задачу: Ви приймаєте інформацію (як читання правил головоломки)
- Думайте тихо: Ваш мозок досліджує кілька можливостей без промовляння їх у слова
- Поділіться рішенням: Лише тоді ви пояснюєте своє мислення іншим
COCONUT надає штучним моделям цю саму природну гнучкість. Замість того, щоб змушувати їх “говорити” кожну думку голосно (як традиційні методи), він дозволяє їм мислити у своєму природному нейронному просторі – те, що дослідники називають “латентним простором”.
Модель плавно перемикається між двома режимами:
- Коли їй потрібно зрозуміти питання або дати відповіді, вона використовує регулярну мову
- Але для фактичного процесу мислення? Вона використовує чисті нейронні моделі, вільні від обмежень слів
Image: Meta
Навчальний шлях
Одним з найбільш цікавих аспектів COCONUT є його навчальна програма. Що робить її особливою, так це те, як вона віддзеркалює природний процес навчання. Помітьте, як ми вчимо складні навички – ви не кидаєте когось у глибокий кінець одразу. Ви будуєте поступово, додаючи складність, коли вони освоюють кожний рівень.
Дослідники підійшли до COCONUT саме так:
Ступінь 1: Основи
Спочатку модель вчиться, як і будь-яка інша штучна модель – через традиційне ланцюгове мислення. Це дає їй тверду базову розуміння.
Ступінь 2: Перехід
Тут все стає цікавим. Поступово промовлені кроки мислення заміняються безперервними думками. Помітьте, як ви повільно знімаєте навчальні колеса, дозволяючи моделі розвивати свої власні внутрішні моделі мислення.
Ступінь 3: Баланс
Нарешті, модель вчиться безшовно перемикатися між глибоким мисленням у латентному просторі та спілкуванням своїх прозорих ідей у чіткій мові.
Під час навчання модель розвинула здібності, яких ніхто явно не програмував – наприклад, розглядаючи кілька шляхів мислення одночасно. Це виникле поведінка особливо цікава, оскільки воно свідчить про те, що ми можемо наблизитися до більш природних форм штучного інтелекту. Саме такі несподівані розробки часто ведуть до найбільших проривів.
Помітьте ті нейровізуальні дослідження, про які я згадував раніше? Вони показали, що людський мозок часто обробляє складні завдання мислення без активної участі мовних центрів. COCONUT, здається, розвиває подібні моделі – глибоке мислення у своєму природному нейронному просторі та лише перетворення на мову, коли це потрібно для спілкування.
Цифри розповідають історію
Деякі інші ключові результати виділяються з дослідження:
- Математичні завдання зі словами (GSM8k): Тут COCONUT досяг 34,1% точності. Хоча це нижче традиційного ланцюгового мислення (42,9%), це значно краще, ніж базові підходи.
- Логічні висновки (ProntoQA): COCONUT досяг 99,8% точності, випередивши традиційне ланцюгове мислення (98,8%). Але ось що цікаво – він зробив це, використовуючи лише 9 токенів порівняно з 92,5 у CoT.
- Складний планування (ProsQA): Найбільш вражаючі результати прийшли з цього передового тесту на мислення. COCONUT досяг 97% точності, тоді як традиційні методи досягли лише 77,5%. І знову, він зробив це з вражаючою ефективністю – 14,2 токена порівняно з 49,4.
Що робить ці результати перспективними, так це не тільки сурові цифри – це те, що вони розкривають про різні типи мислення. Хоча COCONUT ще може знаходити свій шлях у математичному мисленні, він excels у завданнях, які вимагають складного логічного планування та висновку.
COCONUT представляє фундаментальне переосмислення того, як штучні системи можуть мислити, і наближається до більш природних, ефективних та потужних форм штучного інтелекту. Шлях від мовного мислення до безперервної думки – це крок до більш здатних та ефективних штучних систем.
