Моделі та платформи ШІ
Метод COCONUT від Meta: Шлях до штучного інтелекту, який думає без мови
Додайте Unite.AI до бажаних джерел у Google
Коли дослідники вперше виявили, що великі мовні моделі (LLM) можуть “думати” крок за кроком через ланцюгове мислення, це був проривний момент – нарешті, ми могли заглянути в процес мислення цих чорних скриньок. Але що якщо я скажу вам, що змусити моделі штучного інтелекту думати природною мовою може уповільнити їх?
Це саме те, що дослідники з Meta та Університету Каліфорнії в Сан-Дієго виявили з допомогою свого нового методу COCONUT (Ланцюгове мислення без мови).
Представіть собі спробу розв’язати складну математичну задачу, будучи змушеним висловлювати кожен крок голосно. Нервово, правда? Тепер ви близькі до розуміння основної проблеми, з якою стикаються моделі мови.
Коли ми змусовуємо моделі штучного інтелекту мислити природною мовою:
- Більшість токенів, які вони генерують, є просто лінгвістичним клеєм – словами типу “отже”, “далі” і “в результаті”, які не додають жодної мислительної цінності
- Критичні точки прийняття рішень блокуються необхідністю зобов’язуватися конкретними словами
- Модель витрачає значні обчислювальні зусилля на підтримання граматичної узгодженості, а не на фактичне розв’язання проблем
Дослідники виявили щось цікаве в своїх нейровізуальних дослідженнях: коли люди займаються складними завданнями мислення, мовні центри нашого мозку часто залишаються дивно тихими. Однак ми будували системи штучного інтелекту, які роблять протилежне – змусовуємо їх перекладати кожен крок мислення на слова.
Подумайте, як ви розв’язуєте головоломку. Ваш мозок, ймовірно, одночасно досліджує кілька можливостей, підтримує нечіткі гіпотези та кристалізує свої думки в мову лише тоді, коли ви ділітеся рішенням. Але традиційні підходи до ланцюгового мислення змусовують моделі штучного інтелекту висловлювати кожен проміжний крок, створюючи “мовний бутлег”.
Цей висновок призвів до цікавого питання: Що якщо ми змусимо моделі штучного інтелекту мислити своєю природною “мовою” – безперервним, високовимірним простором їхніх прихованих станів – а не змусовуємо їх перекладати все на токени?
Поняття інновацій COCONUT
Представіть собі різницю між висловленням своїх думок голосно та фактичним мислительним процесом, який відбувається в вашому мозку. Ця пропасть – між висловленими думками та нейронною активністю – саме те, до чого дослідники з Meta прийшли з COCONUT.
Справжній прорив COCONUT полягає в тому, що він дозволяє моделям штучного інтелекту мислити двома різними способами, як і люди. Подумайте, коли ви розв’язуєте складну головоломку – ви не висловлюєте кожен можливий хід вголос, правда?
- Впитайте проблему: Ви приймаєте інформацію (як читання правил головоломки)
- Думайте тихо: Ваш мозок одночасно досліджує кілька можливостей без висловлення їх словами
- Поділіться рішенням: Лише тоді ви пояснюєте своє мислення іншим
COCONUT надає моделям штучного інтелекту таку ж природну гнучкість. Замість того, щоб змусовувати їх “говорити” кожну думку вголос (як традиційні методи), він дозволяє їм мислити в своєму природному нейронному просторі – те, що дослідники називають “латентним простором”.
Модель плавно перемикається між двома режимами:
- Коли їй потрібно зрозуміти питання або дати відповіді, вона використовує звичайну мову
- Але для фактичного процесу мислення? Вона використовує чисті нейронні патерни, вільні від обмежень слів
Зображення: Meta
Подорож навчання
Одним із найцікавіших аспектів COCONUT є його навчальна програма. Що робить її особливою, так це те, що вона відображає природний прогрес навчання. Подумайте, як ми вчимо складні навички – ви не кидаєте когось у глибину одразу. Ви поступово будуєте, додаючи складність, коли вони освоюють кожний рівень.
Дослідники прийняли саме такий підхід з COCONUT:
Ступінь 1: Основи
Спочатку модель вчиться, як і будь-яка інша модель штучного інтелекту – через традиційне ланцюгове мислення. Це дає їй тверду базову розуміння.
Ступінь 2: Перехід
Ось де все стає цікавим. Поступово написані кроки мислення замінюються безперервним мисленням. Подумайте про те, як ви повільно видаляєте навчальні колеса, дозволяючи моделі розвивати свої внутрішні шаблони мислення.
Ступінь 3: Баланс
Нарешті, модель вчиться безперечно перемикатися між глибоким мисленням у латентному просторі та спілкуванням своїх ідей ясною мовою.
Під час навчання модель розвивала здібності, яких ніхто явно не програмував – наприклад, розглядала кілька шляхів мислення одночасно. Це емерджентне поведінка особливо цікава, оскільки вона свідчить про те, що ми можемо бути ближче до більш природних форм штучного інтелекту.
Пам’ятайте ті нейровізуальні дослідження, про які я згадував раніше? Вони показали, що людський мозок часто обробляє складні завдання мислення без активної участі мовних центрів. COCONUT, здається, розвиває подібні шаблони – глибоке мислення у своєму природному нейронному просторі та переклад на мову лише тоді, коли це потрібно для спілкування.
Цифри розповідають історію
Деякі ключові висновки виділяються з дослідження:
- Математичні завдання зі словами (GSM8k): Тут COCONUT досяг 34,1% точності. Хоча це нижче традиційного ланцюгового мислення (42,9%), це значно краще, ніж базові підходи.
- Логічні висновки (ProntoQA): COCONUT досяг 99,8% точності, випередивши традиційне ланцюгове мислення (98,8%). Але ось що цікаво – він зробив це, використовуючи лише 9 токенів порівняно з 92,5 традиційного ланцюгового мислення.
- Складне планування (ProsQA): Найбільш вражаючі результати прийшли з цього передового тесту мислення. COCONUT досяг 97% точності, тоді як традиційні методи досягли лише 77,5%. І знову, він зробив це з вражаючою ефективністю – 14,2 токени порівняно з 49,4.
Що робить ці результати перспективними, так це не тільки сурові цифри – це те, що вони розкривають про різні типи мислення. Хоча COCONUT може ще тільки знайти свій шлях у математичному мисленні, він excels у завданнях, які вимагають складного логічного планування та висновків.
COCONUT представляє фундаментальне переосмислення того, як системи штучного інтелекту можуть мислити, і це рухає нас ближче до більш природних, ефективних та потужних форм штучного інтелекту. Подорож від мовного мислення до безперервного мислення – це крок до більш здатних та ефективних систем штучного інтелекту.
