Модели и платформы ИИ
Метод COCONUT от Meta: подход к искусственному интеллекту, который думает без языка
Добавьте Unite.AI в избранные источники в Google
Когда исследователи впервые обнаружили, что крупные языковые модели (LLM) могут “думать” шаг за шагом через цепочку мыслей, это был прорывной момент – наконец, мы смогли заглянуть в процесс рассуждения этих черных ящиков. Но что если я скажу вам, что заставление моделей искусственного интеллекта думать на естественном языке может их сдерживать?
Именно это обнаружили исследователи в Meta и Университете Калифорнии в Сан-Диего с помощью своего нового метода COCONUT (Цепочка непрерывных мыслей).
Представьте, что вы пытаетесь решить сложную математическую задачу, одновременно вынужденные громко произносить каждый шаг. Irrитантно, верно? Теперь вы близки к пониманию основной проблемы, с которой сталкиваются модели языка.
Когда мы заставляем модели искусственного интеллекта рассуждать на естественном языке:
- Большинство токенов, которые они генерируют, являются просто лингвистическим клеем – словами как “следовательно”, “далее” и “в результате”, которые не добавляют никакой ценности рассуждения
- Критические точки принятия решений ограничиваются необходимостью обязательного выбора конкретных слов
- Модель тратит значительные вычислительные усилия на поддержание грамматической последовательности, а не на решение самой проблемы
Исследователи обнаружили что-то интересное в своих нейровизуальных исследованиях: когда люди решают сложные задачи рассуждения, языковые центры нашего мозга часто остаются удивительно тихими. Однако мы строим системы искусственного интеллекта, которые делают противоположное – заставляют их переводить каждый шаг рассуждения в слова.
Подумайте, как вы решаете головоломку. Ваш ум, вероятно, исследует несколько возможностей одновременно, поддерживает нечеткие гипотезы и только тогда, когда вы делитесь решением, формулирует свои мысли на языке. Но традиционные подходы к цепочке мыслей заставляют модели искусственного интеллекта вербализировать каждый промежуточный шаг, создавая “лингвистический узел.”
Этот вывод привел к убедительному вопросу: что если мы могли бы позволить моделям искусственного интеллекта рассуждать на их родном “языке” – непрерывном, высокоразмерном пространстве их скрытых состояний – вместо того, чтобы заставлять их переводить все в токены?
Понимание инноваций COCONUT
Представьте разницу между высказыванием своих мыслей вслух и реальным умственным процессом, происходящим в вашем мозге. Этот разрыв – между вербализированными мыслями и нейронной активностью – именно то, на что исследователи Meta обратили внимание с помощью COCONUT.
Настоящий прорыв COCONUT заключается в том, что он позволяет моделям искусственного интеллекта думать двумя разными способами, как и люди. Подумайте, когда вы решаете сложную головоломку – вы не рассказываете каждый возможный ход в своей голове, верно? Вместо этого вы:
- Впитываете проблему: Вы принимаете информацию (например, читаете правила головоломки)
- Думаете молча: Ваш мозг исследует несколько возможностей без их вербализации
- Делитесь решением: Только тогда вы объясняете свою мысль другим
COCONUT дает моделям искусственного интеллекта эту же естественную гибкость. Вместо того, чтобы заставлять их “говорить” каждую мысль вслух (как традиционные методы), он позволяет им думать в их естественном нейронном пространстве – то, что исследователи называют “латентным пространством”.
Модель плавно переключает между двумя режимами:
- Когда ей нужно понять вопросы или дать ответы, она использует обычный язык
- Но для самого процесса мышления? Она использует чистые нейронные закономерности, свободные от ограничений слов
Изображение: Meta
Путь обучения
Одним из наиболее интересных аспектов COCONUT является его учебная программа. Что делает ее особенной, так это то, что она отражает естественный прогресс обучения. Подумайте, как мы учим сложные навыки – вы не бросаете человека в глубокий конец сразу. Вы строите постепенно, добавляя сложность, когда он осваивает каждый уровень.
Исследователи приняли именно этот подход с COCONUT:
Этап 1: Основание
Сначала модель учится, как и любая другая модель искусственного интеллекта – через традиционное рассуждение по цепочке мыслей. Это дает ей прочное базовое понимание.
Этап 2: Переход
Здесь все становится интересным. Постепенно, написанные шаги рассуждения заменяются непрерывными мыслями. Представьте, что вы медленно удаляете тренировочные колеса, позволяя модели развивать свои собственные внутренние закономерности мышления.
Этап 3: Баланс
Наконец, модель учится плавно переключаться между глубоким мышлением в латентном пространстве и общением своих прозрений на ясном языке.
Во время обучения модель развила способности, которые никто явно не запрограммировал – например, рассмотрение нескольких путей рассуждения одновременно. Это возникающее поведение особенно интересно, поскольку оно предполагает, что мы можем приближаться к более естественным формам рассуждения искусственного интеллекта. Именно такие неожиданные разработки часто приводят к самым большим прорывам.
Помните те нейровизуальные исследования, о которых я упоминал ранее? Они показали, что человеческий мозг часто обрабатывает сложные задачи рассуждения без активного участия языковых центров. COCONUT, кажется, развивает подобные закономерности – глубоко мыслит в своем родном нейронном пространстве и только тогда, когда необходимо, переводит в язык для общения.
Цифры рассказывают историю
Несколько ключевых выводов выделяются из исследования:
- Математические задачи со словами (GSM8k): Здесь COCONUT достиг 34,1% точности. Хотя это ниже, чем традиционная цепочка мыслей (42,9%), это значительно лучше, чем базовые подходы.
- Логическое вывод (ProntoQA): COCONUT достиг 99,8% точности, превзойдя традиционную цепочку мыслей (98,8%). Но вот что интересно – он сделал это, используя только 9 токенов по сравнению с 92,5 у CoT.
- Сложное планирование (ProsQA): Самые впечатляющие результаты были получены из этого продвинутого теста рассуждения. COCONUT достиг 97% точности, в то время как традиционные методы достигли только 77,5%. И снова, он сделал это с замечательной эффективностью – 14,2 токена по сравнению с 49,4.
Что делает эти результаты перспективными, так это не только сырые цифры – это то, что они раскрывают о разных типах мышления. Хотя COCONUT может еще только найти свою опору в математическом рассуждении, он превосходит в задачах, требующих сложного логического планирования и вывода.
COCONUT представляет собой фундаментальное переосмысление того, как системы искусственного интеллекта могут рассуждать, и он приближает нас к более естественным, эффективным и мощным формам искусственного интеллекта. Путь от языкового рассуждения к непрерывной мысли – это шаг к более способным и эффективным системам искусственного интеллекта.
