Искусственный интеллект

COCONUT от Meta: метод искусственного интеллекта, который мыслит без языка

опубликованный 16 декабря 2024

Алекс МакФарланд

Когда исследователи впервые обнаружили, что большие языковые модели (LLM) могут «думать» шаг за шагом подсказка по цепочке мыслей, это был прорывной момент – наконец, мы смогли заглянуть в процесс рассуждений этих черных ящиков. Но что, если я скажу вам, что заставлять модели ИИ думать на естественном языке может сдерживать их?

Именно это обнаружили исследователи из Мета и Калифорнийского университета в Сан-Диего с помощью своих новый метод COCONUT (Цепь Непрерывной Мысли).

Представьте, что вы пытаетесь решить сложную математическую задачу, и вас заставляют озвучивать каждый шаг. Раздражает, правда? Теперь вы почти понимаете основную проблему, с которой сталкиваются языковые модели.

Когда мы заставляем модели ИИ рассуждать на естественном языке:

Большинство токенов, которые они генерируют, представляют собой просто лингвистический клей — такие слова, как «следовательно», «далее» и «следовательно», которые не добавляют никакой ценности для рассуждений.
Критические моменты принятия решений затрудняются необходимостью брать на себя обязательства по конкретным словам
Модель тратит значительные вычислительные усилия на поддержание грамматической связности, а не на фактическое решение проблем.

Исследователи обнаружили нечто интересное в своих нейровизуализационных исследованиях: когда люди решают сложные задачи рассуждения, языковые центры нашего мозга часто остаются на удивление тихими. Однако мы создаем системы ИИ, которые делают обратное — заставляют их переводить каждый шаг рассуждения в слова.

Подумайте о том, как вы решаете головоломку. Ваш разум, вероятно, исследует несколько возможностей одновременно, поддерживает нечеткие гипотезы и кристаллизует свои мысли в язык только тогда, когда делится решением. Но традиционные подходы цепочки мыслей заставляют модели ИИ вербализовать каждый промежуточный шаг, создавая «лингвистическое узкое место».

Это понимание привело к важному вопросу: что, если бы мы могли позволить моделям ИИ рассуждать на их родном «языке» — непрерывном, многомерном пространстве их скрытых состояний — вместо того, чтобы заставлять их переводить все в токены?

Понимание инноваций COCONUT

Представьте себе разницу между произнесением мыслей вслух и реальным мыслительным процессом, происходящим в мозге. Именно этот разрыв — между вербализованными мыслями и нейронной активностью — исследователи Meta использовали в COCONUT.

Настоящий прорыв COCONUT заключается в том, что он позволяет моделям ИИ мыслить двумя разными способами, подобно тому, как это делают люди. Представьте, что вы решаете сложную головоломку — вы ведь не прокручиваете в голове каждый возможный ход, верно? Вместо этого вы:

Поглотите проблему: Вы воспринимаете информацию (как будто читаете правила головоломки)
Думай молча: Ваш мозг исследует множество возможностей, не облекая их в слова
Поделитесь решением: Только тогда вы объясняете свои мысли другим.

COCONUT дает моделям ИИ ту же естественную гибкость. Вместо того, чтобы заставлять их «проговаривать» каждую мысль вслух (как это делают традиционные методы), он позволяет им думать в их естественном нейронном пространстве — том, что исследователи называют «латентным пространством».

Модель плавно переключается между двумя режимами:

Когда ему нужно понять вопросы или дать ответы, он использует обычный язык.
Но для реального процесса мышления? Он использует чистые нейронные модели, свободные от ограничений слов.

Изображение: Мета

Учебное путешествие

Один из самых интересных аспектов COCONUT — это его программа обучения. Её особенность в том, что она отражает естественный процесс обучения. Подумайте о том, как мы обучаем сложным навыкам: мы не бросаем человека сразу в омут с головой. Мы развиваем навыки постепенно, усложняя их по мере освоения каждого уровня.

Исследователи применили именно такой подход к КОКОСУ:

Этап 1: Фундамент

Во-первых, модель обучается как любой другой ИИ – посредством традиционной цепочки рассуждений. Это дает ей прочное базовое понимание.

Этап 2: Переход

Вот тут-то и начинается самое интересное. Постепенно эти записанные шаги рассуждения заменяются непрерывными мыслями. Представьте, что вы медленно убираете тренировочные колеса, позволяя модели развивать собственные внутренние шаблоны мышления.

Этап 3: Баланс

Наконец, модель учится плавно переключаться между глубоким мышлением в скрытом пространстве и передачей своих идей понятным языком.

Во время обучения модель развивала способности, которые никто не программировал явно, например, одновременное рассмотрение нескольких путей рассуждения. Это возникающее поведение особенно интересно, поскольку оно предполагает, что мы можем приблизиться к более естественным формам рассуждений ИИ. Именно эти неожиданные разработки часто приводят к самым большим прорывам.

Помните те нейровизуализационные исследования, о которых я упоминал ранее? Они показали, что человеческий мозг часто обрабатывает сложные рассуждения без интенсивного задействования языковых центров. COCONUT, похоже, развивает похожие модели — глубоко думая в своем родном нейронном пространстве и обращаясь к языку только тогда, когда это необходимо для общения.

Цифры рассказывают историю

В ходе исследования было сделано еще несколько ключевых выводов:

Текстовые математические задачи (GSM8k): Здесь COCONUT достиг точности 34.1%. Хотя это и ниже, чем у традиционного метода Chain-of-Thought (42.9%), это значительно лучше, чем у базовых подходов.
Логический вывод (ProntoQA): Точность COCONUT составила 99.8%, превзойдя традиционную Chain-of-Thought с её 98.8%. Но вот в чём загвоздка: для этого потребовалось всего 9 токенов, в то время как у CoT этот показатель составил 92.5.
Комплексное планирование (ProsQA): Самые впечатляющие результаты были получены в этом продвинутом тесте на рассуждение. COCONUT достиг точности 97%, тогда как традиционные методы достигли только 77.5%. И снова, он сделал это с замечательной эффективностью — 14.2 токена против 49.4.

Эти результаты делают многообещающими не только голые цифры, но и то, что они раскрывают о различных типах мышления. Хотя COCONUT все еще может найти опору в математических рассуждениях, он преуспевает в задачах, требующих сложного логического планирования и дедукции.

COCONUT представляет собой фундаментальное переосмысление того, как системы ИИ могут рассуждать, и приближает нас к более естественным, эффективным и мощным формам искусственного интеллекта. Переход от рассуждений на основе языка к непрерывному мышлению — это шаг к более способным и эффективным системам ИИ.

Похожие темы:цепочка рассуждений LLM

Алекс МакФарланд

Алекс МакФарланд — журналист и писатель, занимающийся искусственным интеллектом. Он сотрудничал с многочисленными стартапами и публикациями в области искусственного интеллекта по всему миру.