Свяжитесь с нами:

COCONUT от Meta: метод искусственного интеллекта, который мыслит без языка

Искусственный интеллект

COCONUT от Meta: метод искусственного интеллекта, который мыслит без языка

опубликованный

 on

Когда исследователи впервые обнаружили, что большие языковые модели (LLM) могут «думать» шаг за шагом подсказка по цепочке мыслей, это был прорывной момент – наконец, мы смогли заглянуть в процесс рассуждений этих черных ящиков. Но что, если я скажу вам, что заставлять модели ИИ думать на естественном языке может сдерживать их?

Именно это обнаружили исследователи из Мета и Калифорнийского университета в Сан-Диего с помощью своих новый метод COCONUT (Цепь Непрерывной Мысли).

Представьте себе, что вы пытаетесь решить сложную математическую задачу, будучи вынужденным озвучивать каждый шаг. Раздражает, правда? Теперь вы приближаетесь к пониманию основной проблемы, с которой сталкиваются языковые модели.

Когда мы заставляем модели ИИ рассуждать на естественном языке:

  • Большинство токенов, которые они генерируют, представляют собой просто лингвистический клей — такие слова, как «следовательно», «далее» и «следовательно», которые не добавляют никакой ценности для рассуждений.
  • Критические моменты принятия решений затрудняются необходимостью брать на себя обязательства по конкретным словам
  • Модель тратит значительные вычислительные усилия на поддержание грамматической связности, а не на фактическое решение проблем.

Исследователи обнаружили нечто интересное в своих нейровизуализационных исследованиях: когда люди решают сложные задачи рассуждения, языковые центры нашего мозга часто остаются на удивление тихими. Однако мы создаем системы ИИ, которые делают обратное — заставляют их переводить каждый шаг рассуждения в слова.

Подумайте о том, как вы решаете головоломку. Ваш разум, вероятно, исследует несколько возможностей одновременно, поддерживает нечеткие гипотезы и кристаллизует свои мысли в язык только тогда, когда делится решением. Но традиционные подходы цепочки мыслей заставляют модели ИИ вербализовать каждый промежуточный шаг, создавая «лингвистическое узкое место».

Это понимание привело к важному вопросу: что, если бы мы могли позволить моделям ИИ рассуждать на их родном «языке» — непрерывном, многомерном пространстве их скрытых состояний — вместо того, чтобы заставлять их переводить все в токены?

Понимание инноваций COCONUT

Представьте себе разницу между высказыванием мыслей вслух и реальным ментальным процессом, происходящим в вашем мозгу. Этот разрыв — между вербализованными мыслями и нейронной активностью — это именно то, что исследователи Meta использовали с помощью COCONUT.

Настоящий прорыв COCONUT заключается в том, что он позволяет моделям ИИ думать двумя различными способами, во многом как люди. Подумайте о том, когда вы решаете сложную головоломку — вы же не проговариваете в голове каждый возможный ход, верно? Вместо этого вы:

  1. Поглотите проблему: Вы воспринимаете информацию (как будто читаете правила головоломки)
  2. Думай молча: Ваш мозг исследует множество возможностей, не облекая их в слова
  3. Поделитесь решением: Только тогда вы объясняете свои мысли другим.

COCONUT дает моделям ИИ ту же естественную гибкость. Вместо того, чтобы заставлять их «проговаривать» каждую мысль вслух (как это делают традиционные методы), он позволяет им думать в их естественном нейронном пространстве — том, что исследователи называют «латентным пространством».

Модель плавно переключается между двумя режимами:

  • Когда ему нужно понять вопросы или дать ответы, он использует обычный язык.
  • Но для реального процесса мышления? Он использует чистые нейронные модели, свободные от ограничений слов.

Изображение: Мета

Учебное путешествие

Одним из самых увлекательных аспектов COCONUT является его учебная программа. Что делает ее особенной, так это то, как она отражает естественный прогресс обучения. Подумайте о том, как мы обучаем сложным навыкам — вы не бросаете кого-то в омут с головой сразу. Вы наращиваете постепенно, добавляя сложность по мере того, как они осваивают каждый уровень.

Исследователи применили именно такой подход к КОКОСУ:

Этап 1: Фундамент

Во-первых, модель обучается как любой другой ИИ – посредством традиционной цепочки рассуждений. Это дает ей прочное базовое понимание.

Этап 2: Переход

Вот тут-то и начинается самое интересное. Постепенно эти записанные шаги рассуждения заменяются непрерывными мыслями. Представьте, что вы медленно убираете тренировочные колеса, позволяя модели развивать собственные внутренние шаблоны мышления.

Этап 3: Баланс

Наконец, модель учится плавно переключаться между глубоким мышлением в скрытом пространстве и передачей своих идей понятным языком.

Во время обучения модель развивала способности, которые никто не программировал явно, например, одновременное рассмотрение нескольких путей рассуждения. Это возникающее поведение особенно интересно, поскольку оно предполагает, что мы можем приблизиться к более естественным формам рассуждений ИИ. Именно эти неожиданные разработки часто приводят к самым большим прорывам.

Помните те нейровизуализационные исследования, о которых я упоминал ранее? Они показали, что человеческий мозг часто обрабатывает сложные рассуждения без интенсивного задействования языковых центров. COCONUT, похоже, развивает похожие модели — глубоко думая в своем родном нейронном пространстве и обращаясь к языку только тогда, когда это необходимо для общения.

Цифры рассказывают историю

В ходе исследования было сделано еще несколько ключевых выводов:

  • Текстовые математические задачи (GSM8k): Здесь COCONUT достиг точности 34.1%. Хотя это и ниже традиционного Chain-of-Thought (42.9%), это значительно лучше базовых подходов.
  • Логический вывод (ProntoQA): COCONUT достиг точности 99.8%, обойдя традиционную Chain-of-Thought с ее 98.8%. Но вот в чем фишка — он сделал это, используя всего 9 токенов по сравнению с 92.5 у CoT.
  • Комплексное планирование (ProsQA): Самые впечатляющие результаты были получены в этом продвинутом тесте на рассуждение. COCONUT достиг точности 97%, тогда как традиционные методы достигли только 77.5%. И снова, он сделал это с замечательной эффективностью — 14.2 токена против 49.4.

Эти результаты делают многообещающими не только голые цифры, но и то, что они раскрывают о различных типах мышления. Хотя COCONUT все еще может найти опору в математических рассуждениях, он преуспевает в задачах, требующих сложного логического планирования и дедукции.

COCONUT представляет собой фундаментальное переосмысление того, как системы ИИ могут рассуждать, и приближает нас к более естественным, эффективным и мощным формам искусственного интеллекта. Переход от рассуждений на основе языка к непрерывному мышлению — это шаг к более способным и эффективным системам ИИ.

Алекс МакФарланд — журналист и писатель, занимающийся искусственным интеллектом. Он сотрудничал с многочисленными стартапами и публикациями в области искусственного интеллекта по всему миру.