Магистранты права не умеют рассуждать — они просто хороши в планировании

Большие языковые модели (LLM), такие как OpenAI o3, Google Близнецы 2.0 и R1 от DeepSeek показали замечательный прогресс в решении сложных проблем, создании человекоподобного текста и даже написании кода с точностью. Эти продвинутые LLM часто называют «модели рассуждений» за их замечательные способности анализировать и решать сложные проблемы. Но действительно ли эти модели причина, или они просто исключительно хороши в планирование? Это различие тонкое, но глубокое, и оно имеет важные последствия для того, как мы понимаем возможности и ограничения LLM.

Чтобы понять это различие, давайте сравним два сценария:

• аргументация: Детектив, расследующий преступление, должен собрать воедино противоречивые доказательства, определить, какие из них ложные, и прийти к выводу на основе ограниченных доказательств. Этот процесс включает в себя умозаключения, разрешение противоречий и абстрактное мышление.
• Планирование: Шахматист, рассчитывающий наилучшую последовательность ходов, чтобы поставить мат противнику.

Хотя оба процесса включают в себя несколько этапов, детектив занимается глубокими рассуждениями, чтобы делать выводы, оценивать противоречия и применять общие принципы к конкретному случаю. Шахматист, с другой стороны, в первую очередь занимается планированием, выбирая оптимальную последовательность ходов для победы в игре. LLM, как мы увидим, функционируют гораздо больше как шахматист, чем как детектив.

Понимание разницы: рассуждение против планирования

Чтобы понять, почему LLM лучше всего подходят для планирования, чем для рассуждения, важно сначала понять разницу между этими терминами. Рассуждение — это процесс выведения новых заключений из заданных предпосылок с использованием логики и вывода. Оно включает в себя выявление и исправление несоответствий, создание новых идей, а не просто предоставление информации, принятие решений в неоднозначных ситуациях и вовлечение в причинно-следственное понимание и контрфактуальное мышление, например, сценарии «Что если?».

Планирование, с другой стороны, фокусируется на структурировании последовательности действий для достижения определенной цели. Оно опирается на разбиение сложных задач на более мелкие шаги, следование известным стратегиям решения проблем, адаптацию ранее изученных шаблонов к аналогичным проблемам и выполнение структурированных последовательностей, а не на получение новых идей. В то время как и рассуждение, и планирование подразумевают пошаговую обработку, рассуждение требует более глубокой абстракции и вывода, тогда как планирование следует установленным процедурам, не создавая принципиально новых знаний.

Как LLM подходят к «рассуждению»

Современные LLM, такие как o3 и DeepSeek-R1 от OpenAI, оснащены технологией, известной как Цепочка мыслей (CoT) рассуждения, чтобы улучшить свои способности решать проблемы. Этот метод поощряет модели разбивать проблемы на промежуточные этапы, имитируя то, как люди логически обдумывают проблему. Чтобы увидеть, как это работает, рассмотрим простую математическую задачу:

Если магазин продает яблоки по 2 доллара за штуку, но предлагает скидку 1 доллар за яблоко, если вы покупаете более 5 яблок, сколько будут стоить 7 яблок?

Типичный LLM, использующий подсказки CoT, может решить эту задачу следующим образом:

1. Определите обычную цену: 7 * 2 $ = 14 $.
2. Укажите, что скидка применяется (так как 7 > 5).
3. Рассчитаем скидку: 7 * $1 = $7.
4. Вычтите скидку из общей суммы: 14 долларов – 7 долларов = 7 долларов.

Явно излагая последовательность шагов, модель минимизирует вероятность ошибок, возникающих при попытке предсказать ответ за один раз. Хотя эта пошаговая разбивка делает LLM похожими на рассуждения, по сути, это форма структурированного решения проблем, очень похожая на следование пошаговому рецепту. С другой стороны, настоящий процесс рассуждения может распознавать общее правило: Если скидка распространяется на более чем 5 яблок, то каждое яблоко стоит 1 доллар.. Человек может вывести такое правило немедленно, но LLM не может, поскольку он просто следует структурированной последовательности вычислений.

Почему цепочка мыслей — это планирование, а не рассуждение

В то время как Цепочка мыслей (CoT) улучшила работу LLM на логически ориентированных задачах, таких как математические текстовые задачи и задачи по кодированию, она не включает в себя подлинное логическое рассуждение. Это потому, что CoT следует процедурным знаниям, полагаясь на структурированные шаги, а не генерируя новые идеи. Ей не хватает истинного понимания причинно-следственных связей и абстрактных отношений, что означает, что модель не занимается контрфактическим мышлением или не рассматривает гипотетические ситуации, требующие интуиции за пределами видимых данных. Кроме того, CoT не может принципиально изменить свой подход за пределами шаблонов, на которых она была обучена, что ограничивает ее способность рассуждать творчески или адаптироваться в незнакомых сценариях.

Что необходимо, чтобы магистры права стали настоящими мыслящими машинами?

Итак, что нужно LLM, чтобы действительно рассуждать как люди? Вот некоторые ключевые области, в которых им требуется улучшение, и потенциальные подходы к его достижению:

1. Символическое понимание: Люди рассуждают, манипулируя абстрактными символами и отношениями. Однако у LLM отсутствует подлинный механизм символического рассуждения. Интеграция символического ИИ или гибридных моделей, которые объединяют нейронные сети с формальными логическими системами, может повысить их способность участвовать в истинном рассуждении.
2. Причинный вывод: Истинное рассуждение требует понимания причины и следствия, а не только статистических корреляций. Модель, которая рассуждает, должна выводить базовые принципы из данных, а не просто предсказывать следующий токен. Исследования причинного ИИ, которые явно моделируют причинно-следственные связи, могут помочь LLM перейти от планирования к рассуждению.
3. Самоотражение и Метапознание: Люди постоянно оценивают свои мыслительные процессы, задавая вопросы «Имеет ли этот вывод смысл?» С другой стороны, LLM не имеют механизма для саморефлексии. Создание моделей, которые могут критически оценивать свои собственные результаты, было бы шагом к истинному рассуждению.
4. Здравый смысл и интуиция: Несмотря на то, что LLM имеют доступ к огромному объему знаний, они часто испытывают трудности с базовыми рассуждениями здравого смысла. Это происходит, потому что у них нет реального опыта, который бы формировал их интуицию, и они не могут легко распознать абсурдности, которые люди сразу бы заметили. У них также нет способа привнести динамику реального мира в процесс принятия решений. Одним из способов улучшения этого может быть построение модели с движком здравого смысла, который может включать интеграцию реального сенсорного ввода или использование графов знаний, чтобы помочь модели лучше понимать мир так, как это делают люди.
5. Контрфактуальное мышление: Человеческое мышление часто включает в себя вопрос: «А что, если бы все было по-другому?» LLM борются с такого рода сценариями «что если», потому что они ограничены данными, на которых они были обучены. Чтобы модели думали больше как люди в этих ситуациях, им нужно было бы моделировать гипотетические сценарии и понимать, как изменения переменных могут повлиять на результаты. Им также нужен был бы способ проверять различные возможности и придумывать новые идеи, а не просто предсказывать на основе того, что они уже видели. Без этих способностей LLM не могут по-настоящему представить себе альтернативное будущее — они могут работать только с тем, чему научились.

Заключение

Хотя может показаться, что LLM рассуждают, на самом деле они полагаются на методы планирования для решения сложных задач. Независимо от того, решают ли они математическую задачу или занимаются логическим выводом, они в первую очередь организуют известные шаблоны в структурированном виде, а не глубоко понимают принципы, лежащие в их основе. Это различие имеет решающее значение в исследованиях ИИ, поскольку, если мы принимаем сложное планирование за подлинное рассуждение, мы рискуем переоценить истинные возможности ИИ.

Дорога к истинному рассуждающему ИИ потребует фундаментальных достижений за пределами токенового прогнозирования и вероятностного планирования. Это потребует прорывов в символической логике, каузальном понимании и метапознании. До тех пор LLM будут оставаться мощными инструментами для структурированного решения проблем, но они не будут по-настоящему думать так, как думают люди.