Как Phi-4-Reasoning Переопределяет Рассуждение ИИ, Вызывая Под вопрос Миф “Чем Больше, Тем Лучше”

Недавний выпуск Microsoft (MSFT ) Phi-4-Reasoning бросает вызов одному из ключевых предположений при построении систем искусственного интеллекта, способных к рассуждению. С момента введения цепного рассуждения в 2022 году исследователи считали, что продвинутые рассуждения требуют очень больших языковых моделей с сотнями миллиардов параметров. Однако новая 14-миллиардная модель параметров Microsoft, Phi-4-Reasoning, ставит под сомнение это убеждение. Используя подход, ориентированный на данные, а не полагаясь на чистую вычислительную мощность, модель достигает производительности, сопоставимой с гораздо более крупными системами. Этот прорыв показывает, что подход, ориентированный на данные, может быть так же эффективен для обучения моделей рассуждения, как и для обычной тренировки ИИ. Это открывает возможность для более мелких моделей ИИ достичь продвинутых рассуждений, изменив способ, которым разработчики ИИ обучают модели рассуждения, перейдя от “чем больше, тем лучше” к “чем лучше данные, тем лучше.”

Традиционный Парадигма Рассуждения

Цепное рассуждение стало стандартом для решения сложных проблем в искусственном интеллекте. Этот метод направляет языковые модели через пошаговое рассуждение, разбивая сложные проблемы на более мелкие, управляемые шаги. Он имитирует человеческое мышление, заставляя модели “думать вслух” на естественном языке, прежде чем дать ответ.

Однако это способность пришла с важным ограничением. Исследователи постоянно нашли, что цепное рассуждение работало хорошо только тогда, когда языковые модели были очень большими. Способность к рассуждению, казалось, была напрямую связана с размером модели, причем более крупные модели выполняли лучше сложные задачи рассуждения. Это привело к соревнованию в построении крупных моделей рассуждения, где компании сосредоточились на превращении своих крупных языковых моделей в мощные двигатели рассуждения.

Идея включения способностей к рассуждению в модели ИИ в основном возникла из наблюдения, что крупные языковые модели могут выполнять обучение в контексте. Исследователи обратили внимание, что когда модели показывают примеры того, как решать проблемы шаг за шагом, они учатся следовать этому шаблону для новых проблем. Это привело к убеждению, что более крупные модели, обученные на огромных объемах данных, естественным образом развивают более продвинутые рассуждения. Сильная связь между размером модели и производительностью рассуждения стала общепринятой мудростью. Команды инвестировали огромные ресурсы в масштабирование способностей к рассуждению с помощью обучения с подкреплением, считая, что вычислительная мощность является ключом к продвинутым рассуждениям.

Понимание Подхода, Ориентированного на Данные

Рост ИИ, ориентированного на данные, бросает вызов менталитету “чем больше, тем лучше”. Этот подход смещает фокус с архитектуры модели на тщательную инженерию данных, используемых для обучения систем ИИ. Вместо того, чтобы рассматривать данные как фиксированный вход, методология, ориентированная на данные, рассматривает данные как материал, который можно улучшить и оптимизировать для повышения производительности ИИ.

Эндрю Нг, лидер в этой области, продвигает построение систематических инженерных практик для улучшения качества данных, а не только корректировки кода или масштабирования моделей. Эта философия признает, что качество и курирование данных часто имеют большее значение, чем размер модели. Компании, принимающие этот подход, показывают, что более мелкие, хорошо обученные модели могут превосходить более крупные, если обучены на высококачественных, тщательно подготовленных наборах данных.

Подход, ориентированный на данные, задает другой вопрос: “Как мы можем улучшить наши данные?” вместо “Как мы можем сделать модель больше?” Это означает создание лучших тренировочных наборов данных, улучшение качества данных и разработку систематической инженерии данных. В ИИ, ориентированном на данные, фокус смещается на понимание того, что делает данные эффективными для конкретных задач, а не просто сбор большего количества данных.

Этот подход показал большую перспективу в обучении небольших, но мощных моделей ИИ с помощью небольших наборов данных и намного меньших вычислений. Модели Phi от Microsoft являются хорошим примером обучения небольших языковых моделей с помощью подхода, ориентированного на данные. Эти модели обучаются с помощью обучения по учебной программе, который в основном вдохновлен тем, как дети учатся через прогрессивно более сложные примеры. Первоначально модели обучаются на простых примерах, которые затем постепенно заменяются более сложными. Microsoft построил набор данных из учебников, как объяснено в их статье “Учебники – Все, Что Вам Нужно“. Это помогло Phi-3 превзойти модели, такие как Google’s Gemma и GPT 3.5, в задачах, таких как понимание языка, общее знание, математические задачи для начальной школы и ответы на медицинские вопросы.

Несмотря на успех подхода, ориентированного на данные, рассуждение в целом оставалось особенностью крупных моделей ИИ. Это связано с тем, что рассуждение требует сложных шаблонов и знаний, которые крупномасштабные модели захватывают более легко. Однако это убеждение было недавно оспорено разработкой модели Phi-4-Reasoning.

Прорывная Стратегия Phi-4-Reasoning

Phi-4-Reasoning показывает, как подход, ориентированный на данные, может быть использован для обучения небольших моделей рассуждения. Модель была построена путем контролируемого уточнения базовой модели Phi-4 на тщательно отобранных “обучаемых” подсказках и примерах рассуждения, сгенерированных с помощью OpenAI’s o3-mini. Фокус был на качестве и специфике, а не на размере набора данных. Модель обучается примерно на 1,4 миллиона высококачественных подсказок, вместо миллиардов общих. Исследователи отфильтровали примеры, чтобы покрыть разные уровни сложности и типы рассуждения, обеспечивая разнообразие. Эта тщательная курирование сделало каждый пример обучения целенаправленным, обучая модель конкретным шаблонам рассуждения, а не просто увеличивая объем данных.

При контролируемом уточнении модель обучается с помощью полных демонстраций рассуждения, включающих полный процесс мышления. Эти пошаговые цепи рассуждения помогли модели научиться строить логические аргументы и решать проблемы систематически. Чтобы еще больше улучшить способности модели к рассуждению, она была усовершенствована с помощью обучения с подкреплением на примерно 6 000 высококачественных математических задач с проверенными решениями. Это показывает, что даже небольшие объемы сосредоточенного обучения с подкреплением могут значительно улучшить рассуждение, когда применяются к хорошо подобранным данным.

Производительность, Превосходящая Ожидания

Результаты доказывают, что этот подход, ориентированный на данные, работает. Phi-4-Reasoning превосходит гораздо более крупные модели, такие как DeepSeek-R1-Distill-Llama-70B, и почти соответствует полной DeepSeek-R1, несмотря на то, что является намного меньше. На тесте AIME 2025 (квалификация математической олимпиады США) Phi-4-Reasoning превосходит DeepSeek-R1, который имеет 671 миллиард параметров.

Эти достижения распространяются за пределы математики на научное решение проблем, кодирование, алгоритмы, планирование и пространственные задачи. Улучшения от тщательной курирования данных хорошо переносятся на общие бенчмарки, что предполагает, что этот метод строит фундаментальные навыки рассуждения, а не задачи, специфичные для трюков.

Phi-4-Reasoning бросает вызов идее, что продвинутые рассуждения требуют огромных вычислений. Модель с 14 миллиардами параметров может соответствовать производительности моделей, которые в десятки раз больше, когда обучается на тщательно подобранных данных. Эта эффективность имеет важные последствия для развертывания рассуждений ИИ, где ресурсы ограничены.

Последствия для Разработки ИИ

Успех Phi-4-Reasoning сигнализирует о сдвиге в том, как должны быть построены модели рассуждения ИИ. Вместо того, чтобы сосредотачиваться в основном на увеличении размера модели, команды могут получить лучшие результаты, инвестируя в качество и курирование данных. Это делает продвинутые рассуждения более доступными для организаций без огромных вычислительных бюджетов.

Метод, ориентированный на данные, также открывает новые пути исследований. Будущая работа может сосредоточиться на поиске лучших тренировочных подсказок, создании более богатых демонстраций рассуждения и понимании того, какие данные лучше всего помогают рассуждению. Эти направления могут быть более продуктивными, чем просто построение более крупных моделей.

Более широко, это может помочь демократизировать ИИ. Если более мелкие модели, обученные на подобранных данных, могут соответствовать крупным моделям, продвинутый ИИ становится доступным для более широкого круга разработчиков и организаций. Это также может ускорить принятие и инновации ИИ в областях, где очень крупные модели не практичны.

Будущее Моделей Рассуждения

Phi-4-Reasoning устанавливает новый стандарт для разработки моделей рассуждения. Будущие системы ИИ, вероятно, будут балансировать тщательную курирование данных с архитектурными улучшениями. Этот подход признает, что и качество данных, и проектирование модели имеют значение, но улучшение данных может дать более быстрые и экономически эффективные выгоды.

Это также позволяет создавать специализированные модели рассуждения, обученные на доменно-специфических данных. Вместо общих гигантов команды могут строить сосредоточенные модели, превосходящие в конкретных областях через целевое курирование данных. Это создаст более эффективный ИИ для конкретных применений.

По мере того, как ИИ продвигается вперед, уроки из Phi-4-Reasoning будут влиять не только на обучение моделей рассуждения, но и на разработку ИИ в целом. Успех курирования данных, преодолевая ограничения размера, предполагает, что будущий прогресс лежит в сочетании инноваций моделей с умной инженерией данных, а не только в построении более крупных архитектур.

Основная Идея

Модель Phi-4-Reasoning от Microsoft меняет общее убеждение, что продвинутые рассуждения ИИ требуют очень крупных моделей. Вместо того, чтобы полагаться на более крупный размер, эта модель использует подход, ориентированный на данные, с высококачественными и тщательно подобранными данными для обучения. Phi-4-Reasoning имеет только 14 миллиардов параметров, но выполняет так же хорошо, как и гораздо более крупные модели на сложных задачах рассуждения. Это показывает, что фокус на лучших данных более важен, чем просто увеличение размера модели.

Этот новый способ обучения делает продвинутый ИИ более эффективным и доступным для организаций, которые не имеют крупных вычислительных ресурсов. Успех Phi-4-Reasoning указывает на новое направление в разработке ИИ. Он фокусируется на улучшении качества данных, умном обучении и тщательной инженерии, а не только на увеличении размера модели.

Этот подход может помочь ИИ прогрессировать быстрее, снизить затраты и позволить более людям и компаниям использовать мощные инструменты ИИ. В будущем ИИ, вероятно, будет расти, сочетая лучшие модели с лучшими данными, делая продвинутый ИИ полезным во многих специализированных областях.