Конец эпохи масштабирования: почему алгоритмические прорывы важнее размера модели

На протяжении большей части прошлого десятилетия прогресс в области искусственного интеллекта был обусловлен масштабом. Более крупные наборы данных, больше параметров и большая вычислительная мощность стали рецептом успеха. Команды соревновались в создании более крупных моделей, измеряя прогресс в триллионах параметров и петабайтах тренировочных данных. Мы называем это эпохой масштабирования. Она способствовала многим достижениям в области ИИ, которые мы видим сегодня, но теперь мы приближаемся к пределу, где простое увеличение размера моделей больше не является наиболее эффективным, умным или устойчивым подходом. В результате внимание смещается от сырого масштаба к прорывам в алгоритмах. В этой статье мы рассматриваем, почему масштабирование само по себе оказывается недостаточным и как следующая фаза развития ИИ будет полагаться на алгоритмические инновации.

Закон убывающей отдачи в масштабировании моделей

Эпоха масштабирования была построена на прочных эмпирических основаниях. Исследователи обратили внимание, что увеличение размера моделей и наборов данных может привести к предсказуемым достижениям в производительности. Этот шаблон стал известен как законы масштабирования. Эти законы быстро стали инструкцией для ведущих лабораторий ИИ, стимулируя гонку за создание еще более крупных систем. Эта гонка привела к появлению крупных языковых моделей и фундаментальных моделей, которые сейчас обеспечивают работу многих современных систем ИИ. Однако, как и каждая экспоненциальная кривая, это масштабирование ИИ начинаетflatten сейчас. Затраты на разработку еще более крупных моделей растут резко. Обучение современной системы теперь потребляет столько же энергии, сколько маленький город, что вызывает серьезные экологические проблемы. Финансовая стоимость так высока, что только горстка организаций может конкурировать. Тем временем мы наблюдаем явные признаки убывающей отдачи. Удвоение количества параметров больше не удваивает возможности. Улучшения также являются инкрементальными, совершенствуя только существующие знания, а не открывая новые возможности. Прирост стоимости за каждый дополнительный доллар и ватт, потраченный на это, снижается. Стратегия масштабирования достигает своих экономических и технических пределов.

Новая граница: алгоритмическая эффективность

Пределы законов масштабирования заставили исследователей сосредоточиться на алгоритмической эффективности. Вместо того, чтобы полагаться на грубую силу, они начали сосредотачиваться на проектировании более умных алгоритмов, которые используют ресурсы более эффективно. Недавние достижения иллюстрируют силу этого сдвига. Например, архитектура Transformer, обусловленная ее механизмом внимания, доминировала в ИИ в течение многих лет. Но внимание имеет слабость: его вычислительные требования растут быстро с длиной последовательности. Модели пространства состояний (SSM), такие как Mamba, появляются как перспективная альтернатива Transformer. Позволяя более эффективно осуществлять селективное рассуждение, SSM могут соответствовать производительности намного более крупных Transformer, работая быстрее и используя значительно меньше памяти.

Другим примером алгоритмической эффективности является рост моделей Mixture of Experts (MoE). Вместо активации всей огромной сети для каждого входа системы MoE направляют задачи только к наиболее актуальному подмножеству меньших сетей или “экспертов”. Модель может иметь миллиарды параметров в общей сложности, но каждое вычисление использует только часть из них. Это похоже на то, как если бы у вас была огромная библиотека, но вы открываете только те книги, которые вам нужны, чтобы ответить на вопрос, а не читаете каждую книгу в здании каждый раз. Результатом является емкость знаний гигантской модели с эффективностью намного меньшей.

Еще одним примером, объединяющим эти идеи, является DeepSeek-V3, модель Mixture-of-Experts, улучшенная с помощью Многоголового Латентного Внимания (MLA). MLA улучшает традиционное внимание, сжимая состояния ключ-значение, позволяя модели эффективно обрабатывать длинные последовательности, как и SSM, сохраняя при этом сильные стороны Transformer. С 236 миллиардами параметров в общей сложности, но только часть из них активируется для каждой задачи, DeepSeek-V3 обеспечивает лучшую производительность в таких областях, как кодирование и рассуждение, все это при том, что она более доступна и менее требовательна к ресурсам, чем сравнимые по размеру, но масштабированные модели.

Эти примеры не являются изолированными. Они представляют более широкую тенденцию к более умному, эффективному дизайну. Исследователи теперь сосредоточены на том, как сделать модели быстрее, меньше и менее требовательными к данным, не жертвуя при этом производительностью.

Почему этот сдвиг имеет значение

Переход от зависимости от масштаба к фокусу на алгоритмических прорывах оказывает существенное влияние на область ИИ. Во-первых, он делает ИИ более доступным для всех. Успех больше не зависит только от наличия самых мощных компьютеров. Маленькая группа исследователей может создать новый дизайн, который превосходит модели, построенные с гораздо большими бюджетами. Это меняет инновации с гонки за ресурсами на гонку, обусловленную идеями и экспертизой. В результате университеты, стартапы и независимые лаборатории теперь могут сыграть более значимую роль, помимо просто крупных технологических компаний.

Во-вторых, это помогает сделать ИИ более полезным в повседневных условиях. Модель с 500 миллиардами параметров может выглядеть впечатляюще в исследованиях, но ее огромный размер делает ее трудной и дорогой для использования на практике. Напротив, эффективные варианты, такие как Mamba или модели Mixture of Experts, могут работать на стандартном оборудовании, включая устройства на краю сетей. Эта простота использования является ключом для введения ИИ в общие приложения, такие как диагностические инструменты в здравоохранении или функции мгновенного перевода на смартфонах.

В-третьих, это решает проблему устойчивости. Энергетические требования создания и эксплуатации гигантских моделей ИИ становятся серьезной проблемой для окружающей среды. Подчеркивая эффективность, мы можем резко сократить выбросы углекислого газа от работы ИИ.

Что дальше: Эра проектирования интеллекта

Мы вступаем в то, что можно назвать эрой проектирования интеллекта. Вопрос теперь не в том, как сделать модель больше, а в том, как спроектировать модель, которая изначально более интеллектуальна и эффективна.

Этот сдвиг принесет инновации в нескольких ключевых областях исследований. Одна из областей, где мы можем ожидать достижений, – это архитектура моделей ИИ. Новые модели, такие как модели пространства состояний, уже упомянутые, могут изменить то, как нейронные сети обрабатывают данные. Например, архитектура, вдохновленная динамическими системами, доказала свою силу в экспериментах. Другим направлением будет сосредоточение внимания на методах обучения, которые помогают моделям учиться эффективно с гораздо меньшим количеством данных. Например, достижения в области обучения с нулевым и небольшим количеством примеров делают ИИ более эффективным в отношении данных, в то время как методы, такие как activation steering, позволяют улучшать поведение без необходимости повторного обучения. Уточнения после обучения и использование синтетических данных также резко снижают потребность в обучении, иногда на факторы 10 000.

Мы также увидим растущий интерес к гибридным моделям, таким как нейросимволический ИИ. Нейросимволический ИИ появляется как основная тенденция в 2025 году, сочетая распознавание образов нейронного обучения с логическими силами символических систем для лучшей объяснимости и меньшей зависимости от данных. Примеры включают AlphaGeometry 2 и AlphaProof, которые позволяют Google DeepMind завоевать золотую медаль на IMO 2025. Цель состоит в том, чтобы разработать системы, которые не только предсказывают следующее слово на основе статистики, но и понимают и рассуждают о мире подобно человеку.

Основная мысль

Эпоха масштабирования была необходима и принесла замечательный рост ИИ. Она расширила пределы того, что было возможно, и обеспечила основные технологии, на которых мы полагаемся сегодня. Но как и любая технология, которая созревает, первоначальная стратегия в конечном итоге истощает свой потенциал. Основные прорывы впереди не будут возникать из добавления еще больше слоев к стеку. Вместо этого они возникнут из самого переосмысления стека.

Будущее принадлежит тем, кто инновирует в алгоритмах, архитектуре и фундаментальной науке машинного обучения. Это будущее, где интеллект измеряется не количеством параметров, а элегантностью дизайна. Движение к созданию более умных алгоритмов только начинается. Этот переход открывает дверь к ИИ, который более доступен, устойчив и действительно интеллектуален.