Конец эры масштабирования: почему прорывы в алгоритмах важнее, чем размер модели

На протяжении большей части прошлого десятилетия прогресс в области искусственного интеллекта был обусловлен масштабом. Большие наборы данных, больше параметров и большая вычислительная мощность стали рецептом успеха. Команды соревновались в создании более крупных моделей, измеряя прогресс в триллионах параметров и петабайтах обучающих данных. Мы называем это эпохой масштабирования. Она привела к значительному прогрессу в области ИИ, который мы видим сегодня, но теперь мы приближаемся к пределу, где простое увеличение размера моделей больше не является наиболее эффективным, умным или устойчивым подходом. В результате внимание смещается с сырого масштаба на прорывы в алгоритмах. В этой статье мы рассматриваем, почему масштабирование само по себе не достаточно и как следующая фаза развития ИИ будет зависеть от инноваций в алгоритмах.

Закон убывающей отдачи в масштабировании моделей

Эра масштабирования была построена на прочных эмпирических основаниях. Исследователи обратили внимание, что увеличение размера моделей и наборов данных может привести к предсказуемым улучшениям производительности. Этот шаблон стал известен как закон масштабирования. Эти законы быстро стали инструкцией для ведущих лабораторий ИИ, стимулируя гонку за создание все более крупных систем. Эта гонка привела к появлению крупных языковых моделей и фундаментальных моделей, которые сейчас обеспечивают работу многих современных систем ИИ. Однако, как и всякая экспоненциальная кривая, это масштабирование ИИ начинаетflatten сейчас. Затраты на разработку еще более крупных моделей растут резко. Обучение современной системы теперь потребляет столько же энергии, сколько маленький город, что вызывает серьезные экологические проблемы. Финансовая стоимость так высока, что только несколько организаций могут конкурировать. Тем временем мы наблюдаем явные признаки убывающей отдачи. Удвоение количества параметров больше не удваивает возможности. Улучшения также являются постепенными, совершенствуя только существующие знания, а не открывая новые возможности. Прирост ценности за каждый дополнительный доллар и ватт, потраченный, уменьшается. Стратегия масштабирования достигает своих экономических и технических пределов.

Новая граница: алгоритмическая эффективность

Пределы законов масштабирования заставили исследователей сосредоточиться на алгоритмической эффективности. Вместо того, чтобы полагаться на грубую силу, они начали сосредотачиваться на проектировании более умных алгоритмов, которые используют ресурсы более эффективно. Недавние достижения иллюстрируют силу этого сдвига. Например, архитектура Transformer, обусловленная ее механизмом внимания, доминировала в области ИИ в течение многих лет. Но внимание имеет слабость: его вычислительные требования растут быстро с длиной последовательности. Модели пространства состояний (SSM), такие как Mamba, появляются как перспективная альтернатива Transformer. Благодаря возможности более эффективного избирательного рассуждения, SSM могут соответствовать производительности намного более крупных Transformer, работая быстрее и используя значительно меньше памяти.

Другим примером алгоритмической эффективности является рост моделей Mixture of Experts (MoE). Вместо активации всей巨ной сети для каждого входа, системы MoE направляют задачи только на наиболее актуальный подмножество более мелких сетей или “экспертов”. Модель может иметь миллиарды параметров в общей сложности, но каждое вычисление использует только часть из них. Это похоже на то, как если бы у вас была огромная библиотека, но вы открываете только несколько книг, которые вам нужны, чтобы ответить на вопрос, вместо того, чтобы читать каждую книгу в здании каждый раз. В результате получается знание, эквивалентное гигантской модели, но с эффективностью намного более мелкой.

Еще одним примером, объединяющим эти идеи, является DeepSeek-V3, модель Mixture-of-Experts, улучшенная с помощью многоголового латентного внимания (MLA). MLA улучшает традиционное внимание, сжимая состояния ключ-значение, что позволяет модели эффективно обрабатывать длинные последовательности, как и SSM, сохраняя при этом сильные стороны Transformer. С 236 миллиардами параметров в общей сложности, но только часть из них активируется для каждой задачи, DeepSeek-V3 обеспечивает лучшую производительность в таких областях, как кодирование и рассуждение, при этом будучи более доступным и менее требовательным к ресурсам, чем сравнимые по размеру, но более крупные модели.

Эти примеры не являются изолированными. Они представляют собой более широкий тренд в сторону более умного и эффективного дизайна. Исследователи теперь сосредоточены на том, как сделать модели быстрее, меньше и менее требовательными к данным, не жертвуя при этом производительностью.

Почему этот сдвиг имеет значение

Сдвиг от зависимости от масштаба к сосредоточению на алгоритмических прорывах имеет значительные последствия для области ИИ. Во-первых, он делает ИИ более доступным для всех. Успех больше не зависит только от наличия самых мощных компьютеров. Малая группа исследователей может создать новый дизайн, который превосходит модели, построенные с гораздо более крупными бюджетами. Это меняет инновации из гонки за ресурсы в гонку, обусловленную идеями и экспертизой. В результате университеты, стартапы и независимые лаборатории теперь могут играть более значимую роль, помимо только крупных технологических компаний.

Во-вторых, это помогает сделать ИИ более полезным в повседневных условиях. Модель с 500 миллиардами параметров может выглядеть впечатляющей в исследованиях, но ее огромный размер делает ее трудной и дорогой для использования на практике. В отличие от этого, эффективные варианты, такие как Mamba или модели Mixture of Experts, могут работать на стандартном оборудовании, включая устройства на краю сетей. Эта простота использования является ключом для введения ИИ в общие приложения, такие как диагностические инструменты в здравоохранении или функции мгновенного перевода на смартфонах.

Третьим, это решает проблему устойчивости. Энергетические требования построения и эксплуатации гигантских моделей ИИ становятся серьезной проблемой для окружающей среды. Сосредоточившись на эффективности, мы можем значительно сократить выбросы парниковых газов от работы ИИ.

Что ждет нас в будущем: Эра дизайна интеллекта

Мы вступаем в то, что можно назвать эрой дизайна интеллекта. Вопрос больше не в том, насколько мы можем увеличить модель, а в том, как мы можем спроектировать модель, которая по своей сути более умна и эффективна.

Этот сдвиг принесет инновации в нескольких ключевых областях исследований. Одна из областей, где мы можем ожидать прорывов, – это архитектура моделей ИИ. Новые модели, такие как модели пространства состояний, уже упомянутые, могут изменить то, как нейронные сети обрабатывают данные. Например, архитектура, вдохновленная динамическими системами, доказала свою силу в экспериментах. Другим направлением будет сосредоточение на методах обучения, которые помогают моделям учиться эффективно с гораздо меньшим количеством данных. Например, достижения в области обучения с нулевым и несколькими выстрелами делают ИИ более эффективным в отношении данных, в то время как техники, такие как activation steering, позволяют улучшать поведение без необходимости повторного обучения. Уточнения после обучения и использование синтетических данных также сокращают потребность в обучении, иногда на порядок 10 000.

Мы также увидим растущий интерес к гибридным моделям, таким как нейросимволический ИИ. Нейросимволический ИИ появляется как основной тренд в 2025 году, сочетая распознавание образов нейронного обучения с логическими сильными сторонами символьных систем для лучшей объяснимости и меньшей зависимости от данных. Примеры включают AlphaGeometry 2 и AlphaProof, которые позволяют Google DeepMind обеспечить золотую медаль на IMO 2025. Цель – разработать системы, которые не только предсказывают следующее слово на основе статистики, но и понимают и рассуждают о мире подобно человеку.

Итог

Эра масштабирования была важна и принесла замечательный рост ИИ. Она расширила пределы того, что было возможно, и обеспечила основные технологии, на которых мы полагаемся сегодня. Но как и любая технология, которая созревает, первоначальная стратегия в конечном итоге исчерпывает свой потенциал. Основные прорывы впереди не будут исходить от добавления еще больше слоев к стеку. Вместо этого они появятся из-за переработки самого стека.

Будущее принадлежит тем, кто инновирует в алгоритмах, архитектуре и фундаментальной науке машинного обучения. Это будущее, где интеллект измеряется не количеством параметров, а элегантностью дизайна. Стремление создать более умные алгоритмы только начинается. Этот переход открывает дверь к ИИ, который более доступен, устойчив и действительно интеллектуален.