Кінець епохи масштабування: чому алгоритмічні прориви важливіші за розмір моделі

На протяженні більшої частини минулого десятиліття прогрес у сфері штучного інтелекту був пов’язаний із масштабуванням. Більші набори даних, більше параметрів і більша обчислювальна потужність стали формулою успіху. Команди змагалися у створенні більших моделей, вимірюючи прогрес у трильйонах параметрів і петабайтах тренувальних даних. Ми називаємо це епохою масштабування. Це сприяло багатьом досягненням у сфері штучного інтелекту, яких ми бачимо сьогодні, але тепер ми наближаємося до межі, де просте збільшення розміру моделей вже не є найефективнішим, найрозумнішим чи найстабільнішим підходом. У результаті увага зосереджується на алгоритмічних проривах. У цій статті ми розглянемо, чому масштабування само по собі виявляється недостатнім, і як наступна фаза розвитку штучного інтелекту буде залежати від алгоритмічних інновацій.

Закон зменшення віддачі у масштабуванні моделей

Епоха масштабування була побудована на солідних емпіричних підставах. Дослідники виявили, що збільшення розміру моделей і наборів даних може привести до передбачуваних здобутків у продуктивності. Цей шаблон став відомим як закони масштабування. Ці закони швидко стали інструкцією для провідних лабораторій штучного інтелекту, сприяючи гонці за створення ще більших систем. Ця гонка призвела до появи великих мовних моделей і фундаментальних моделей, які зараз забезпечують багато сучасного штучного інтелекту. Однак, як і кожна експоненціальна крива, це масштабування штучного інтелекту починає сплескуватися зараз. Витрати на розробку ще більших моделей зростають різко. Навчання сучасної системи зараз споживає стільки ж енергії, скільки мале місто, що викликає серйозні екологічні проблеми. Фінансові витрати настільки високі, що тільки кілька організацій можуть конкурувати. Тим часом ми спостерігаємо явні ознаки зменшення віддачі. Подвоєння кількості параметрів вже не подвоює можливостей. Покращення також є інкрементними, вдосконалюючи лише існуючі знання, а не відкриваючи нові можливості. Віддача за кожен додатковий долар і ватт зменшується. Стратегія масштабування наближається до своїх економічних і технічних меж.

Нова межа: алгоритмічна ефективність

Межі законів масштабування спонукали дослідників переорієнтуватися на алгоритмічну ефективність. Замість того, щоб покладатися на силу, вони почали зосереджуватися на розробці розумніших алгоритмів, які використовують ресурси більш ефективно. Недавні досягнення демонструють силу цього зрушення. Наприклад, архітектура Трансформера, яка рухається своїм механізмом уваги, домінувала у сфері штучного інтелекту протягом років. Але увага має слабкість: її обчислювальні вимоги зростають швидко з довжиною послідовності. Моделі стану простору (SSM), такі як Mamba, виникають як перспективна альтернатива Трансформеру. Завдяки можливості більш ефективного селективного висновку SSM можуть відповідати продуктивності значно більших Трансформерів, працюючи швидше і використовуючи значно менше пам’яті.

Іншим прикладом алгоритмічної ефективності є підйом Моделей суміші експертів (MoE). Замість активації всієї величезної мережі для кожного входу системи MoE направляють завдання лише до найбільш відповідного підмножини менших мереж, або “експертів”. Модель може мати мільярди параметрів загалом, але кожен обчислення використовує лише частину з них. Це подібно до того, як у вас є величезна бібліотека, але ви відкриваєте лише кілька книг, які вам потрібні для відповіді на питання, а не читаєте кожну книгу в будівлі кожен раз. Результатом є знання можливості гігантської моделі з ефективністю значно меншої.

Ще одним прикладом, який поєднує ці ідеї, є DeepSeek-V3, модель суміші експертів, посилена Багатокомірковою латентною увагою (MLA). MLA покращує традиційну увагу, стискаючи стан ключа-значення, що дозволяє моделі ефективно обробляти довгі послідовності, подібно до SSM, зберігаючи при цьому сильні сторони Трансформера. З 236 мільярдами параметрів загалом, але лише частиною активованою для кожного завдання, DeepSeek-V3 забезпечує продуктивність вищого рівня у таких областях, як кодування і висновок, при цьому залишаючись більш доступним і менш ресурсоємним, ніж порівнянні великі масштабовані моделі.

Ці приклади не є ізольованими випадками. Вони представляють ширший тренд до розумнішого, більш ефективного дизайну. Дослідники зараз зосереджені на тому, як зробити моделі швидшими, меншими і менш голодними до даних без жертвування продуктивністю.

Чому це зрушення має значення

Перехід від залежності від масштабування до зосередження на алгоритмічних проривах має суттєві наслідки для сфери штучного інтелекту. По-перше, це робить штучний інтелект більш доступним для всіх. Успіх вже не залежить лише від наявності найпотужніших комп’ютерів. Мала група дослідників може створити новий дизайн, який перевершує моделі, побудовані з набагато більшим бюджетом. Це змінює інновації з гонки за ресурсами на гонку, яку рухають ідеї та експертиза. Як наслідок, університети, стартапи та незалежні лабораторії тепер можуть відігравати більшу роль, виходячи за рамки великих технологічних компаній.

По-друге, це сприяє тому, щоб штучний інтелект став більш корисним у повсякденних умовах. Модель з 500 мільярдами параметрів може виглядати вражаюче у дослідженнях, але її величезний розмір робить її важкою і дорогою для використання на практиці. Натомість ефективні варіанти, такі як Mamba або моделі суміші експертів, можуть працювати на стандартному обладнанні, включаючи пристрої на краю мереж. Ця легкість використання є ключовою для впровадження штучного інтелекту у звичайні застосування, такі як діагностичні інструменти у сфері охорони здоров’я або функції миттєвого перекладу на смартфонах.

По-третє, це допомагає вирішити проблему сталості. Енергетичні вимоги побудови і експлуатації гігантських моделей штучного інтелекту стають серйозною проблемою для навколишнього середовища. Зосереджуючись на ефективності, ми можемо різко знизити викиди вуглецю від роботи штучного інтелекту.

Що далі: Ера дизайну інтелекту

Ми вступаємо в те, що можна назвати ерою дизайну інтелекту. Питання вже не полягає в тому, наскільки великою ми можемо зробити модель, а в тому, як ми можемо розробити модель, яка є суттєво більш інтелектуальною і ефективною.

Цей перехід принесе інновації у декількох ключових областях досліджень. Однією з областей, де ми можемо очікувати досягнень, є архітектура моделей штучного інтелекту. Нові моделі, такі як моделі стану простору, вже згадані, можуть змінити те, як нейронні мережі обробляють дані. Наприклад, архітектура, натхненна динамічними системами, виявляється більш потужною в експериментах. Іншим напрямком буде зосередження на методах навчання, які допоможуть моделям ефективно навчатися з набагато меншими даними. Наприклад, прогрес у вивченні з нуля і з кількох зразків робить штучний інтелект більш ефективним щодо даних, тоді як техніки, такі як активація керування, дозволяють покращувати поведінку без повторної навчальної сесії. Доопрацювання після навчання і використання синтетичних даних також знижують потреби у навчанні драматично, іноді у десятки тисяч разів.

Ми також побачимо зростання інтересу до гібридних моделей, таких як нейросимволічний штучний інтелект. Нейросимволічний штучний інтелект виникає як головний тренд у 2025 році, поєднуючи нейронне навчання для розпізнавання шаблонів з символічними системами для логічної сили, забезпечуючи кращу пояснюваність і меншу залежність від даних. Прикладами є AlphaGeometry 2 і AlphaProof, які дозволяють Google DeepMind забезпечити золоті медалі на IMO 2025. Метою є розробка систем, які не тільки передбачають наступне слово на основі статистики, а й розуміють і роблять висновки про світ у людський спосіб.

Основне

Епоха масштабування була суттєвою і принесла видатний ріст штучному інтелекту. Вона розширила межі того, що було можливим, і забезпечила фундаментальні технології, на яких ми зараз спираємося. Але як і будь-яка технологія, яка дозріває, початкова стратегія врешті-решт вичерпує свій потенціал. Основні прориви вперед не виникнуть у результаті додавання ще більше шарів до стека. Натомість, вони виникнуть у результаті переробки самого стека.

Майбутнє належить тим, хто інновує в алгоритмах, архітектурі та фундаментальній науці про машинне навчання. Це майбутнє, де інтелект вимірюється не кількістю параметрів, а елегантністю дизайну. Перехід на створення розумніших алгоритмів тільки починається. Це відкриває двері до штучного інтелекту, який є більш доступним, сталім і справді інтелектуальним.