Konec éry škálování: Proč algoritmické průlomy znamenají více než velikost modelu

Během většiny minulého desetiletí byl pokrok v oblasti umělé inteligence poháněn škálováním. Více dat, více parametrů a větší výpočetní síla se staly receptem na úspěch. Týmy soutěžily o to, aby vytvořily větší modely, měřily pokrok v bilionech parametrů a petabajtech trénovacích dat. Nazýváme to érou škálování. To pohánělo většinu pokroku v oblasti umělé inteligence, kterou vidíme dnes, ale nyní se blížíme k hranici, kde jednoduše zvětšování modelů již není nejefektivnějším, nejchytřejším nebo nejůspornějším přístupem. V důsledku toho se zaměření přesouvá ze syrové škály na průlomy v algoritmech. V tomto článku zkoumáme, proč škálování samo o sobě nestačí a jak další fáze vývoje umělé inteligence bude záviset na inovacích v algoritmech.

Zákon klesajících výnosů ve škálování modelů

Éra škálování byla postavena na solidních empirických základech. Výzkumníci pozorovali, že zvýšení velikosti modelů a dat může vést k předvídatelným ziskům ve výkonu. Tento vzorec se stal známým jako škálovací zákony. Tyto zákony se rychle staly návody pro přední laboratoře umělé inteligence, pohánějící závod na stavbu stále větších systémů. Ten závod vedl k velkým jazykovým modelům a základním modelům, které nyní pohánějí mnoho dnešních aplikací umělé inteligence. Nicméně, jako každá exponenciální křivka, toto škálování umělé inteligence začíná nyní zplošťovat. Náklady na vývoj ještě větších modelů rostou ostře. Školení state-of-the-art systému nyní spotřebuje tolik energie, jako malé město, což vyvolává vážné environmentální obavy. Finanční náklady jsou tak vysoké, že pouze hrstka organizací může soutěžit. Mezitím pozorujeme jasné známky klesajících výnosů. Zdvojnásobení počtu parametrů již neznamená zdvojnásobení schopností. Zlepšení jsou také inkrementální, pouze vylepšují stávající znalosti, místo aby odemykaly nové schopnosti. Hodnota zisku pro každý další dolar a watt vynaložený se snižuje. Strategie škálování dosahuje svých ekonomických a technických limitů.

Nová hranice: Algoritmická efektivita

Omezení škálovacích zákonů vedlo výzkumníky k opětovnému zaměření na algoritmickou efektivitu. Místo toho, aby se spoléhali na brute force, začali se zaměřovat na návrh chytřejších algoritmů, které využívají zdroje efektivněji. Nedávné pokroky ilustrují sílu tohoto posunu. Například architektura Transformer, poháněná mechanismem pozornosti, dominuje umělé inteligenci již roky. Ale pozornost přichází se slabostí: její výpočetní nároky rostou rychle s délkou sekvence. Stavové prostory (SSMs), jako je Mamba, se objevují jako slibná alternativa k Transformer. Díky umožnění efektivnějšího selektivního uvažování mohou SSMs dosáhnout stejného výkonu jako mnohem větší Transformery, zatímco běží rychleji a používají podstatně méně paměti.

Jiným příkladem algoritmické efektivita je vzestup Mixture of Experts (MoE) modelů. Místo aktivace celého obrovského sítě pro každý vstup, MoE systémy směrují úkoly pouze na nejrelevantnější podmnožinu menších sítí, nebo “expertů”. Model může mít miliardy parametrů celkem, ale každá výpočet používá pouze zlomek z nich. To je jako mít obrovskou knihovnu, ale otevřít pouze několik knih, které potřebujete k zodpovězení otázky, místo čtení každé knihy v budově pokaždé. Výsledkem je znalostní kapacita gigantického modelu s efektivitou mnohem menšího.

Jiným příkladem kombinujícím tyto myšlenky je DeepSeek-V3, Mixture-of-Experts model vylepšený o Multi-head Latent Attention (MLA). MLA zlepšuje tradiční pozornost komprimací stavů klíče-hodnota, umožňující modelu zpracovat dlouhé sekvence efektivně, podobně jako SSMs, zatímco zachovává sílu Transformerů. S 236 miliardami parametrů celkem, ale pouze zlomek aktivován pro každou úlohu, DeepSeek-V3 dodává špičkový výkon v oblastech, jako je kódování a uvažování, vše při nižší náročnosti na zdroje a přístupnosti než srovnatelně velké, škálované modely.

Tyto nejsou pouze izolované příklady. Představují širší trend směrem k chytřejšímu, efektivnějšímu návrhu. Výzkumníci se nyní zaměřují na to, jak udělat modely rychlejší, menší a méně hladové po datech, aniž by obětovali výkon.

Proč tento posun záleží

Posun od škálování k algoritmickým průlomům má významné dopady na oblast umělé inteligence. Zaprvé, činí umělou inteligenci přístupnější pro každého. Úspěch již neznamená pouze mít nejvýkonnější počítače. Malá skupina výzkumníků může vytvořit nový návrh, který překoná modely postavené s mnohem většími rozpočty. To mění inovace z závodů o zdroje na ty, které jsou poháněny nápady a odbornými znalostmi. V důsledku toho mohou univerzity, startupy a nezávislé laboratoře hrát větší roli, nejen velké technologické společnosti.

Zadruhé, pomáhá udělat umělou inteligenci více užitečnou v každodenních situacích. Model s 500 miliardami parametrů může vypadat působivě ve studiích, ale jeho obrovská velikost jej činí obtížným a nákladným pro použití v praxi. Naopak, efektivní možnosti, jako je Mamba nebo Mixture of Experts modely, mohou běžet na standardním hardwaru, včetně zařízení na okraji sítí. Tato snadnost použití je klíčová pro zavedení umělé inteligence do běžných aplikací, jako jsou diagnostické nástroje ve zdravotnictví nebo funkce okamžitého překladu na smartphoních.

Třetím, řeší otázku udržitelnosti. Energetické nároky na stavbu a provoz gigantických modelů umělé inteligence se stávají velkou výzvou pro životní prostředí. Díky zdůrazňování efektivita můžeme výrazně snížit emise uhlíku z práce umělé inteligence.

Co přijde dál: Éra inteligentního designu

Vstupujeme do éry, kterou bychom mohli nazvat érou inteligentního designu. Otázkou již není, jak velký můžeme udělat model, ale jak navrhnout model, který je sám o sobě inteligentnější a efektivnější.

Tento posun přinese inovace v několika základních oblastech výzkumu. Jednou z oblastí, kde můžeme očekávat pokroky, je architektura modelů umělé inteligence. Nové modely, jako již zmíněné stavové prostory, mohou změnit, jak neuronové sítě zpracovávají data. Například architektura inspirovaná dynamickými systémy se ukazuje jako více powerful v experimentech. Další zaměření bude na metody školení, které pomáhají modelům učit se efektivně s mnohem méně daty. Například pokroky v few-shot a zero-shot učení dělají umělou inteligenci více efektivní, zatímco techniky, jako je activation steering, umožňují behaviorální zlepšení bez nutnosti opětovného školení. Úpravy po školení a použití syntetických dat snižují需求 na školení dramaticky, někdy až o faktor 10 000.

Také uvidíme rostoucí zájem o hybridní modely, jako je neurosymbolická umělá inteligence. Neurosymbolická umělá inteligence se objevuje jako hlavní trend v roce 2025, kombinující neuronové učení s logickými silami symbolických systémů pro lepší vysvětlitelnost a méně závislost na datech. Příklady zahrnují AlphaGeometry 2 a AlphaProof, které umožňují Google DeepMind získat zlatou medaili na IMO 2025. Cílem je vyvinout systémy, které ne pouze předpovídají další slovo na základě statistiky, ale také rozumí a uvažují o světě způsobem podobným lidskému.

Podstatné

Éra škálování byla nezbytná a přinesla pozoruhodný růst umělé inteligence. Rozšířila hranice toho, co bylo možné, a dodala základní technologie, na kterých dnes závisíme. Ale jako každá zralá technologie, počáteční strategie nakonec vyčerpá svůj potenciál. Hlavní průlomy před námi nebudou pocházet z přidání dalších vrstev do zásobníku. Místo toho budou pocházet z redesignu zásobníku samotného.

Budoucnost patří těm, kteří inovují v algoritmech, architektuře a základních vědách o strojovém učení. Je to budoucnost, kde inteligence je měřena ne počtem parametrů, ale elegancí designu. Pohon k vytvoření chytřejších algoritmů teprve začíná. Tento přechod otevírá dveře k umělé inteligenci, která je více přístupná, udržitelná a skutečně inteligentní.