Enden på skalaeringsæraen: Hvorfor algoritme-gennembrud betyder mere end modelstørrelse

I det meste af det sidste årti har fremgangen i kunstig intelligens været drevet af skala. Større datasæt, flere parametre og større beregningskraft blev recepten på succes. Hold konkurrerede om at skabe større modeller, og fremgangen måledes i billioner af parametre og petabyte af træningsdata. Vi kalder dette skalaeringsæraen. Den har fremmet meget af den AI-fremgang, vi ser i dag, men vi nærmer os nu en grænse, hvor blot at gøre modellerne større ikke længere er den mest effektive, smarte eller bæredygtige tilgang. Som følge heraf skifter fokus fra ren skala til gennembrud i algoritmer. I denne artikel undersøger vi, hvorfor skalaering alene ikke er nok, og hvordan den næste fase af AI-udvikling vil afhænge af algoritme-innovation.

Lov om aftagende afkast i model-skalaering

Skalaeringsæraen var bygget på solide empiriske grundlag. Forskere observerede, at øgning af modellernes og datasættens størrelse kan føre til forudsigelige gevinster i ydeevne. Dette mønster blev kendt som skalaeringslove. Disse love blev hurtigt til playbogen for førende AI-laboratorier, og det fik gang i kapløbet om at bygge endnu større systemer. Dette kapløb gav anledning til store sprogmodeller og grundlæggende modeller, som nu driver mange af i dag’s AI. Men ligesom enhver eksponentiel kurve begynder denne AI-skalaering at flade ud nu. Udgifterne til at udvikle endnu større modeller stiger skarpt. Træning af et state-of-the-art-system forbruger nu så meget energi som en lille by, hvilket rejser alvorlige miljømæssige bekymringer. Den finansielle omkostning er så høj, at kun en håndfuld organisationer kan konkurrere. Imens observerer vi tydelige tegn på aftagende afkast. At fordoble parameterantallet giver ikke længere dobbelt så stor kapacitet. Forbedringerne er også inkrementelle og forbedrer kun den eksisterende viden i stedet for at låse op for nye evner. Værdiudbyttet for hver yderligere dollar og watt brugt er aftagende. Skalaeringsstrategien nærmer sig sine økonomiske og tekniske grænser.

Det nye frontfelt: Algoritme-effektivitet

Skalaeringslove har presset forskerne til at fokusere på algoritme-effektivitet. I stedet for at stole på brutalkraft er de begyndt at fokusere på at designe smartere algoritmer, der bruger ressourcerne mere effektivt. Seneste fremskridt illustrerer kraften i denne skift. For eksempel har Transformer-arkitekturen, drevet af dens opmærksomheds-mekanisme, domineret AI i år. Men opmærksomheden kommer med en svaghed: dens beregningskrav vokser hurtigt med sekvenslængde. State Space Models (SSMs), såsom Mamba, er ved at opstå som en lovende alternativ til Transformer. Ved at aktivere mere effektiv selektiv resonans kan SSM’er matche ydeevnen af langt større Transformers, mens de kører hurtigere og bruger betydeligt mindre hukommelse.

Et andet eksempel på algoritme-effektivitet er opkomsten af Mixture of Experts (MoE)-modeller. I stedet for at aktivere hele det massive netværk for hver input dirigerer MoE-systemer opgaverne til kun det mest relevante undermængde af mindre netværk eller “eksperter”. Modellen kan have milliarder af parametre i alt, men hver beregning bruger kun en brøkdel af dem. Dette er som at have en enorm bibliotek, men kun åbne de få bøger, du har brug for at besvare et spørgsmål, i stedet for at læse hver bog i bygningen hver gang. Resultatet er videnkapaciteten af en kæmpe-model med effektiviteten af en langt mindre model.

Endnu et eksempel, der kombinerer disse idéer, er DeepSeek-V3, en Mixture-of-Experts-model forbedret med Multi-head Latent Attention (MLA). MLA forbedrer traditionel opmærksomhed ved at komprimere nøgle-værdi-tilstande, hvilket tillader modellen at håndtere lange sekvenser effektivt, ligesom SSM’er, mens den bevarede styrkerne af Transformers. Med 236 milliarder parametre i alt, men kun en brøkdel aktiveret per opgave, leverer DeepSeek-V3 top-ydeevne i områder som kodning og resonans, samtidig med at det er mere tilgængeligt og mindre ressource-krævende end sammenlignelige store, skalaerede modeller.

Disse er ikke bare isolerede eksempler. De repræsenterer en bredere tendens mod smartere, mere effektive design. Forskere fokuserer nu på, hvordan man kan gøre modellerne hurtigere, mindre og mindre sultne efter data uden at ofre ydeevnen.

Hvorfor denne skift betyder noget

Skiftet fra at stole på skala til at fokusere på algoritme-gennembrud har betydelige effekter på AI-feltet. Først gør det AI mere tilgængeligt for alle. Succes afhænger ikke længere kun af at have de mest kraftfulde computere. En lille gruppe forskere kan skabe en ny design, der overgår modeller bygget med langt større budgetter. Dette ændrer innovation fra en kapløb over ressourcer til en, der drives af idéer og ekspertise. Som følge heraf kan universiteter, startups og uafhængige laboratorier nu spille en større rolle, ud over kun de store tech-virksomheder.

Anden, det hjælper med at gøre AI mere brugbart i hverdags-sammenhænge. En model med 500 milliarder parametre kan se imponerende ud i studier, men dens enorme størrelse gør det svært og dyrt at bruge i praksis. I modsætning hertil kan effektive muligheder som Mamba eller Mixture of Experts-modeller køre på standard-hardware, herunder enheder på kanten af netværkene. Denne letbrugelighed er afgørende for at bringe AI ind i almindelige anvendelser, såsom diagnostiske værktøjer i sundhedssektoren eller instant-oversættelsesfunktioner på smartphones.

Tredje, det tager fat i problemet med bæredygtighed. Energikravene til at bygge og drive kæmpestore AI-modeller bliver en stor udfordring for miljøet. Ved at fokusere på effektivitet kan vi skære skarpt ned på CO2-udledningen fra AI-arbejde.

Hvad kommer næste: Æraen for intelligens-design

Vi er ved at indtræde i, hvad vi måske kan kalde æraen for intelligens-design. Spørgsmålet er ikke længere, hvor stor vi kan gøre modellen, men hvordan vi kan designe en model, der er mere intelligent og effektiv.

Dette skift vil bringe innovationer på tværs af flere kerneområder for forskning. Et af områderne, hvor vi kan forvente fremskridt, er i AI-model-arkitektur. De nye modeller som de allerede nævnte state space-modeller kan ændre, hvordan neurale netværk behandler data. For eksempel er arkitektur inspireret af dynamiske systemer bevist mere kraftfuld i eksperimenter. Et andet fokus vil være på træningsmetoder, der hjælper modellerne med at lære effektivt med langt mindre data. For eksempel er fremskridt i few-shot og zero-shot-læring ved at gøre AI mere data-effektiv, mens teknikker som activation steering tillader adfærdsmæssige forbedringer uden nogen gen-træning. Efter-trænings-forbedringer og brugen af syntetisk data reducerer træningsbehov dramatisk, nogle gange med en faktor på 10.000.

Vi vil også se en stigende interesse for hybrid-modeller, såsom neuro-symbolisk AI. Neuro-symbolisk AI er ved at opstå som en stor trend i 2025, kombinerer neuralt læring med symboliske systemers logiske styrker for bedre forklarbarhed og mindre afhængighed af data. Eksempler inkluderer AlphaGeometry 2 og AlphaProof, som tillader Google DeepMind at sikre guldmedalje-præstation ved IMO 2025. Målet er at udvikle systemer, der ikke kun forudsiger det næste ord baseret på statistik, men også forstår og resonere om verden på en menneske-lignende måde.

Bottom Line

Skalaeringsæraen var afgørende og bragte bemærkelsesværdig vækst til AI. Den udvidede grænserne for, hvad der var muligt, og leverede de grundlæggende teknologier, vi afhænger af i dag. Men ligesom enhver teknologi, der modner, udtømmer den oprindelige strategi til sidst sin potentiale. De store gennembrud forude kommer ikke fra at tilføje flere lag til stakken. I stedet vil de opstå fra at redesigne stakken selv.

Fremtiden tilhører dem, der innovere i algoritmer, arkitektur og den grundlæggende videnskab om maskinlæring. Det er en fremtid, hvor intelligens måles ikke af antallet af parametre, men af designets elegance. Drivet til at skabe smartere algoritmer er lige begyndt. Denne overgang åbner døren for AI, der er mere tilgængelig, bæredygtig og sandt intelligent.