Het einde van de schaalepoque: Waarom algoritme-innovaties belangrijker zijn dan modelgrootte

Gedurende het grootste deel van het afgelopen decennium is de vooruitgang in kunstmatige intelligentie gedreven door schaal. Grotere datasets, meer parameters en meer rekenkracht werden het recept voor succes. Teams streden om grotere modellen te creëren, metingen van vooruitgang in biljoenen parameters en petabytes aan trainingsdata. We noemen dit de schaalepoque. Het heeft een groot deel van de AI-vooruitgang van vandaag mogelijk gemaakt, maar we naderen nu een limiet waarbij het simpelweg maken van grotere modellen niet langer de meest efficiënte, slimme of duurzame aanpak is. Als gevolg daarvan verschuift de focus van pure schaal naar doorbraken in algoritmen. In dit artikel onderzoeken we waarom schalen op zichzelf tekort schiet en hoe de volgende fase van AI-ontwikkeling zal steunen op algoritme-innovatie.

De wet van afnemende rendementen in model-schaal

De schaalepoque was gebouwd op solide empirische fundamenten. Onderzoekers observeerden dat het vergroten van de grootte van modellen en datasets kan leiden tot voorspelbare winsten in prestaties. Dit patroon werd bekend als de schaalwetten. Deze wetten werden snel het handboek voor toonaangevende AI-labs, waardoor de race om steeds grotere systemen te bouwen ontstond. Die race leidde tot grote taalmodellen en fundamentele modellen die nu veel van de AI van vandaag aandrijven. Echter, zoals elke exponentiële curve, begint deze AI-schaal nu te verflauwen. De kosten van het ontwikkelen van nog grotere modellen nemen scherp toe. Het trainen van een state-of-the-art-systeem verbruikt nu evenveel energie als een kleine stad, waardoor ernstige milieubezorgdheid ontstaat. De financiële kosten zijn zo hoog dat alleen een handvol organisaties kan concurreren. Ondertussen zien we duidelijke tekenen van afnemende rendementen. Het verdubbelen van het aantal parameters leidt niet langer tot een verdubbeling van de capaciteit. De verbeteringen zijn ook incrementeel, waarbij alleen de bestaande kennis wordt verfijnd in plaats van nieuwe mogelijkheden te ontsluiten. De waarde van elke extra dollar en watt die wordt uitgegeven, neemt af. De schaalstrategie bereikt zijn economische en technische limieten.

De nieuwe frontier: Algoritme-efficiëntie

De limieten van de schaalwetten hebben onderzoekers ertoe gebracht om zich te concentreren op algoritme-efficiëntie. In plaats van te vertrouwen op brute kracht, zijn ze begonnen met het ontwerpen van slimmere algoritmen die resources effectiever gebruiken. Recent onderzoek illustreert de kracht van deze verschuiving. Zo heeft de Transformer-architectuur, aangedreven door zijn aandachtmechanisme, jarenlang de AI-gemeenschap gedomineerd. Maar de aandacht komt met een zwakte: de computationele eisen groeien snel met de sequentielengte. State Space Models (SSMs), zoals Mamba, komen naar voren als een veelbelovend alternatief voor de Transformer. Door selectieve redenering mogelijk te maken, kunnen SSMs de prestaties van veel grotere Transformers evenaren terwijl ze sneller werken en aanzienlijk minder geheugen gebruiken.

Een ander voorbeeld van algoritme-efficiëntie is de opkomst van Mixture of Experts (MoE)-modellen. In plaats van een enorm netwerk te activeren voor elke invoer, routeren MoE-systemen taken naar alleen het meest relevante subset van kleinere netwerken, of “experts”. Het model kan miljarden parameters hebben in totaal, maar elke berekening gebruikt slechts een fractie ervan. Dit is alsof je een enorme bibliotheek hebt, maar alleen de paar boeken opent die je nodig hebt om een vraag te beantwoorden, in plaats van elk boek in het gebouw elke keer te lezen. Het resultaat is de kennis capaciteit van een reusachtig model met de efficiëntie van een veel kleiner model.

Nog een ander voorbeeld dat deze ideeën combineert, is DeepSeek-V3, een Mixture-of-Experts-model versterkt met Multi-head Latent Attention (MLA). MLA verbetert de traditionele aandacht door sleutel-waarde staten samen te voegen, waardoor het model efficiënt lange sequenties kan verwerken, net als SSMs, terwijl het de sterktes van Transformers behoudt. Met 236 miljard parameters in totaal, maar slechts een fractie geactiveerd per taak, levert DeepSeek-V3 topprestaties in gebieden zoals codering en redenering, alles zonder minder toegankelijk en minder resource-intensief te zijn dan vergelijkbare grote, geschaalde modellen.

Deze zijn niet alleen geïsoleerde voorbeelden. Ze vertegenwoordigen een bredere trend naar slimmere, efficiëntere ontwerp. Onderzoekers zijn nu gefocust op hoe ze modellen sneller, kleiner en minder data-hongerig kunnen maken zonder prestaties te offeren.

Waarom deze verschuiving ertoe doet

De verschuiving van schaal naar algoritme-innovaties heeft significante gevolgen voor het AI-veld. Ten eerste maakt het AI toegankelijker voor iedereen. Succes hangt niet langer alleen af van het hebben van de meest krachtige computers. Een kleine groep onderzoekers kan een nieuw ontwerp creëren dat modellen overtreft die zijn gebouwd met veel grotere budgetten. Dit verandert innovatie van een race over resources in een race die wordt aangedreven door ideeën en expertise. Als gevolg hiervan kunnen universiteiten, startups en onafhankelijke labs nu een grotere rol spelen, buiten de grote technologiebedrijven.

Ten tweede helpt het om AI meer bruikbaar te maken in dagelijkse situaties. Een model met 500 miljard parameters kan indrukwekkend lijken in studies, maar zijn enorme grootte maakt het moeilijk en duur om in de praktijk te gebruiken. In tegenstelling tot efficiënte opties zoals Mamba of Mixture of Experts-modellen, kunnen deze op standaardhardware worden uitgevoerd, inclusief apparaten aan de rand van netwerken. Deze gebruiksgemak is cruciaal voor het brengen van AI naar algemene toepassingen, zoals diagnostische tools in de gezondheidszorg of instantvertaalfuncties op smartphones.

Ten derde lost het de duurzaamheidskwestie op. De energievraag van het bouwen en exploiteren van reusachtige AI-modellen wordt een grote uitdaging voor het milieu. Door de nadruk te leggen op efficiëntie, kunnen we de koolstofemissies van AI-werk aanzienlijk verminderen.

Wat komt er hierna: De era van intelligentie-ontwerp

We zijn de era van intelligentie-ontwerp binnen te gaan. De vraag is niet langer hoe groot we een model kunnen maken, maar hoe we een model kunnen ontwerpen dat inherent slimmer en efficiënter is.

Deze verschuiving zal innovaties brengen in verschillende kerngebieden van onderzoek. Een van de gebieden waarop we vooruitgang kunnen verwachten, is AI-modelarchitectuur. De nieuwe modellen, zoals de eerder genoemde state space-modellen, kunnen de manier veranderen waarop neurale netwerken gegevens verwerken. Bijvoorbeeld, architectuur geïnspireerd door dynamische systemen blijkt krachtiger te zijn in experimenten. Een andere focus zal zijn op trainingsmethoden die modellen helpen effectief te leren met veel minder gegevens. Bijvoorbeeld, de vooruitgang in zero-shot en few-shot learning maakt AI meer data-efficiënt, terwijl technieken zoals activation steering gedragsverbeteringen toelaten zonder enige opnieuw trainen. De post-trainingsverbeteringen en het gebruik van synthetische gegevens verminderen de trainingsbehoeften aanzienlijk, soms met factoren van 10.000.

We zullen ook een groeiende interesse zien in hybride modellen, zoals neuro-symbolische AI. Neuro-symbolische AI is een grote trend in 2025, die neurale leerpatroonherkenning combineert met symbolische systemenlogische sterktes voor betere verklaring en minder gegevensafhankelijkheid. Voorbeelden zijn AlphaGeometry 2 en AlphaProof, die Google DeepMind in staat stellen om goud te winnen op de IMO 2025. Het doel is om systemen te ontwikkelen die niet alleen het volgende woord voorspellen op basis van statistieken, maar ook begrijpen en redeneren over de wereld op een menselijke manier.

De bodemlijn

De schaalepoque was essentieel en bracht opmerkelijke groei voor AI. Het heeft de grenzen van wat mogelijk was uitgebreid en heeft de fundamentale technologieën geleverd waarop we vandaag vertrouwen. Maar zoals elke technologie die volwassen wordt, put de initiële strategie uiteindelijk zijn potentieel uit. De belangrijkste doorbraken in de toekomst zullen niet komen van het toevoegen van meer lagen aan de stapel. In plaats daarvan zullen ze ontstaan uit het opnieuw ontwerpen van de stapel zelf.

De toekomst behoort toe aan degene die innovatie in algoritmen, architectuur en de fundamentele wetenschap van machine learning ontwikkelen. Het is een toekomst waarin intelligentie wordt gemeten, niet door het aantal parameters, maar door de elegantie van het ontwerp. De drang om slimmere algoritmen te creëren is net begonnen. Deze overgang opent de deur naar AI die toegankelijker, duurzamer en echt intelligent is.