Test-Time Scaling: Het Geheime Ingrediënt Achter de Nieuwe Golf van PhD-Niveau Redeneermodellen

Het veld van kunstmatige intelligentie heeft een punt bereikt waarop het simpelweg toevoegen van meer gegevens of het vergroten van de grootte van een model niet langer de beste manier is om het slimmer te maken. In de afgelopen jaren geloofden we dat als we grotere neurale netwerken zouden bouwen en ze meer van het internet zouden voeden, ze uiteindelijk slimmer zouden worden. Deze aanpak, bekend als schaalwetten, werkte opmerkelijk goed. Het gaf ons modellen die poëzie konden schrijven, talen konden vertalen en het bar-examen konden afleggen. Echter, deze modellen worstelden vaak met diepe logica, complexe wiskunde en multi-stap wetenschappelijke problemen. Ze waren uitstekend in patroonherkenning, maar faalden vaak bij problemen die multi-stap redenering vereisen.

Onlangs is een nieuwe trend ontstaan die de manier waarop we over AI-mogelijkheden denken verandert. Deze trend wordt test-time scaling genoemd. In plaats van zich alleen te concentreren op hoeveel een model leert tijdens zijn trainingsfase, richten onderzoekers zich nu op hoeveel de modellen “denken” wanneer ze daadwerkelijk een vraag beantwoorden. Deze verschuiving is het geheime ingrediënt achter de nieuwste golf van redeneermodellen, zoals OpenAI’s o1-serie, die nu presteren op het niveau van PhD-studenten in moeilijke onderwerpen zoals natuurkunde, scheikunde en biologie.

De Verschuiving van Schaalbaarheid in Training naar Schaalbaarheid in Inferentie

Om te begrijpen waarom dit een belangrijke verandering is, moeten we kijken naar hoe AI tot nu toe is gebouwd. Traditioneel werd de “intelligentie” van een model bepaald op basis van zijn training. Dit omvatte het besteden van maanden en miljoenen dollars om enorme hoeveelheden gegevens door duizenden GPUs te laten lopen. Zodra de training was voltooid, was het model in wezen bevroren. Wanneer je het een vraag stelde, zou het bijna onmiddellijk antwoorden op basis van de patronen die het al had geleerd. Dit noemen we inferentie of test-time.

Het probleem met deze traditionele aanpak is dat het model slechts één kans heeft om het antwoord goed te krijgen. Het verwerkt de prompt en genereert tokens een voor een zonder de mogelijkheid om zijn logica te “denken” of “dubbel te controleren” voordat het antwoordt. Test-time scaling verandert deze dynamiek. Het staat het model toe om meer rekenkracht te gebruiken tijdens de inferentiefase. Net zoals een mens een paar seconden nodig kan hebben om een eenvoudige vraag te beantwoorden, maar enkele minuten of uren om een complex wiskundig probleem op te lossen, worden AI-modellen nu ontworpen om hun inspanning te schalen op basis van de moeilijkheid van de taak.

Definiëren van het Concept van Test-Time Scaling

Test-time scaling verwijst naar de technieken die een AI-model in staat stellen om extra rekenbronnen te gebruiken om een aanvraag te verwerken op het moment van levering. In simpele bewoordingen betekent dit het model meer “denktijd” geven. Dit gaat niet over het maken van het model groter; het gaat over het maken van het model meer doordacht. Wanneer een model test-time scaling gebruikt, produceert het niet zomaar het eerste antwoord dat in hem opkomt. In plaats daarvan kan het verschillende paden verkennen, fouten in zijn eigen logica controleren en zijn antwoord verfijnen voordat de gebruiker het ooit ziet.

Dit concept wordt vaak vergeleken met de manier waarop de menselijke hersenen werken. Psychologen praten vaak over “Systeem 1” en “Systeem 2” denken. Systeem 1 is snel, instinctief en emotioneel. Het is wat je gebruikt wanneer je een gezicht herkent of een auto rijdt op een vertrouwde weg. Systeem 2 is langzamer, doordachter en logischer. Het is wat je gebruikt wanneer je een moeilijke wiskundige vergelijking oplost of een complex project plant. Tot voor kort waren LLM’s voornamelijk Systeem 1-denkers. Test-time scaling is de brug die hen in staat stelt om toegang te krijgen tot Systeem 2-denken.

De Mechanica van het Redeneerproces

Er zijn verschillende manieren waarop onderzoekers test-time scaling bereiken. Een van de meest voorkomende methoden wordt Chain of Thought (CoT) prompting genoemd, maar in deze nieuwe modellen is het rechtstreeks in het systeem ingebouwd in plaats van iets dat de gebruiker moet vragen. Het model is getraind om een probleem te breken in kleinere, logische stappen. Door dit te doen, kan het model elk deel van de oplossing verifiëren voordat het naar het volgende deel gaat.

Een andere belangrijke techniek betreft zoekalgoritmen, zoals Monte Carlo Tree Search. In plaats van alleen het meest waarschijnlijke volgende woord te voorspellen, genereert het model meerdere mogelijke paden voor een antwoord. Het evalueert deze paden en bepaalt welk pad het meest waarschijnlijk is om tot een correcte oplossing te leiden. Als het een doodlopende weg bereikt of beseft dat een eerdere stap verkeerd was, kan het terugkeren en een andere benadering proberen. Deze “look-ahead”-capaciteit is zeer vergelijkbaar met hoe een schaakengine duizenden mogelijke zetten evalueert voordat het de beste kiest. Door tijdens de inferentiefase door veel mogelijkheden te zoeken, kan het model complexere problemen oplossen dan die welke rechtstreeks kunnen worden opgelost met behulp van een standaard LLM.

Waarom PhD-Niveau Redeneren Meer Vereist dan Geheugen

De reden waarom dit zo belangrijk is, is dat hoogwaardig redeneren in wetenschap en wiskunde niet kan worden opgelost door geheugen alleen. In een PhD-natuurkunde-examen kun je niet zomaar een feit herhalen dat je in een leerboek hebt gelezen. Je moet complexe principes toepassen op een nieuwe en unieke situatie. Standaardmodellen hallucineren vaak in deze scenario’s omdat ze proberen het volgende woord te voorspellen op basis van waarschijnlijkheid in plaats van logica.

Test-time scaling stelt het model in staat om meer als een onderzoeker te handelen. Het kan hypotheses intern testen. Als een model bijvoorbeeld wordt gevraagd om een complex stuk code te schrijven, kan het de logica in zijn verborgen keten van gedachten “uitvoeren”, een potentieel bug identificeren en het repareren voordat het de definitieve code presenteert. Deze mogelijkheid om zichzelf te corrigeren is wat de nieuwste modellen in staat stelt om hoge scores te behalen op benchmarks zoals de American Invitational Mathematics Examination (AIME) of de GPQA (een moeilijke wetenschappelijke test ontworpen door experts). Ze gokken niet; ze verifiëren.

De Efficiëntie-Afweging en Rekenkosten

Hoewel test-time scaling krachtig is, komt het met een aanzienlijke kostenpost. In de oude manier van doen was de duurste fase van AI de training. Zodra het model was geïmplementeerd, was het uitvoeren ervan relatief goedkoop en snel. Met test-time scaling verschuift de kosten naar de aanvraag van de gebruiker. Omdat het model meer werk doet door meerdere paden te genereren en zijn eigen werk te controleren, duurt het langer om te reageren en zijn er meer hardwarebronnen nodig.

Dit creëert een nieuwe economie voor AI. We bewegen ons in de richting van een situatie waarin de “kosten per query” sterk kunnen variëren. Een eenvoudige vraag over het weer kan een fractie van een cent kosten en een seconde duren. Een diepgaande wetenschappelijke vraag kan enkele dollars aan rekenkosten kosten en een uur in beslag nemen. Deze afweging is noodzakelijk voor het bereiken van hoogwaardig redeneren, maar het betekent ook dat ontwikkelaars manieren moeten vinden om deze modellen efficiënter te maken zodat ze op grote schaal kunnen worden gebruikt in industrieën zoals geneeskunde of ingenieurswetenschappen.

De Impact op de Toekomst van Kunstmatige Intelligentie

De opkomst van test-time scaling suggereert dat we mogelijk een nieuwe fase van AI-ontwikkeling binnen gaan. Jarenlang was er een zorg dat we uiteindelijk zouden uitputten van hoogwaardige menselijke gegevens om modellen te trainen. Als modellen alleen leren van wat mensen al hebben geschreven, kunnen ze tegen een plafond aan lopen. Echter, test-time scaling laat zien dat modellen hun prestaties kunnen verbeteren door harder te denken, niet alleen door meer te lezen.

Dit opent de deur voor AI om zijn eigen ontdekkingen te doen. Als een model een probleem kan doorredeneren dat het nog nooit eerder heeft gezien, kan het potentieel nieuwe oplossingen vinden in materiaalwetenschap, geneesmiddelenontdekking of hernieuwbare energie. Het verplaatst AI van een hulpmiddel dat tekst samenvat naar een digitale medewerker die kan helpen de moeilijkste problemen van de wereld op te lossen. We zien een verschuiving van “generatieve” AI naar “redenerende” AI.

De Kern

Test-time scaling blijkt de ontbrekende schakel te zijn in de zoektocht naar geavanceerde kunstmatige intelligentie. Door modellen in staat te stellen meer rekenkracht te gebruiken op het moment van inferentie, hebben we een niveau van prestaties bereikt dat eerder jaren weg leek. Deze modellen beginnen een soort logica te demonstreren die veel dichter bij menselijke intelligentie ligt dan de eenvoudige patroonherkenning van het verleden.

Naar de toekomst toe zal de uitdaging zijn om deze technieken te verfijnen. We moeten redeneren sneller en toegankelijker maken, en het juiste evenwicht vinden tussen “snel” en “langzaam” denken. Het geheime ingrediënt is niet langer alleen de grootte van het model of de hoeveelheid gegevens die het heeft gezien. Het geheim is hoe het model zijn tijd gebruikt om te denken. Voor iedereen die de vooruitgang van AI volgt, is het duidelijk dat de focus is verschoven. De wedloop is niet langer alleen over wie het grootste model heeft, maar wie het model heeft dat het beste kan redeneren. Deze verschuiving zal waarschijnlijk de komende decennium van innovatie in het veld definiëren.