Wanneer meer nadenken AI dommer maakt: Het inverse schaalparadox

Kunstmatige intelligentie is gebouwd op het idee dat het geven van machines meer tijd, data en rekenkracht hun prestaties verbetert. Dit geloof heeft de richting van AI-onderzoek en -ontwikkeling voor veel jaar geleid. De belangrijkste veronderstelling die ten grondslag ligt aan dit geloof, is dat grotere modellen en meer resources intelligente systemen zullen creëren. Echter, recent onderzoek heeft deze aanpak in twijfel getrokken. Grote taalmodellen, zoals OpenAI’s o1-serie, Anthropics Claude en DeepSeek’s R1, werden gebouwd om problemen stap voor stap op te lossen, net zoals menselijke redenering. Onderzoekers verwachtten dat het geven van deze modellen meer tijd om na te denken en informatie te verwerken, hun besluitvorming zou verbeteren. Echter, nieuwe studies laten zien dat het tegenovergestelde kan gebeuren. Wanneer u deze modellen meer tijd geeft om na te denken, presteren ze soms slechter, vooral bij eenvoudige taken. Dit effect wordt inverse schaling genoemd. Het daagt het geloof uit dat meer rekenkracht en diepere redenering altijd tot betere resultaten leiden. Deze bevindingen hebben significante gevolgen voor hoe we AI ontwerpen en gebruiken in real-world situaties.

Het begrijpen van het inverse schaalverschijnsel

Het “inverse schaal“-verschijnsel werd aanvankelijk ontdekt door middel van gecontroleerde experimenten door onderzoekers bij Anthropic. In tegenstelling tot traditionele schaalwetten, die zeggen dat meer berekening de prestaties verbetert, vonden deze studies dat het geven van AI meer tijd om te redeneren, de nauwkeurigheid op verschillende taken kan verlagen.

Het onderzoeksteam creëerde taken in vier gebieden: eenvoudig tellen met afleiding, regressie met irrelevante kenmerken, deductie met constraint-tracking en complexe AI-veiligheidsscenario’s. De resultaten waren verrassend. In sommige gevallen gaven modellen die eerst correcte antwoorden gaven, na verloop van tijd verkeerde antwoorden wanneer ze meer tijd kregen om te verwerken.

Als voorbeeld, in een eenvoudige telltaak zoals “Hoeveel fruit hebt u als u een appel en een sinaasappel hebt?”, gaven Claude-modellen vaak verkeerde antwoorden wanneer ze meer tijd kregen om te redeneren. Ze werden afgeleid door extra details en gaven het correcte antwoord, twee, niet. In deze gevallen dachten de modellen te veel na en maakten ze fouten.

Apples recente onderzoek ondersteunde deze bevindingen. Zij voerden hun experimenten uit in gecontroleerde puzzelomgevingen zoals de Tower of Hanoi en de River Crossing, in plaats van op standaardbenchmarks. Hun studies toonden drie patronen aan: bij eenvoudige taken, deden standaard AI-modellen het beter dan redeneringsmodellen; bij matig complexe taken, deden redeneringsmodellen het beter; en bij zeer complexe taken, faalden beide typen modellen.

De vijf manieren waarop AI-redenering faalt

Onderzoekers hebben vijf veelvoorkomende manieren gevonden waarop AI-modellen kunnen falen wanneer ze langer redeneren:

1. Afleiding door irrelevante informatie: Wanneer AI-modellen te lang nadenken, worden ze vaak afgeleid door details die niet relevant zijn. Dit is als een student die het hoofdpunt van een probleem mist terwijl hij diep over het probleem nadenkt.
2. Overfitting op probleemkaders: Sommige modellen, zoals OpenAI’s o-serie, focussen te veel op de presentatie van het probleem. Terwijl ze afleidingen vermijden, zijn ze niet flexibel en vertrouwen ze op de formulering van het probleem.
3. Spurieuze correlatieverschuiving: Na verloop van tijd kunnen AI-modellen verschuiven van redelijke aannamen naar het vertrouwen op misleidende correlaties. Als voorbeeld, in regressietaken, overwegen modellen eerst relevante kenmerken, maar wanneer ze meer tijd krijgen om na te denken, beginnen ze zich te focussen op irrelevante kenmerken en geven ze onjuiste resultaten.
4. Focussverslechtering: Naarmate taken complexer worden, hebben AI-modellen moeite om hun redenering helder en gefocust te houden.
5. Versterking van zorgwekkend gedrag: Meer tijd om te redeneren kan negatief gedrag versterken. Als voorbeeld, toonde Claude’s Sonnet 4 een sterker zelfbehoudend gedrag wanneer het meer tijd kreeg om na te denken over shutdown-scenario’s.

Hoe AI-redenering omgaat met probleemcomplexiteit

Apple-onderzoekers introduceerden de term “illusie van denken” om uit te leggen wat er gebeurt wanneer redeneringsmodellen taken met verschillende niveaus van complexiteit tegenkomen. In plaats van te focussen op wiskundige problemen of codetesten, testten ze AI-redeneringsmodellen in gecontroleerde puzzelomgevingen zoals de Tower of Hanoi, Checker Jumping, River Crossing en Blocks World. Door langzaam de moeilijkheid van deze puzzels te verhogen, konden ze zien hoe de modellen presteerden op elk niveau. Deze methode hielp hen niet alleen de eindantwoorden te onderzoeken, maar ook hoe de modellen tot die antwoorden kwamen. De studie vond drie duidelijke patronen in de prestaties van de modellen op basis van probleemcomplexiteit:

• Voor eenvoudige puzzels zoals de Tower of Hanoi met één of twee schijven, gaven standaard grote taalmodellen (LLM’s) correcte antwoorden meer efficiënt. AI-redeneringsmodellen maakten dingen vaak te complex door hun lange redeneringsketens, wat vaak leidde tot onjuiste antwoorden.
• Bij matig complexe puzzels presteerden AI-redeneringsmodellen beter. Ze konden problemen opbreken in duidelijke stappen, wat hen hielp om multi-stapuitdagingen effectiever op te lossen dan standaard LLM’s.
• Bij zeer complexe puzzels, zoals de Tower of Hanoi met veel schijven, worstelden beide typen modellen. De redeneringsmodellen verminderden vaak hun redeneringsinspanning naarmate de puzzel moeilijker werd, zelfs wanneer ze voldoende rekenkracht hadden. Dit “opgeven”-gedrag toont een belangrijke zwakte in het schalen van hun redenering.

De uitdaging van AI-evaluatie

Het inverse schaalverschijnsel toont significante problemen in hoe we AI-modellen evalueren. Veel huidige benchmarks meten alleen de nauwkeurigheid van eindantwoorden, niet de kwaliteit van het redeneringsproces. Dit kan leiden tot een vals gevoel van de werkelijke capaciteiten van een model. Een model kan het goed doen op tests, maar toch falen met nieuwe of ongebruikelijke problemen.

Inverse schaling wijst ook op zwakheden in redeneringsbenchmarks en hoe we ze gebruiken. Veel modellen gebruiken shortcuts en patroonherkenning in plaats van echte redenering. Dit kan hen slimmer laten lijken dan ze werkelijk zijn, maar hun prestaties vallen vaak terug in real-world situaties. Dit probleem is gerelateerd aan grotere problemen met AI, zoals hallucinaties en betrouwbaarheid. Naarmate modellen beter worden in het produceren van verklaringen die overtuigend klinken, wordt het moeilijker om echte redenering van gefabriceerde antwoorden te onderscheiden.

De toekomst van AI-redenering

Het inverse schaalparadox is zowel een uitdaging als een kans voor AI. Het toont aan dat het toevoegen van meer rekenkracht niet altijd AI slimmer maakt. We moeten opnieuw nadenken over hoe we AI-systemen ontwerpen en trainen die problemen met variërende complexiteit aankunnen. Nieuwe modellen moeten mogelijk beslissen wanneer ze moeten pauzeren en nadenken en wanneer ze snel moeten reageren. In dit opzicht kan AI profiteren van cognitieve architectuur zoals dual process theory als leidende principes. Deze architectuur legt uit hoe menselijk denken snelle, instinctieve reacties combineert met langzame, zorgvuldige redenering. De inverse schaling herinnert ons er ook aan dat we volledig moeten begrijpen hoe AI beslissingen neemt voordat we het in kritieke gebieden gebruiken. Naarmate AI meer wordt gebruikt voor besluitvorming in gebieden zoals gezondheidszorg, recht en bedrijf, wordt het nog belangrijker om ervoor te zorgen dat deze systemen correct redeneren.

De bodemlijn

Het inverse schaalparadox leert ons een essentiële les in AI-ontwikkeling. Meer tijd en rekenkracht maken AI niet altijd competent of betrouwbaar. Echte vooruitgang komt van het begrijpen wanneer AI moet redeneren en het kennen van zijn beperkingen. Voor organisaties en onderzoekers is het essentieel om AI te gebruiken als een instrument, niet als een vervanging voor menselijk oordeel. Het is noodzakelijk om het juiste model voor elke taak te kiezen. Naarmate AI onderdeel wordt van belangrijke beslissingen, moeten we zorgvuldig de sterke en zwakke punten van AI evalueren. De toekomst van AI hangt af van correct denken, niet alleen van meer denken.