Hoe LLM’s ons dwingen om intelligentie te herdefiniëren

Er is een oud gezegde: Als het eruitziet als een eend, zwemt als een eend en quakt als een eend, dan is het waarschijnlijk een eend. Deze eenvoudige manier van redeneren, vaak gelinkt aan de dichter James Whitcomb Riley uit Indiana, heeft decennialang onze manier van denken over kunstmatige intelligentie bepaald. Het idee dat gedrag voldoende is om intelligentie te identificeren, inspireerde Alan Turing’s beroemde “Imitatie-spel”, nu bekend als de Turing-test.

Turing stelde voor dat als een mens niet kan bepalen of hij met een machine of een andere mens converseert, de machine dan intelligent genoemd kan worden. Zowel de eend-test als de Turing-test suggereren dat wat telt, niet is wat er binnen een systeem zit, maar hoe het zich gedraagt. Decennialang heeft deze test de vooruitgang in AI geleid. Maar met de komst van grote taalmodellen (LLM’s) is de situatie veranderd. Deze systemen kunnen vloeiende tekst schrijven, conversaties voeren en taken uitvoeren op manieren die opvallend menselijk zijn. De vraag is niet langer of machines menselijke conversatie kunnen imiteren, maar of deze imitatie echte intelligentie is. Als een systeem net als wij kan schrijven, redeneren en zelfs creatief kan zijn, moeten we het dan intelligent noemen? Of is gedrag alleen niet langer voldoende om intelligentie te meten?

De evolutie van machine-intelligentie

Grote taalmodellen hebben onze manier van denken over AI veranderd. Deze systemen, die oorspronkelijk alleen basis-taalantwoorden konden genereren, kunnen nu logische problemen oplossen, computercode schrijven, verhalen schrijven en zelfs creatieve taken zoals scenarioschrijven ondersteunen. Een belangrijke ontwikkeling in deze vooruitgang is hun vermogen om complexe problemen op te lossen door middel van stap-voor-stap-redenering, een methode die Chain-of-thought-redenering wordt genoemd. Door een probleem te splitsen in kleinere delen, kan een LLM complexe wiskundige problemen of logische puzzels oplossen op een manier die lijkt op menselijke probleemoplossing. Deze capaciteit heeft het mogelijk gemaakt om menselijke prestaties te evenaren of zelfs te overtreffen op geavanceerde benchmarks zoals MATH of GSM8K. Tegenwoordig beschikken LLM’s ook over multimodale capaciteiten. Ze kunnen werken met afbeeldingen, medische scans interpreteren, visuele puzzels verklaren en complexe diagrammen beschrijven. Met deze vooruitgang is de vraag niet langer of LLM’s menselijk gedrag kunnen imiteren, maar of dit gedrag echte begrip weerspiegelt.

Sporen van menselijk denken

Het succes van LLM’s herdefinieert onze manier van denken over intelligentie. De focus verschuift van het afstemmen van AI-gedrag op menselijk gedrag, zoals voorgesteld door de Turing-test, naar het onderzoeken van hoe nauw LLM’s menselijk denken nabootsen in de manier waarop ze informatie verwerken (d.w.z. echt menselijk denken). Bijvoorbeeld, in een recente studie, vergeleken onderzoekers de interne werking van AI-modellen met menselijke hersenactiviteit. De studie toonde aan dat LLM’s met meer dan 70 miljard parameters, niet alleen menselijke precisie bereikten, maar ook informatie intern organiseerden op manieren die overeenkwamen met menselijke hersenpatronen.

Wanneer zowel mensen als AI-modellen werkten aan patronenherkenningstaken, toonden hersenscans soortgelijke activiteitspatronen in de menselijke deelnemers en overeenkomstige computationele patronen in de AI-modellen. De modellen clusterden abstracte concepten in hun interne lagen op manieren die rechtstreeks overeenkwamen met menselijke hersengolven. Dit suggereert dat succesvolle redenering mogelijk vergelijkbare organisatorische structuren vereist, of het nu gaat om biologische of kunstmatige systemen.

Onderzoekers zijn echter voorzichtig om de beperkingen van dit onderzoek te benadrukken. De studie betrof een relatief klein aantal menselijke deelnemers, en mensen en machines benaderden de taken op verschillende manieren. Mensen werkten met visuele patronen, terwijl de AI-modellen tekstbeschrijvingen verwerkten. De correlatie tussen menselijke en machine-verwerking is intrigerend, maar het bewijst niet dat machines concepten op dezelfde manier begrijpen als mensen.

Er zijn ook duidelijke verschillen in prestaties. Terwijl de beste AI-modellen menselijke precisie bereikten op eenvoudige patronen, toonden ze meer dramatische prestatieverbeteringen op de meest complexe taken in vergelijking met menselijke deelnemers. Dit suggereert dat ondanks overeenkomsten in organisatie, er mogelijk nog fundamentele verschillen zijn in de manier waarop mensen en machines moeilijke abstracte concepten verwerken.

De sceptische perspectief

Ondanks deze indrukwekkende bevindingen, is er een sterk argument dat LLM’s niets meer zijn dan zeer vaardige imitators. Dit standpunt komt van de filosoof John Searle’s “Chinese kamer“-gedachte-experiment, dat illustreert waarom gedrag niet noodzakelijkerwijs begrip impliceert.

In dit gedachte-experiment vraagt Searle ons om ons een persoon voor te stellen die opgesloten zit in een kamer en alleen Engels spreekt. De persoon ontvangt Chinese symbolen en gebruikt een Engelse regelboek om deze symbolen te manipuleren en antwoorden te produceren. Van buiten de kamer lijken zijn antwoorden exact op die van een native Chinese spreker. Searle argumenteert echter dat de persoon niets begrijpt van het Chinees. Hij volgt alleen regels zonder enig echt begrip.

Critici passen deze logica toe op LLM’s. Ze argumenteren dat deze systemen “stochastische papegaaien” zijn die antwoorden genereren op basis van statistische patronen in hun trainingsdata, en niet op basis van echt begrip. De term “stochastisch” verwijst naar hun probabilistische aard, terwijl “papegaai” hun imitatiegedrag benadrukt zonder echt begrip.

Enkele technische beperkingen van LLM’s ondersteunen dit argument. LLM’s genereren vaak “hallucinaties“; antwoorden die plausibel lijken maar volledig incorrect, misleidend en nonsensicaal zijn. Dit gebeurt omdat ze statistisch plausibele woorden selecteren in plaats van een interne kennisbasis te raadplegen of waarheid en onwaarheid te begrijpen. Deze modellen reproduceren ook menselijke fouten en vooroordelen. Ze raken verward door irrelevante informatie die mensen gemakkelijk zouden negeren. Ze vertonen raciale en geslachtsvooroordeel omdat ze zijn getraind op data die deze vooroordelen bevatten. Een andere revelerende beperking is “positievooroordeel”, waarbij modellen informatie aan het begin of einde van lange documenten overbelichten en de middelste inhoud negeren. Dit “verloren-in-het-midden“-fenomeen suggereert dat deze systemen informatie verwerken op een manier die heel anders is dan die van mensen, die aandacht kunnen behouden over hele documenten.

Deze beperkingen benadrukken een centraal uitdaging: terwijl LLM’s uitstekend zijn in het herkennen en reproduceren van taalpatronen, betekent dit niet noodzakelijkerwijs dat ze echt begrijpen wat betekenis of context is. Ze presteren goed bij het verwerken van syntaxis, maar blijven beperkt als het gaat om semantiek.

Wat telt als intelligentie?

De discussie komt uiteindelijk neer op hoe we intelligentie definiëren. Als intelligentie het vermogen is om coherente taal te genereren, problemen op te lossen en zich aan te passen aan nieuwe situaties, dan voldoen LLM’s al aan deze standaard. Echter, als intelligentie zelfbewustzijn, echt begrip of subjectieve ervaring vereist, dan vallen deze systemen nog steeds short.

Het probleem is dat we geen duidelijke of objectieve manier hebben om eigenschappen als begrip of bewustzijn te meten. Zowel bij mensen als machines concluderen we deze eigenschappen uit gedrag. De eend-test en de Turing-test boden ooit elegante antwoorden, maar in de tijd van LLM’s zijn ze mogelijk niet langer voldoende. Hun capaciteiten dwingen ons om te heroverwegen wat echt als intelligentie telt en of onze traditionele definities nog steeds in overeenstemming zijn met de technologische realiteit.

De bodemlijn

Grote taalmodellen uitdagen hoe we AI-intelligentie definiëren. Ze kunnen redeneren imiteren, ideeën genereren en taken uitvoeren die ooit uniek menselijk leken. Toch missen ze het bewustzijn en de gronding die echte menselijk denken vormen. Hun opkomst dwingt ons om niet alleen te vragen of machines intelligent handelen, maar ook wat intelligentie zelf echt betekent.