AI’s Analogische Redeneervaardigheden: Een Uitdaging voor de Menselijke Intelligentie?

Analogische redenering, de unieke vaardigheid die mensen bezitten om onbekende problemen op te lossen door parallellen te trekken met bekende problemen, is lange tijd beschouwd als een distinctieve menselijke cognitieve functie. Echter, een baanbrekend onderzoek dat werd uitgevoerd door psychologen van de UCLA, presenteert overtuigende bevindingen die ons ertoe kunnen brengen om dit te heroverwegen.

GPT-3: Het Benaderen van het Menselijk Intellect?

Het onderzoek van de UCLA vond dat GPT-3, een AI-taalmodel ontwikkeld door OpenAI, redeneervaardigheden vertoont die bijna gelijk zijn aan die van universitaire studenten, vooral wanneer het gaat om het oplossen van problemen die lijken op die in intelligentietests en standaardexamens zoals de SAT. Deze onthulling, gepubliceerd in het tijdschrift Nature Human Behaviour, roept een intrigerende vraag op: Imiteren de redeneervaardigheden van GPT-3 het menselijk redeneren vanwege zijn uitgebreide taaltrainingsdataset, of tapt het in een geheel nieuw cognitief proces?

De exacte werking van GPT-3 blijft verborgen door OpenAI, waardoor de onderzoekers van de UCLA nieuwsgierig zijn naar de mechanisme achter zijn analogische redeneervaardigheden. Ondanks de loffelijke prestaties van GPT-3 op bepaalde redeneertaken, is het instrument niet zonder zijn gebreken. Taylor Webb, de hoofdauteur van de studie en een postdoctorale onderzoeker aan de UCLA, merkte op: “Hoewel onze bevindingen indrukwekkend zijn, is het essentieel om te benadrukken dat dit systeem significante beperkingen heeft. GPT-3 kan analogische redenering uitvoeren, maar het heeft moeite met taken die triviaal zijn voor mensen, zoals het gebruik van instrumenten voor een fysieke taak.”

De mogelijkheden van GPT-3 werden getest met problemen geïnspireerd door Raven’s Progressieve Matrices – een test met ingewikkelde vormsequenties. Door afbeeldingen om te zetten in een tekstformaat dat GPT-3 kon ontcijferen, zorgde Webb ervoor dat deze volledig nieuwe uitdagingen waren voor de AI. Toen deze werd vergeleken met 40 UCLA-studenten, niet alleen GPT-3 de menselijke prestaties evenaarde, maar het imiteerde ook de fouten die mensen maakten. Het AI-model loste 80% van de problemen op, waarmee het de gemiddelde menselijke score overtrof en binnen het bereik van de topmenselijke presteerders viel.

Het team onderzocht de capaciteiten van GPT-3 verder met ongepubliceerde SAT-analogievragen, waarbij de AI de menselijke gemiddelde score overtrof. Echter, het hapert een beetje wanneer het probeert om analogieën te trekken uit korte verhalen, hoewel het nieuwere GPT-4-model betere resultaten liet zien.

De Kloof Tussen AI en Menselijke Cognitie Overbruggen

De onderzoekers van de UCLA stoppen niet bij enkele vergelijkingen. Ze zijn begonnen met het ontwikkelen van een computermodel geïnspireerd door de menselijke cognitie, waarbij ze constant hun capaciteiten vergelijken met commerciële AI-modellen. Keith Holyoak, een professor in de psychologie aan de UCLA en co-auteur, merkte op: “Ons psychologisch AI-model blonk uit in analogieproblemen totdat de laatste upgrade van GPT-3, die superieure of gelijkwaardige capaciteiten vertoonde.”

Echter, het team identificeerde bepaalde gebieden waarop GPT-3 achterbleef, vooral bij taken die een begrip van de fysieke ruimte vereisen. Bij uitdagingen waarbij het gebruik van instrumenten nodig was, waren de oplossingen van GPT-3 duidelijk niet op het juiste spoor.

Hongjing Lu, de senior auteur van de studie, uitte zijn verbazing over de sprongen in de technologie in de afgelopen twee jaar, vooral in de capaciteit van AI om te redeneren. Maar of deze modellen echt “denken” zoals mensen of slechts menselijke gedachten imiteren, is nog steeds onderwerp van discussie. De zoektocht naar inzicht in de cognitieve processen van AI vereist toegang tot de achterkant van de AI-modellen, een stap die de toekomstige richting van AI kan bepalen.