AI’s Analogische Redeneigenschaften: Een Uitdaging voor het Menselijk Verstand?

Analogische redenering, de unieke capaciteit die mensen bezitten om onbekende problemen op te lossen door parallellen te trekken met bekende problemen, wordt al lang beschouwd als een typische menselijke cognitieve functie. Echter, een baanbrekend onderzoek dat werd uitgevoerd door psychologen van de UCLA, presenteert overtuigende bevindingen die ons ertoe kunnen brengen om dit te heroverwegen.

GPT-3: Het Bereiken van het Menselijk Verstand?

Het onderzoek van de UCLA toonde aan dat GPT-3, een door OpenAI ontwikkeld AI-taalmodel, redeneercapaciteiten vertoont die bijna gelijk zijn aan die van universiteitsstudenten, vooral wanneer het gaat om het oplossen van problemen die lijken op die in intelligentietests en standaardexamens zoals de SAT. Deze onthulling, die werd gepubliceerd in het tijdschrift Nature Human Behaviour, roept een intrigerende vraag op: Imiteren de redeneercapaciteiten van GPT-3 het menselijk redeneren vanwege zijn uitgebreide taaltrainingsdataset, of tapt het in een geheel nieuw cognitief proces?

De exacte werking van GPT-3 blijft verborgen door OpenAI, waardoor de onderzoekers van de UCLA nieuwsgierig zijn naar het mechanisme achter zijn analogische redeneercapaciteiten. Ondanks de loffelijke prestaties van GPT-3 op bepaalde redenertaken, heeft het instrument niettemin enkele tekortkomingen. Taylor Webb, de hoofdauteur van de studie en een postdoctoraal onderzoeker aan de UCLA, merkte op: “Hoewel onze bevindingen indrukwekkend zijn, is het essentieel om te benadrukken dat dit systeem aanzienlijke beperkingen heeft. GPT-3 kan analogische redenering uitvoeren, maar het worstelt met taken die triviaal zijn voor mensen, zoals het gebruik van instrumenten voor een fysieke taak.”

De capaciteiten van GPT-3 werden getest met problemen geïnspireerd door Raven’s Progressive Matrices – een test met ingewikkelde vormsequenties. Door afbeeldingen om te zetten in een tekstformaat dat GPT-3 kon ontcijferen, zorgde Webb ervoor dat deze volledig nieuwe uitdagingen waren voor de AI. Toen het werd vergeleken met 40 UCLA-universiteitsstudenten, niet alleen GPT-3 het menselijk presteren evenaarde, maar het imiteerde ook de fouten die mensen maakten. Het AI-model lost 80% van de problemen op, waarmee het de gemiddelde menselijke score overtrof, maar nog steeds binnen het bereik van de top-menselijke presteerders viel.

Het team onderzocht de capaciteiten van GPT-3 verder met ongepubliceerde SAT-analogievragen, waarbij de AI de menselijke gemiddelde score overtrof. Echter, het stotterde enigszins toen het probeerde om analogieën te trekken uit korte verhalen, hoewel het nieuwere GPT-4-model betere resultaten liet zien.

De Kloof tussen AI en Menselijk Cognitief Vermogen Overbruggen

De onderzoekers van de UCLA stoppen niet bij enkel vergelijkingen. Ze zijn begonnen met het ontwikkelen van een computermodel geïnspireerd door menselijk cognitief vermogen, waarbij ze constant hun capaciteiten vergelijken met commerciële AI-modellen. Keith Holyoak, een UCLA-psychologieprofessor en co-auteur, merkte op: “Ons psychologisch AI-model overtrof anderen in analogieproblemen totdat GPT-3’s laatste upgrade, die superieure of gelijkwaardige capaciteiten vertoonde.”

Hoewel het team bepaalde gebieden identificeerde waar GPT-3 achterbleef, met name bij taken die het begrijpen van fysieke ruimte vereisen. Bij uitdagingen met instrumentgebruik waren de oplossingen van GPT-3 opvallend verkeerd.

Hongjing Lu, de senior auteur van de studie, uitte zijn verbazing over de sprongen in technologie in de afgelopen twee jaar, met name in de capaciteit van AI om te redeneren. Maar of deze modellen echt “denken” zoals mensen of alleen menselijke gedachten imiteren, is nog steeds onderwerp van discussie. De zoektocht naar inzicht in de cognitieve processen van AI vereist toegang tot de backend van de AI-modellen, een sprong die de toekomstige richting van AI kan bepalen.

Echoing de sentiment, concludeert Webb: “Toegang tot de backend van GPT-modellen zou AI- en cognitief onderzoekers enorm ten goede komen. Momenteel zijn we beperkt tot inputs en outputs, en het ontbreekt aan de beslissende diepte die we nastreven.”