AI:s analogiska resonemangsförmåga: Utmanar mänsklig intelligens?

Analogiskt resonemang, den unika förmåga som människor besitter att lösa oväntade problem genom att dra paralleller med kända problem, har länge ansetts vara en distinkt mänsklig kognitiv funktion. Men en banbrytande studie som utförts av psykologer vid UCLA presenterar övertygande resultat som kan få oss att omvärdera detta.

GPT-3: Motsvarar mänsklig intelligens?

UCLA-forskningen fann att GPT-3, en AI-språkmodell utvecklad av OpenAI, visar resonemangsförmåga nästan jämförbar med college-studenter, särskilt när de får i uppgift att lösa problem som liknar dem som ses i intelligenstest och standardiserade prov som SAT. Denna upptäckt, publicerad i tidskriften Nature Human Behaviour, väcker en inträngande fråga: Är GPT-3:s resonemangsförmåga en följd av dess omfattande språkträning eller är det en helt ny kognitiv process?

De exakta mekanismerna bakom GPT-3 förblir hemliga för OpenAI, vilket gör att forskarna vid UCLA är nyfikna på mekanismen bakom dess analogiska resonemangsförmåga. Trots GPT-3:s imponerande prestation på vissa resonemangsuppgifter har verktyget inte utan brister. Taylor Webb, studiens huvudförfattare och postdoktorand vid UCLA, noterade: “Medan våra resultat är imponerande, är det viktigt att betona att detta system har betydande begränsningar. GPT-3 kan utföra analogiskt resonemang, men det kämpar med uppgifter som är triviala för människor, som att använda verktyg för en fysisk uppgift.”

GPT-3:s förmågor testades med problem inspirerade av Raven’s Progressive Matrices – ett test som involverar invecklade formsekvenser. Genom att omvandla bilder till en textformat som GPT-3 kunde tolka, säkerställde Webb att dessa var helt nya utmaningar för AI-modellen. När den jämfördes med 40 UCLA-studenter inte bara matchade GPT-3 mänsklig prestation, utan den speglade också de misstag som människor gjorde. AI-modellen löste korrekt 80% av problemen, överträffade den genomsnittliga mänskliga poängen men låg inom toppmänskliga prestationers område.

Teamet undersökte vidare GPT-3:s förmågor med hjälp av opublicerade SAT-analogi-frågor, där AI-modellen överträffade den mänskliga genomsnittspoängen. Men den sjönk något när den försökte dra analogier från korta berättelser, även om den nyare GPT-4-modellen visade förbättrade resultat.

Att överbrygga klyftan mellan AI och mänsklig kognition

UCLA-forskarna slutar inte vid enkla jämförelser. De har påbörjat utvecklingen av en datormodell inspirerad av mänsklig kognition, som ständigt jämförs med kommersiella AI-modeller. Keith Holyoak, en UCLA-psykologiprofessor och medförfattare, anmärkte: “Vår psykologiska AI-modell överträffade andra i analogiproblem tills GPT-3:s senaste uppdatering, som visade överlägsen eller likvärdig förmåga.”

Forskarteamet identifierade vissa områden där GPT-3 halkade efter, särskilt i uppgifter som krävde förståelse för fysiskt utrymme. I utmaningar som involverade verktygsanvändning var GPT-3:s lösningar påfallande felaktiga.

Hongjing Lu, studiens seniorförfattare, uttryckte förvåning över de stora språng som tekniken tagit under de senaste två åren, särskilt i AI:s förmåga att resonera. Men om dessa modeller verkligen “tänker” som människor eller bara imiterar mänskligt tänkande är fortfarande ett ämne för debatt. Sökandet efter insikter i AI:s kognitiva processer kräver tillgång till AI-modellernas backend, ett steg som kan forma AI:s framtida bana.

I samstämmighet med denna åsikt avslutar Webb: “Tillgång till GPT-modellernas backend skulle vara till stor nytta för AI- och kognitionsforskare. För närvarande är vi begränsade till ingångar och utgångar, och det saknar den avgörande djupet vi strävar efter.”