AI:s analogiska resonemangsförmåga: Utmanar mänsklig intelligens?

Analogiskt resonemang, den unika förmåga som människor besitter att lösa obekanta problem genom att dra paralleller med kända problem, har länge ansetts vara en distinkt mänsklig kognitiv funktion. Men en banbrytande studie som utförts av UCLA-psykologer presenterar övertygande resultat som kan få oss att omvärdera detta.

GPT-3: Matcherar mänsklig intelligens?

UCLA-forskningen fann att GPT-3, en AI-språkmodell utvecklad av OpenAI, visar resonemangsförmåga nästan i nivå med college-studenter, särskilt när de får i uppgift att lösa problem som liknar dem som ses i intelligenstest och standardiserade prov som SAT. Denna upptäckt, publicerad i tidskriften Nature Human Behaviour, väcker en inträngande fråga: Emulerar GPT-3 mänskligt resonemang på grund av sin omfattande språkträningsdataset, eller tar det till en helt ny kognitiv process?

De exakta funktionerna i GPT-3 förblir dolda av OpenAI, vilket gör att forskarna vid UCLA är nyfikna på mekanismen bakom dess analogiska resonemangsförmåga. Trots GPT-3:s berömvärda prestation på vissa resonemangsuppgifter, är verktyget inte utan fel. Taylor Webb, studiens primära författare och en postdoktorand vid UCLA, noterade: “Medan våra resultat är imponerande, är det viktigt att betona att detta system har betydande begränsningar. GPT-3 kan utföra analogiskt resonemang, men det kämpar med uppgifter som är triviala för människor, såsom att använda verktyg för en fysisk uppgift.”

GPT-3:s förmågor testades med problem inspirerade av Raven’s Progressive Matrices – ett test som involverar invecklade formsekvenser. Genom att konvertera bilder till en textformat som GPT-3 kunde tyda, säkerställde Webb att dessa var helt nya utmaningar för AI. När det jämfördes med 40 UCLA-studenter, inte bara matchade GPT-3 mänsklig prestation, utan det speglade också de misstag som människor gjorde. AI-modellen löste korrekt 80 % av problemen, överträffade den genomsnittliga mänskliga poängen, men låg inom toppmänskliga prestationernas område.

Teamet undersökte vidare GPT-3:s duglighet med hjälp av opublicerade SAT-analogifrågor, där AI överträffade den mänskliga genomsnittet. Men det sviktade något när det försökte dra analogier från korta berättelser, även om den nyare GPT-4-modellen visade förbättrade resultat.

Att överbrygga AI-mänsklig kognitionsskillnad

UCLA-forskarna slutar inte vid enkla jämförelser. De har påbörjat utvecklingen av en datormodell inspirerad av mänsklig kognition, som ständigt jämförs med kommersiella AI-modeller. Keith Holyoak, en UCLA-psychologiprofessor och medförfattare, anmärkte: “Vår psykologiska AI-modell överträffade andra i analogiproblem tills GPT-3:s senaste uppdatering, som visade överlägsen eller likvärdig kapacitet.”

Men teamet identifierade vissa områden där GPT-3 halkade efter, särskilt i uppgifter som kräver förståelse av fysiskt utrymme. I utmaningar som involverade verktygsanvändning var GPT-3:s lösningar tydligt felaktiga.

Hongjing Lu, studiens seniorförfattare, uttryckte förvåning över de stora framstegen inom tekniken under de senaste två åren, särskilt i AI:s förmåga att resonera. Men om dessa modeller verkligen “tänker” som människor eller bara imiterar mänskligt tänkande är fortfarande en öppen fråga. Sökandet efter insikter i AI:s kognitiva processer kräver tillgång till AI-modellernas backend, ett steg som kan forma AI:s framtida bana.