AI’s analoge resonneringsferdigheter: Utfordrer menneskelig intelligens?

Analog resonnering, den unike evnen mennesker besitter til å løse ukjente problemer ved å trekke paralleller med kjente problemer, har lenge vært ansett som en distinkt menneskelig kognitiv funksjon. Men, en banebrytende studie utført av UCLA-psykologer presenterer overbevisende funn som kan få oss til å tenke om på nytt.

GPT-3: Matcher opp mot menneskelig intellekt?

UCLA-forskningen fant at GPT-3, en AI-språkmodell utviklet av OpenAI, demonstrerer resonneringskapasiteter nesten på lik linje med college-studenter, særlig når de får i oppgave å løse problemer lignende de som ses i intelligenstester og standardiserte eksamener som SAT. Denne avsløringen, publisert i tidsskriftet Nature Human Behaviour, reiser en intrigerende spørsmål: Gjenspeiler GPT-3 menneskelig resonnering på grunn av sin omfattende språktreningssamling, eller griper det inn i en helt ny kognitiv prosess?

Den eksakte virkemåten til GPT-3 forblir skjult av OpenAI, og etterlater forskerne ved UCLA nysgjerrige på mekanismen bak dens analoge resonneringsferdigheter. Til tross for GPT-3s lovbudige prestasjon på visse resonneringsoppgaver, er verktøyet ikke uten feil. Taylor Webb, studiens hovedforfatter og en postdoktor ved UCLA, noterte, ” Mens våre funn er imponerende, er det essensielt å understreke at dette systemet har betydelige begrensninger. GPT-3 kan utføre analog resonnering, men det sliter med oppgaver som er trivielle for mennesker, som å bruke verktøy for en fysisk oppgave.”

GPT-3s kapasiteter ble testet ved å bruke problemer inspirert av Raven’s Progressive Matrices – en test som involverer intrikate formasjoner. Ved å konvertere bilder til en tekstformat som GPT-3 kunne tyde, sikret Webb at disse var helt nye utfordringer for AI-en. Når sammenlignet med 40 UCLA-studenter, matchet GPT-3 ikke bare menneskelig prestasjon, men speilet også feilene mennesker gjorde. AI-modellen løste riktig 80% av problemene, og overgikk gjennomsnittlig menneskelig score, men lå innenfor toppen av menneskelige prestasjoner.

Teamet probede videre GPT-3s dyktighet ved å bruke upubliserte SAT-analogispørsmål, og AI-en overgikk menneskelig gjennomsnitt. Men, det sviktet litt når det kom til å trekke analogier fra korte fortellinger, selv om den nyere GPT-4-modellen viste bedre resultater.

Bruer mellom AI-menneskelig kognisjon

UCLA-forskerne stopper ikke ved bare sammenligninger. De har startet å utvikle en datamodell inspirert av menneskelig kognisjon, og sammenligner stadig dens evner med kommersielle AI-modeller. Keith Holyoak, en UCLA-psykologiprofessor og medforfatter, bemerket, “Vår psykologiske AI-modell overgikk andre i analogiproblemer inntil GPT-3s siste oppgradering, som viste overlegne eller likeverdige kapasiteter.”

Men, teamet identifiserte visse områder hvor GPT-3 var svak, særlig i oppgaver som krevde forståelse av fysisk rom. I utfordringer som involverte verktøybruk, var GPT-3s løsninger markant feil.

Hongjing Lu, studiens seniorforfatter, uttrykte forbauselse over de store sprangene i teknologi over de siste to årene, særlig i AI-s evne til å resonere. Men, om disse modellene virkelig “tenker” som mennesker eller bare etterligner menneskelig tenkning, er fortsatt åpent for debatt. Søket etter innsikt i AI-s kognitive prosesser krever tilgang til AI-modellens bakside, et sprang som kunne forme AI-s fremtidige retning.

I samme ånd, konkluderer Webb, “Tilgang til GPT-modellens bakside ville være svært nyttig for AI- og kognitivforskere. For øyeblikket er vi begrenset til inndata og utdata, og det mangler den avgjørende dybden vi streber etter.”