Er GPT-4 et sprang fremover mot å nå AGI?

Microsoft (MSFT ) har nylig publisert en forskningsrapport med tittelen: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Som beskrevet av Microsoft:

Dette dokumentet rapporterer om vår undersøkelse av en tidlig versjon av GPT-4, da det fortsatt var under aktiv utvikling av OpenAI. Vi hevder at (denne tidlige versjonen av) GPT-4 er en del av en ny kohort av LLM-er (sammen med ChatGPT og Google’s PaLM for eksempel) som viser mer generell intelligens enn tidligere AI-modeller.

I denne rapporten, finnes det overbevisende bevis for at GPT-4 går langt utenfor memorering, og at det har en dyp og fleksibel forståelse av konsepter, ferdigheter og domener. I virkeligheten overstiger det evnen til å generalisere langt mer enn noen menneske i dag.

Mens vi tidligere har diskutert fordelene med AGI, bør vi raskt sammenfatte den generelle konsensusen om hva et AGI-system er. I essensen er et AGI en type avansert AI som kan generalisere over flere domener og ikke er smal i omfang. Eksempler på smal AI inkluderer en autonom bil, en chatbot, en sjakkbot eller noen andre AI som er designet for ett enkelt formål.

Et AGI i sammenligning ville være i stand til å fleksibelt skifte mellom noen av ovennevnte eller noen andre fagområder. Det er en AI som ville dra nytte av nye algoritmer som overføringslæring, og evolusjonær læring, samtidig som det også utnytter etablerte algoritmer som dypt forsterket læring.

Beskrivelsen av AGI ovenfor stemmer overens med min personlige erfaring med å bruke GPT-4, samt bevisene som er delt i forskningsrapporten som ble publisert av Microsoft.

En av promptene som er omtalt i rapporten, er å få GPT-4 til å skrive en bevis for uendeligheten av primtall i form av en dikt.

Hvis vi analyserer kravene for å lage en slik dikt, innser vi at det krever matematisk resonnement, poetisk uttrykk og naturlig språkgenerering. Dette er en utfordring som ville overstige evnen til de fleste mennesker.

Rapporten ønsket å forstå om GPT-4 bare produserte innhold basert på generell memorering eller om det forstod kontekst og kunne resonnere. Når det ble bedt om å gjenskape en dikt i stil med Shakespeare, var det i stand til å gjøre det. Dette krever en multifaset forståelse som langt overstiger evnen til den generelle befolkningen og inkluderer teori om sinn og matematisk genialitet.

Hvordan beregne GPT-4 intelligens?

Spørsmålet blir da hvordan vi kan måle intelligensen til en LLM? Og viser GPT-4 oppførsel som sanne læring eller bare memorering?

Dagens måte å teste et AI-system på er å evaluere systemet på en sett standard benchmark-datasett, og å sikre at de er uavhengige av treningsdata og at de dekker et bredt spekter av oppgaver og domener. Denne type testing er nesten umulig på grunn av den nesten ubegrensede mengden data som GPT-4 ble trent på.

Rapporten diskuterer generering av nye og vanskelige oppgaver/spørsmål som overbevisende demonstrerer at GPT-4 går langt utenfor memorering, og at det har en dyp og fleksibel forståelse av konsepter, ferdigheter og domener.

Når det gjelder intelligens, kan GPT-4 generere korte historier, manus og det kan beregne de mest kompliserte formelene.

GPT-4 er også i stand til å kode på et meget høyt nivå, både når det gjelder å skrive kode fra instruksjoner og å forstå eksisterende kode. GPT-4 kan håndtere et bredt spekter av kodeoppgaver, fra kodeutfordringer til virkelige verden anvendelser, fra lav-nivå samling til høynivå-rammeverk, fra enkle datastrukturer til komplekse programmer som spill. GPT-4 kan også resonnere om kodekøring, simulere effektene av instruksjoner og forklare resultater i naturlig språk. GPT-4 kan sogar kjøre pseudokode,

GPT-4 kan tilby rasjonelle responser på nesten alle prompter som blir gitt. I virkeligheten er det nesten uovervinnelig i sin kompleksitet.

GPT-4 begrensninger

Rapporten fortsetter å beskrive hvordan de undersøkte GPT-4s responser og oppførsel, for å verifisere konsistens, kohens og riktighet, og å avdekke begrensninger og fordommer.

Den mest åpenbare begrensningen er dens tendens til å hallucinere. Her er et eksempel på en hallucinasjon som er gitt i rapporten hvor GPT-4 var sikker på sin respons som var fullstendig feil.

Det ser ut til at selv GPT-4 forstår denne begrensningen med hallucinasjoner, da dette var responsen det ga når jeg spurte det hva en GPT-hallucinasjon er:

En GPT-hallucinasjon refererer til et fenomen hvor en Generative Pre-trained Transformer (GPT)-modell, som den du interagerer med nå, produserer en respons som ikke er basert på faktisk informasjon eller er ikke konsistent med konteksten som er gitt. Disse hallucinasjonene skjer når modellen genererer tekst som kan se plausibelt ut, men i virkeligheten er feil, misvisende eller nonsensisk.

Med andre ord, når du trener en LLM-AI på verdens data, hvordan unngår du at systemet lærer feil data? En stor språkmodell som lærer og regurgiterer feilinformasjon og konspirasjonsteorier kunne faktisk være en av de største fallgruvene og truslene som menneskeheten står overfor med stor skala-tilpasning av LLM-er. Dette kunne faktisk være en av de større truslene fra AGI, en som overraskende blir oversett når man diskuterer farerne med AGI.

GPT-4 bevis for intelligens

Rapporten illustrerer at det ikke hadde noen betydning hva type komplekse prompter som ble rettet mot det, GPT-4 ville overstige forventningene. Som det er beskrevet i rapporten:

Dets utenkelige mesteri over naturlig språk. Det kan ikke bare generere flytende og konsistent tekst, men også forstå og manipulere det på forskjellige måter, som å sammenfatte, oversette eller svare på et ekstremt bredt spekter av spørsmål. I tillegg, ved å oversette, mener vi ikke bare mellom forskjellige naturlige språk, men også oversettelser i tone og stil, samt over domener som medisin, lov, regnskap, dataprogrammering, musikk og mer.

Mock-tekniske anmeldelser ble gitt til GPT-4, det passerte lett, noe som i denne sammenhengen betyr at hvis dette var et menneske på den andre siden, ville de umiddelbart bli ansatt som programvareingeniør. En lignende preliminær test av GPT-4s kompetanse på Multistate Bar Exam viste en nøyaktighet over 70%. Dette betyr at i fremtiden kunne vi automatisere mange av oppgavene som i dag blir gitt til advokater. I virkeligheten er det noen startups som nå arbeider med å lage robot-advokater som bruker GPT-4.

Produserer ny kunnskap

En av argumentene i rapporten er at det eneste som er igjen for GPT-4 for å vise sanne nivåer av forståelse er å produsere ny kunnskap, som å bevise nye matematiske teorier, en bedrift som for tiden ligger utenfor rekkevidde for LLM-er.

Så igjen er dette det ultimate målet for en AGI. Mens det finnes farer med en AGI som blir kontrollert i feil hender, er fordelen med en AGI som kan raskt analysere all historisk data for å oppdage nye teorier, kur og behandlinger nesten uendelig.

En AGI kunne være den manglende lenken mot å finne kur for sjeldne genetiske sykdommer som i dag mangler privat industriell finansiering, mot å kurere kreft en gang for alle, og å maksimere effektiviteten av fornybar energi for å fjerne vår avhengighet av uholdbare energi. I virkeligheten kunne det løse noen konsekvensproblem som blir gitt til AGI-systemet. Dette er hva Sam Altman og teamet på OpenAI forstår, en AGI er virkelig den siste oppfinnelsen som trengs for å løse de fleste problemene og åbenefitere menneskeheten.

Forstås, det løser ikke problemet med den atomare knappen om hvem som kontrollerer AGI, og hva deres intensjoner er. Uansett, denne rapporten gjør en fenomenal jobb med å argumentere for at GPT-4 er et sprang fremover mot å nå drømmen AI-forskere har hatt siden 1956, da det første Dartmouth Summer Research Project on Artificial Intelligence sommer-workshop ble lansert.

Mens det er debattert om GPT-4 er en AGI, kunne det lett argumenteres for at for første gang i menneskehetens historie er det et AI-system som kan bestå Turing-testen.