Er GPT-4 et spring fremad mod at nå AGI?

Microsoft har for nylig udgivet et forskningspapir med titlen: Gnister af kunstig generel intelligens: Tidlige eksperimenter med GPT-4. Som beskrevet af Microsoft:

Dette papir rapporter om vores undersøgelse af en tidlig version af GPT-4, da den stadig var i aktiv udvikling af OpenAI. Vi hævder, at (denne tidlige version af) GPT-4 er en del af en ny kohorte af LLM'er (sammen med ChatGPT og Googles PaLM for eksempel), der udviser mere generel intelligens end tidligere AI-modeller.

I dette papir er der afgørende beviser, der viser, at GPT-4 går langt ud over memorering, og at det har en dyb og fleksibel forståelse af begreber, færdigheder og domæner. Faktisk er dets evne til at generalisere langt større end ethvert menneske, der lever i dag.

Mens vi tidligere har diskuteret fordelene ved AGI, bør vi hurtigt opsummere den generelle konsensus om, hvad et AGI-system er. I bund og grund er en AGI en type avanceret AI, der kan generalisere på tværs af flere domæner og ikke er snævert i omfang. Eksempler på smal AI inkluderer et autonomt køretøj, en chatbot, en skakbot eller enhver anden AI, der er designet til et enkelt formål.

En AGI i sammenligning ville være i stand til fleksibelt at veksle mellem et hvilket som helst af ovenstående eller ethvert andet ekspertiseområde. Det er en AI, der ville drage fordel af begyndende algoritmer som f.eks overføre læring, og evolutionær læring, samtidig med at man udnytter legacy algoritmer som f.eks dyb forstærkende læring.

Ovenstående beskrivelse af AGI matcher min personlige erfaring med at bruge GPT-4, såvel som beviserne, der er delt i forskningspapir, der blev udgivet af Microsoft.

En af de tilskyndelser, der er skitseret i papiret, er, at GPT-4 skriver et bevis på uendeligheden af ​​primtal i form af et digt.

Hvis vi analyserer kravene til at skabe et sådant digt, indser vi, at det kræver matematisk ræsonnement, poetisk udtryk og naturlig sproggenerering. Dette er en udfordring, der ville overstige de fleste menneskers gennemsnitlige kapacitet.

Avisen ønskede at forstå, om GPT-4 blot producerede indhold baseret på generel memorering versus forståelse af kontekst og at kunne ræsonnere. Da han blev bedt om at genskabe et digt i stil med Shakespeare, var det i stand til at gøre det. Dette kræver et mangefacetteret niveau af forståelse, der langt overstiger den generelle befolknings evner og omfatter teori om sind og matematisk geni.

Hvordan beregner man GPT-4 intelligens?

Spørgsmålet bliver så, hvordan kan vi måle intelligensen af ​​en LLM? Og viser GPT-4 adfærd af ægte læring eller blot udenadslære?

Den nuværende måde at teste et AI-system på er ved at evaluere systemet på et sæt standard benchmark-datasæt og sikre, at de er uafhængige af træningsdataene, og at de dækker en række opgaver og domæner. Denne type test er næsten umulig på grund af den næsten ubegrænsede mængde data, som GPT-4 blev trænet på.

Artiklen diskuterer generering af nye og vanskelige opgaver/spørgsmål, der på overbevisende vis demonstrerer, at GPT-4 rækker langt ud over memorering, og at det har en dyb og fleksibel forståelse af begreber, færdigheder og domæner.

Når det kommer til intelligens, kan GPT-4 generere noveller, manuskripter, og den kan beregne de mest komplicerede formler.

GPT-4 er også i stand til at kode på et meget højt niveau, både i forhold til at skrive kode fra instruktioner og forstå eksisterende kode. GPT-4 kan håndtere en lang række kodningsopgaver, fra
kodningsudfordringer til applikationer i den virkelige verden, fra montage på lavt niveau til rammer på højt niveau, fra simple datastrukturer til komplekse programmer såsom spil. GPT-4 kan også ræsonnere omkring kodeudførelse, simulere virkningerne af instruktioner og forklare resultaterne i naturligt sprog. GPT-4 kan endda udføre pseudokode,

GPT-4 kan tilbyde rationelle svar på næsten enhver given prompt. Faktisk er dens intelligens næsten uovervindelig i sin kompleksitet.

GPT-4-begrænsninger

Artiklen fortsætter derefter med at beskrive, hvordan de undersøgte GPT-4's reaktioner og adfærd, for at verificere dens konsistens, sammenhæng og korrekthed og for at afdække dens begrænsninger og skævheder.

Den mest åbenlyse begrænsning er dens tendens til at hallucinere. Her er et eksempel på en hallucination, der er givet i avisen, hvor GPT-4 var sikker på sit svar, som var fuldstændig falsk.

Det ser ud til, at selv GPT-4 forstår denne nuværende begrænsning med hallucinationer, da dette var svaret, det gav, da jeg spurgte det, hvad en GPT-hallucination er:

En GPT-hallucination refererer til et fænomen, hvor en Generative Pre-trained Transformer (GPT) model, som den du aktuelt interagerer med, producerer et svar, der ikke er baseret på faktuelle oplysninger eller ikke er sammenhængende med den kontekst, der gives. Disse hallucinationer opstår, når modellen genererer tekst, der kan virke plausibel, men som faktisk er forkert, vildledende eller meningsløs.

Med andre ord, når du træner en LLM AI på verdens data, hvordan undgår du, at et system lærer forkerte data? En stor sprogmodel, der lærer og opgiver misinformation, og konspirationsteorier kan faktisk være en af ​​de største faldgruber og trusler, som menneskeheden står over for med storstilet adoption af LLM'er. Dette kunne faktisk være en af ​​de større trusler fra AGI, en som overraskende savnes, når man diskuterer farerne ved AGI.

GPT-4 efterretningsbeviser

Papiret illustrerer, at det var ligegyldigt, hvilken type komplekse prompts, der blev rettet mod det, GPT-4 ville overgå forventningerne. Som der står i avisen:

Dens enestående beherskelse af naturligt sprog. Det kan ikke kun generere flydende og sammenhængende tekst, men også forstå og manipulere det på forskellige måder, såsom at opsummere, oversætte eller besvare et ekstremt bredt sæt af spørgsmål. Med at oversætte mener vi desuden ikke kun mellem forskellige naturlige sprog, men også oversættelser i tone og stil, såvel som på tværs af domæner som medicin, jura, regnskab, computerprogrammering, musik og meget mere.

Mock tekniske anmeldelser blev givet til GPT-4, det passerede let betydningen i denne sammenhæng, hvis dette var et menneske på den anden ende, at de øjeblikkeligt ville blive ansat som softwareingeniør. En lignende foreløbig test af GPT-4's kompetence i Multistate Bar Exam viste en nøjagtighed på over 70 %. Det betyder, at vi i fremtiden kunne automatisere mange af de opgaver, der i dag gives til advokater. Faktisk er der nogle startups, der nu arbejder på at skabe robotadvokater ved hjælp af GPT-4.

Frembringelse af ny viden

Et af argumenterne i papiret er, at det eneste, der er tilbage for GPT-4 for at bevise sande niveauer af forståelse, er, at det producerer ny viden, såsom at bevise nye matematiske teoremer, en bedrift, der i øjeblikket er uden for rækkevidde for LLM'er.

Så igen er dette den hellige gral af en AGI. Selvom der er farer ved, at en AGI bliver kontrolleret i de forkerte hænder, er fordelene ved, at en AGI hurtigt kan analysere alle historiske data for at opdage nye teoremer, kure og behandlinger, næsten uendelige.

En AGI kunne være det manglende led i retning af at finde kure mod sjældne genetiske sygdomme, som i øjeblikket mangler finansiering fra den private industri, mod at helbrede kræft én gang for alle, og til at maksimere effektiviteten af ​​vedvarende energi for at fjerne vores afhængighed af ikke-bæredygtig energi. Faktisk kunne det løse ethvert følgeproblem, der føres ind i AGI-systemet. Dette er, hvad Sam Altman og og teamet hos OpenAI forstår, en AGI er virkelig den sidste opfindelse det er nødvendigt for at løse de fleste problemer og til gavn for menneskeheden.

Det løser selvfølgelig ikke problemet med nukleare knapper, hvem der kontrollerer AGI, og hvad deres hensigter er. Uanset dette papir udfører et fænomenalt stykke arbejde med at argumentere for, at GPT-4 er et spring fremad mod at nå den drøm, AI-forskere har haft siden 1956, da den første sommerworkshop i Dartmouth Summer Research Project om kunstig intelligens blev lanceret.

Selvom det kan diskuteres, om GPT-4 er en AGI, kan det let hævdes, at det for første gang i menneskehedens historie er et AI-system, der kan bestå Turing Test.