Er GPT-4 et spring fremad mod at nå AGI?

Microsoft (MSFT ) har nyligt udgivet en forskningsrapport med titlen: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Som beskrevet af Microsoft:

Denne rapport beskriver vores undersøgelse af en tidlig version af GPT-4, da det stadig var under aktiv udvikling af OpenAI. Vi hævder, at (denne tidlige version af) GPT-4 er en del af en ny kohorte af LLM’er (sammen med ChatGPT og Google’s PaLM for eksempel), der viser mere generel intelligens end tidligere AI-modeller.

I denne rapport er der overbevisende beviser for, at GPT-4 går langt ud over memorering, og at det har en dyb og fleksibel forståelse af begreber, færdigheder og domæner. I virkeligheden overstiger dets evne til at generalisere langt det, der er muligt for noget menneske i dag.

mens vi tidligere har diskuteret fordelene ved AGI, skal vi hurtigt sammenfatte den generelle konsensus om, hvad et AGI-system er. I essensen er et AGI en type avanceret AI, der kan generalisere på tværs af multiple domæner og ikke er snævert i omfang. Eksempler på snævert AI inkluderer en selvstændig bil, en chatbot, en skakbot eller enhver anden AI, der er designet til et enkelt formål.

Et AGI ville i modsætning være i stand til fleksibelt at skifte mellem enhver af ovenstående eller andre fagområder. Det er en AI, der ville tage udgangspunkt i nye algoritmer som transfer learning og evolutionær læring, samt udnytte legacy-algoritmer som dyb forstærket læring.

Beskrivelsen af AGI matcher min personlige erfaring med at bruge GPT-4, samt beviserne, der er delt i forskningsrapporten, der er udgivet af Microsoft.

En af de prompts, der er beskrevet i rapporten, er, at GPT-4 skal skrive en bevis for uendeligheden af primtal i form af en digt.

Hvis vi analyserer kravene for at skabe sådan en digt, indser vi, at det kræver matematisk resonnering, poetisk udtryk og naturlig sproggenerering. Dette er en udfordring, der ville overstige den gennemsnitlige evne hos de fleste mennesker.

Rapporten ønskede at forstå, om GPT-4 blot producerede indhold baseret på generel memorering eller om det forstod kontekst og kunne resonere. Da det blev bedt om at genskabe en digt i Shakespeares stil, kunne det gøre det. Dette kræver en multifacetteret niveau af forståelse, der langt overstiger den gennemsnitlige befolknings evne og inkluderer teori om sind og matematisk geni.

Hvordan beregner man GPT-4’s intelligens?

Spørgsmålet bliver så, hvordan vi kan måle en LLM’s intelligens? Og viser GPT-4 adfærd, der svarer til sand læring eller blot memorering?

Dannelsesmåden for at teste et AI-system er ved at evaluere systemet på en række standard benchmark-datasets og sikre, at de er uafhængige af træningsdata og dækker et bredt udvalg af opgaver og domæner. Denne type test er næsten umulig på grund af den næsten ubegrænsede mængde data, som GPT-4 er trænet på.

Rapporten diskuterer generering af nye og svære opgaver/spørgsmål, der overbevisende demonstrerer, at GPT-4 går langt ud over memorering, og at det har en dyb og fleksibel forståelse af begreber, færdigheder og domæner.

Når det kommer til intelligens, kan GPT-4 generere korte historier, filmmanuskripter og kan beregne de mest komplicerede formler.

GPT-4 er også i stand til at kode på et meget højt niveau, både i forhold til at skrive kode fra instruktioner og forstå eksisterende kode. GPT-4 kan håndtere et bredt udvalg af kodningsopgaver, fra kodningsudfordringer til virkelige verdensansøgninger, fra lavniveau-sammenføjning til højniveau-rammer, fra simple datastrukturer til komplekse programmer som spil. GPT-4 kan også resonere om kodekørsel, simulere effekterne af instruktioner og forklare resultaterne i naturligt sprog. GPT-4 kan endda udføre pseudokode,

GPT-4 kan tilbyde rationelle svar på næsten enhver prompt. I virkeligheden er dets intelligens næsten uovervindelig i kompleksitet.

GPT-4’s begrænsninger

Rapporten fortsætter herefter med at beskrive, hvordan de undersøgte GPT-4’s svar og adfærd for at verificere dets konsistens, koherens og korrekthed og for at afsløre dets begrænsninger og fordomme.

Den mest åbenlyse begrænsning er dets tendens til at hallucinere. Her er et eksempel på en hallucination, der er givet i rapporten, hvor GPT-4 var sikker på sit svar, der var helt forkert.

Det ser ud til, at selv GPT-4 forstår denne nuværende begrænsning med hallucinationer, da dette var svaret, det gav, da jeg spurgte, hvad en GPT-hallucination er:

En GPT-hallucination refererer til et fænomen, hvor en Generative Pre-trained Transformer (GPT)-model, som den du interagerer med, producerer et svar, der ikke er baseret på faktuel information eller er ikke koherent med den kontekst, der er givet. Disse hallucinationer opstår, når modellen genererer tekst, der kan synes plausibel, men i virkeligheden er forkert, misvisende eller meningsløs.

Med andre ord, når du træner en LLM-AI på verdens data, hvordan undgår du, at systemet lærer forkert data? En stor sprogmodel, der lærer og genererer misinformation og konspirationsteorier, kunne faktisk være en af de største faldgruber og trusler, som menneskeheden står overfor med storstilet brug af LLM’er. Dette kunne faktisk være en af de større trusler fra AGI, en, der overraskende nok bliver overset, når man diskuterer farerne ved AGI.

GPT-4’s beviser for intelligens

Rapporten illustrerer, at det ikke havde nogen betydning, hvilke komplekse prompts, der blev rettet mod det, GPT-4 ville overgå forventningerne. Som det er beskrevet i rapporten:

Dets ubesvarelige mesterstil over naturligt sprog. Det kan ikke kun generere flydende og koherent tekst, men også forstå og manipulere det på forskellige måder, såsom sammenfatning, oversættelse eller besvarelse af et ekstremt bredt udvalg af spørgsmål. Desuden kan det oversætte ikke kun mellem forskellige naturlige sprog, men også oversættelser i tone og stil samt på tværs af domæner som medicin, jura, regnskab, computerprogrammering, musik og mere.

Falske tekniske anmeldelser blev givet til GPT-4, og det bestod let, hvilket betyder, at hvis dette var et menneske på den anden side, ville det øjeblikkeligt blive ansat som software-ingeniør. En lignende præliminær test af GPT-4’s kompetence på den multistate bar-eksamen viste en nøjagtighed over 70%. Dette betyder, at vi i fremtiden kunne automatisere mange af de opgaver, der i øjeblikket gives til advokater. I virkeligheden er der nogle startups, der arbejder på at skabe robot-advokater ved hjælp af GPT-4.

Produktion af ny viden

Et af argumenterne i rapporten er, at det eneste, der er tilbage for GPT-4 for at bevise sande niveauer af forståelse, er, at det kan producere ny viden, såsom at bevise nye matematiske teorier, en bedrift, der i øjeblikket er uden for rækkevidde for LLM’er.

Herefter er dette det hellige mal for et AGI. Mens der er farer forbundet med et AGI, der kontrolleres af de forkerte hænder, er fordelene ved et AGI, der kan analysere alle historiske data for at opdage nye teorier, kur og behandlinger, næsten uendelige.

Et AGI kunne være det manglende led til at finde kur mod sjældne genetiske sygdomme, der i øjeblikket mangler privat industribaseret finansiering, til at kurere kræft en gang for alle og til at maksimere effektiviteten af vedvarende energi for at fjerne vores afhængighed af ikke-bæredygtig energi. I virkeligheden kunne det løse enhver konsekvensfuld problem, der indføres i AGI-systemet. Dette er, hvad Sam Altman og holdet på OpenAI forstår, et AGI er virkelig den sidste opfindelse, der er nødvendig for at løse de fleste problemer og fordelene for menneskeheden.

Det løser naturligvis ikke problemet med, hvem der kontrollerer AGI, og hvad deres intentioner er. Uanset hvad dette papir gør en fænomenal job med at argumentere for, at GPT-4 er et spring fremad mod at nå det drømme, AI-forskere har haft siden 1956, da det første Dartmouth Summer Research Project on Artificial Intelligence sommer-workshop blev lanceret.

Mens det er diskutabelt, om GPT-4 er et AGI, kan det let argumenteres for, at det for første gang i menneskehedens historie er et AI-system, der kan bestå Turing-testen.