Is GPT-4 een sprong voorwaarts naar het bereiken van AGI?

Microsoft (MSFT ) heeft onlangs een onderzoeksrapport gepubliceerd met de titel: Vonken van kunstmatige algemene intelligentie: vroege experimenten met GPT-4. Zoals beschreven door Microsoft:

Dit rapport beschrijft ons onderzoek naar een vroege versie van GPT-4, toen het nog in actieve ontwikkeling was door OpenAI. Wij beweren dat (deze vroege versie van) GPT-4 deel uitmaakt van een nieuwe generatie LLM’s (naast ChatGPT en Google’s PaLM, bijvoorbeeld) die meer algemene intelligentie vertonen dan eerdere AI-modellen.

In dit rapport is overtuigend bewijs te vinden dat GPT-4 verder gaat dan memorisatie en dat het een diepe en flexibele begrip van concepten, vaardigheden en domeinen heeft. In feite overtreft zijn vermogen om te generaliseren ver dat van elke levende mens vandaag.

Terwijl we eerder de voordelen van AGI hebben besproken, moeten we snel samenvatten wat de algemene consensus is over wat een AGI-systeem is. In essentie is een AGI een type geavanceerde AI dat kan generaliseren over meerdere domeinen en niet smal van scope is. Voorbeelden van smalle AI zijn een autonome voertuig, een chatbot, een schaakbot of elke andere AI die is ontworpen voor een enkel doel.

Een AGI daarentegen zou flexibel kunnen wisselen tussen elk van bovenstaande of elk ander vakgebied. Het is een AI die zou profiteren van nascente algoritmen zoals transfer learning en evolutionaire learning, en zou ook legacy-algoritmen zoals diepe versterking learning exploiteren.

De bovenstaande beschrijving van AGI komt overeen met mijn persoonlijke ervaring met het gebruik van GPT-4, evenals met het bewijs dat is gedeeld in het onderzoeksrapport dat door Microsoft is uitgegeven.

Een van de prompts die in het rapport worden beschreven, is om GPT-4 een bewijs te laten schrijven van de oneindigheid van priemgetallen in de vorm van een gedicht.

Als we de vereisten voor het creëren van een dergelijk gedicht analyseren, realiseren we ons dat het wiskundige redeneren, poëtische expressie en natuurlijke taalgeneratie vereist. Dit is een uitdaging die de capaciteit van de meeste mensen zou overtreffen.

Het rapport wilde weten of GPT-4 alleen inhoud produceerde op basis van algemene memorisatie of dat het context kon begrijpen en redeneren. Toen het werd gevraagd om een gedicht te herscheppen in de stijl van Shakespeare, kon het dat doen. Dit vereist een multifacetteerd niveau van begrip dat verder gaat dan de capaciteit van de algemene bevolking en omvat theorie van de geest en wiskundig genie.

Hoe GPT-4 intelligentie te berekenen?

De vraag wordt dan hoe we de intelligentie van een LLM kunnen meten? En toont GPT-4 gedrag van echte leerprocessen of alleen maar memorisatie?

De huidige manier van testen van een AI-systeem is door het systeem te evalueren op een set standaard benchmark-datasets, en om ervoor te zorgen dat ze onafhankelijk zijn van de trainingsdata en dat ze een reeks taken en domeinen dekken. Dit type testen is bijna onmogelijk vanwege de bijna onbeperkte hoeveelheid data waarop GPT-4 is getraind.

Het rapport bespreekt het genereren van nieuwe en moeilijke taken/vragen die overtuigend aantonen dat GPT-4 verder gaat dan memorisatie en dat het een diep en flexibel begrip van concepten, vaardigheden en domeinen heeft.

Wat betreft intelligentie kan GPT-4 korte verhalen, filmscripts en berekeningen van de meest ingewikkelde formules produceren.

GPT-4 kan ook op een zeer hoog niveau programmeren, zowel in het schrijven van code op basis van instructies als in het begrijpen van bestaande code. GPT-4 kan een breed scala aan programmeringstaken aan, van coderingsuitdagingen tot werkelijke toepassingen, van lage-niveau-assemblage tot hoge-niveau-kaders, van eenvoudige gegevensstructuren tot complexe programma’s zoals games. GPT-4 kan ook redeneren over code-uitvoering, de effecten van instructies simuleren en de resultaten in natuurlijke taal uitleggen. GPT-4 kan zelfs pseudocode uitvoeren,

GPT-4 kan rationele antwoorden geven op bijna elke prompt die wordt gegeven. In feite is zijn intelligentie bijna onoverwinnelijk in complexiteit.

GPT-4 beperkingen

Het rapport beschrijft vervolgens hoe ze GPT-4’s antwoorden en gedragingen hebben onderzocht om zijn consistentie, coherentie en correctheid te verifiëren en om zijn beperkingen en vooroordelen te ontdekken.

De meest voor de hand liggende beperking is zijn neiging om te hallucineren. Hier is een voorbeeld van een hallucinatie dat in het rapport wordt gegeven, waarin GPT-4 zelfverzekerd was in zijn antwoord, dat volledig vals was.

Het lijkt erop dat zelfs GPT-4 deze huidige beperking met hallucinaties begrijpt, aangezien dit het antwoord was dat het gaf toen ik het vroeg wat een GPT-hallucinatie is:

Een GPT-hallucinatie verwijst naar een fenomeen waarbij een Generative Pre-trained Transformer (GPT)-model, zoals het model waarmee u momenteel interacteert, een antwoord produceert dat niet gebaseerd is op feitelijke informatie of coherent is met de context die is verstrekt. Deze hallucinaties treden op wanneer het model tekst genereert die plausibel lijkt maar feitelijk onjuist, misleidend of nonsensicaal is.

Met andere woorden, wanneer u een LLM-AI traint op de wereldgegevens, hoe voorkomt u dan dat het systeem onjuiste gegevens leert? Een groot taalmodel dat onjuiste informatie leert en verspreidt, en complottheorieën kan een van de grootste valkuilen en bedreigingen zijn die de mensheid enfrent met de grootschalige adoptie van LLM’s. Dit kan een van de grotere bedreigingen van AGI zijn, een die verrassend wordt gemist wanneer de gevaren van AGI worden besproken.

GPT-4 bewijzen van intelligentie

Het rapport illustreert dat het niet uitmaakt wat voor complexe prompts er naar GPT-4 worden gestuurd, GPT-4 zou de verwachtingen overtreffen. Zoals in het rapport wordt gesteld:

Zijn ongeëvenaarde meesterschap van de natuurlijke taal. Het kan niet alleen vloeiende en coherente tekst produceren, maar ook tekst begrijpen en manipuleren op verschillende manieren, zoals samenvatten, vertalen of een extreem breed scala aan vragen beantwoorden. Bovendien bedoelen we met vertalen niet alleen het vertalen tussen verschillende natuurlijke talen, maar ook vertalingen in toon en stijl, evenals tussen domeinen zoals geneeskunde, recht, accounting, computerprogrammering, muziek en meer.

Mock-technische beoordelingen werden aan GPT-4 gegeven, het slaagde er gemakkelijk in, wat in deze context betekent dat als dit een mens aan de andere kant was, ze onmiddellijk zouden worden aangenomen als software-ontwikkelaar. Een soortgelijke voorlopige test van GPT-4’s competentie op de Multistate Bar Exam liet een nauwkeurigheid van boven de 70% zien. Dit betekent dat we in de toekomst veel van de taken die momenteel aan advocaten worden gegeven, kunnen automatiseren. In feite zijn er enkele startups die momenteel werken aan het creëren van robot-advocaten met behulp van GPT-4.

Het produceren van nieuwe kennis

Een van de argumenten in het rapport is dat het enige dat nog overblijft voor GPT-4 om echte niveaus van begrip te bewijzen, is om nieuwe kennis te produceren, zoals het bewijzen van nieuwe wiskundige stellingen, een prestatie die momenteel nog buiten het bereik van LLM’s ligt.

Toch is dit de heilige graal van een AGI. Terwijl er gevaren zijn met een AGI die in de verkeerde handen valt, zijn de voordelen van een AGI die snel alle historische gegevens kan analyseren om nieuwe stellingen, geneesmiddelen en behandelingen te ontdekken, bijna oneindig.

Een AGI zou de ontbrekende schakel kunnen zijn naar het vinden van geneesmiddelen voor zeldzame genetische ziekten die momenteel geen particuliere industriefinanciering hebben, naar het genezen van kanker eenmaal en voor altijd, en om de efficiëntie van hernieuwbare energie te maximaliseren om onze afhankelijkheid van niet-hernieuwbare energie te elimineren. In feite kan het elke gevolgrijke problemen oplossen die in het AGI-systeem worden ingevoerd. Dit is wat Sam Altman en het team bij OpenAI begrijpen, een AGI is echt de laatste uitvinding die nodig is om de meeste problemen op te lossen en de mensheid te helpen.

Natuurlijk lost dit niet het probleem van de nucleaire knop op van wie de AGI controleert en wat hun bedoelingen zijn. Ongeacht dit rapport doet een fenomenale job in het betogen dat GPT-4 een sprong voorwaarts is naar het bereiken van de droom die AI-onderzoekers sinds 1956 hebben, toen het eerste Dartmouth Summer Research Project op Artificial Intelligence voor het eerst werd gelanceerd.

Terwijl het twijfelachtig is of GPT-4 een AGI is, kan gemakkelijk worden betoogd dat het voor het eerst in de menselijke geschiedenis een AI-systeem is dat de Turing-test kan doorstaan.