Is GPT-4 een sprong voorwaarts naar het bereiken van AGI?

Microsoft heeft onlangs een onderzoekspaper uitgebracht met de titel: Vonken van kunstmatige algemene intelligentie: vroege experimenten met GPT-4. Zoals beschreven door Microsoft:

Dit papier rapporteert over ons onderzoek naar een vroege versie van GPT-4, toen deze nog in actieve ontwikkeling was door OpenAI. We beweren dat (deze vroege versie van) GPT-4 deel uitmaakt van een nieuwe cohort van LLM's (samen met bijvoorbeeld ChatGPT en Google's PaLM) die meer algemene intelligentie vertonen dan eerdere AI-modellen.

In dit artikel is er overtuigend bewijs dat aantoont dat GPT-4 veel verder gaat dan memoriseren, en dat het een diep en flexibel begrip heeft van concepten, vaardigheden en domeinen. In feite is zijn vermogen om te generaliseren veel groter dan dat van enig mens die tegenwoordig leeft.

Hoewel we eerder hebben gesproken over de voordelen van AGI, moeten we snel de algemene consensus samenvatten over wat een AGI-systeem is. In wezen is een AGI een soort geavanceerde AI die over meerdere domeinen kan worden gegeneraliseerd en niet beperkt is in omvang. Voorbeelden van beperkte AI zijn een autonoom voertuig, een chatbot, een schaakbot of een andere AI die voor één doel is ontworpen.

Een AGI daarentegen zou flexibel kunnen wisselen tussen een van de bovenstaande of een ander expertisegebied. Het is een AI die zou profiteren van ontluikende algoritmen zoals overdracht leren, en evolutionair leren, terwijl ook gebruik wordt gemaakt van verouderde algoritmen zoals diep versterkend leren.

De bovenstaande beschrijving van AGI komt overeen met mijn persoonlijke ervaring met het gebruik van GPT-4, evenals met het bewijs dat wordt gedeeld in onderzoekspapier dat is vrijgegeven door Microsoft.

Een van de aanwijzingen die in het artikel worden geschetst, is dat GPT-4 een bewijs schrijft van de oneindigheid van priemgetallen in de vorm van een gedicht.

Als we de vereisten voor het maken van zo'n gedicht analyseren, realiseren we ons dat het wiskundig redeneren, poëtische expressie en het genereren van natuurlijke taal vereist. Dit is een uitdaging die het gemiddelde vermogen van de meeste mensen zou overtreffen.

De krant wilde begrijpen of GPT-4 eenvoudigweg inhoud produceerde op basis van algemene memorisatie versus het begrijpen van de context en het vermogen om te redeneren. Toen hem werd gevraagd een gedicht in de stijl van Shakespeare na te maken, kon hij dat doen. Dit vereist een veelzijdig begripsniveau dat het vermogen van de algemene bevolking ver te boven gaat en dat ook theorie van de geest en wiskundig genie omvat.

Hoe GPT-4-intelligentie berekenen?

De vraag wordt dan hoe we de intelligentie van een LLM kunnen meten? En vertoont GPT-4 gedrag van echt leren of louter onthouden?

De huidige manier om een ​​AI-systeem te testen, is door het systeem te evalueren op een reeks standaard benchmarkgegevenssets, en ervoor te zorgen dat ze onafhankelijk zijn van de trainingsgegevens en dat ze een reeks taken en domeinen bestrijken. Dit type testen is bijna onmogelijk vanwege de bijna onbeperkte hoeveelheid gegevens waarop GPT-4 is getraind.

Het artikel bespreekt het genereren van nieuwe en moeilijke taken/vragen die op overtuigende wijze aantonen dat GPT-4 veel verder gaat dan alleen memoriseren, en dat het een diep en flexibel begrip heeft van concepten, vaardigheden en domeinen.

Als het om intelligentie gaat, kan GPT-4 korte verhalen en scenario's genereren en de meest gecompliceerde formules berekenen.

GPT-4 is ook in staat om op een zeer hoog niveau te coderen, zowel wat betreft het schrijven van code vanuit instructies als het begrijpen van bestaande code. GPT-4 kan een breed scala aan codeertaken aan, van
codeeruitdagingen tot toepassingen in de echte wereld, van assemblage op laag niveau tot raamwerken op hoog niveau, van eenvoudige datastructuren tot complexe programma's zoals games. GPT-4 kan ook redeneren over code-uitvoering, de effecten van instructies simuleren en de resultaten in natuurlijke taal uitleggen. GPT-4 kan zelfs pseudocode uitvoeren,

GPT-4 kan rationele reacties bieden op bijna elke gegeven prompt. In feite is zijn intelligentie bijna onoverwinnelijk in zijn complexiteit.

GPT-4-beperkingen

Het artikel beschrijft vervolgens hoe ze de reacties en het gedrag van GPT-4 hebben onderzocht, de consistentie, coherentie en correctheid ervan hebben geverifieerd en de beperkingen en vooroordelen ervan hebben blootgelegd.

De meest voor de hand liggende beperking is de neiging tot hallucinaties. Hier is een voorbeeld van een hallucinatie die wordt gegeven in de krant waar GPT-4 vertrouwen had in zijn antwoord dat volkomen onjuist was.

Het lijkt erop dat zelfs GPT-4 deze huidige beperking met hallucinaties begrijpt, aangezien dit het antwoord was toen ik het vroeg wat een GPT-hallucinatie is:

Een GPT-hallucinatie verwijst naar een fenomeen waarbij een Generative Pre-trained Transformer (GPT)-model, zoals het model waarmee u momenteel communiceert, een reactie produceert die niet is gebaseerd op feitelijke informatie of niet coherent is met de geboden context. Deze hallucinaties treden op wanneer het model tekst genereert die plausibel lijkt, maar in werkelijkheid onjuist, misleidend of onzinnig is.

Met andere woorden, wanneer u een LLM AI traint op de gegevens van de wereld, hoe voorkomt u dan dat een systeem onjuiste gegevens leert? Een groot taalmodel dat verkeerde informatie en samenzweringstheorieën leert en uitbraakt, zou in feite een van de grootste valkuilen en bedreigingen kunnen zijn waarmee de mensheid wordt geconfronteerd bij grootschalige acceptatie van LLM's. Dit zou eigenlijk een van de grotere bedreigingen van AGI kunnen zijn, een die verrassend genoeg over het hoofd wordt gezien bij het bespreken van de gevaren van AGI.

GPT-4 Bewijzen van intelligentie

De paper illustreert dat het niet uitmaakte wat voor soort complexe prompts erop gericht waren, GPT-4 zou de verwachtingen overtreffen. Zoals in de krant staat:

Zijn ongeëvenaarde beheersing van natuurlijke taal. Het kan niet alleen vloeiende en samenhangende tekst genereren, maar deze ook op verschillende manieren begrijpen en manipuleren, zoals samenvatten, vertalen of een zeer brede reeks vragen beantwoorden. Bovendien bedoelen we met vertalen niet alleen tussen verschillende natuurlijke talen, maar ook vertalingen in toon en stijl, evenals over domeinen heen zoals geneeskunde, rechten, boekhouding, computerprogrammering, muziek en meer.

Er werden neptechnische beoordelingen gegeven aan GPT-4, het was in deze context gemakkelijk logisch dat als dit een mens aan de andere kant was, ze onmiddellijk zouden worden aangenomen als software-engineer. Een vergelijkbare voorlopige test van de competentie van GPT-4 op het Multistate Bar Exam toonde een nauwkeurigheid van meer dan 70%. Dit betekent dat we in de toekomst veel van de taken die nu aan advocaten worden toevertrouwd, kunnen automatiseren. In feite zijn er enkele startups die nu werken aan het creëren van robotadvocaten met behulp van GPT-4.

Nieuwe kennis produceren

Een van de argumenten in de paper is dat het enige dat GPT-4 nog rest om echte niveaus van begrip te bewijzen, is dat het nieuwe kennis voortbrengt, zoals het bewijzen van nieuwe wiskundige stellingen, een prestatie die momenteel buiten bereik blijft voor LLM's.

Dit is dan weer de heilige graal van een AGI. Hoewel er gevaren zijn als een AGI in de verkeerde handen wordt gecontroleerd, zijn de voordelen van een AGI die in staat is om snel alle historische gegevens te analyseren om nieuwe stellingen, behandelingen en behandelingen te ontdekken, bijna oneindig.

Een AGI zou de ontbrekende schakel kunnen zijn bij het vinden van behandelingen voor zeldzame genetische ziekten waarvoor momenteel geen financiering door de particuliere sector is, bij het voor eens en voor altijd genezen van kanker, en bij het maximaliseren van de efficiëntie van hernieuwbare energie om onze afhankelijkheid van niet-duurzame energie weg te nemen. In feite zou het elk daaruit voortvloeiend probleem kunnen oplossen dat in het AGI-systeem wordt ingevoerd. Dit is wat Sam Altman en het team van OpenAI begrijpen, een AGI is echt de laatste uitvinding dat is nodig om de meeste problemen op te lossen en de mensheid ten goede te komen.

Dat lost natuurlijk niet het kernknopprobleem op van wie de AGI controleert en wat hun bedoelingen zijn. Ongeacht dit papier doet fenomenaal werk met het argument dat GPT-4 een sprong voorwaarts is in de richting van het verwezenlijken van de droom die AI-onderzoekers hebben gehad sinds 1956, toen de eerste zomerworkshop van het Dartmouth Summer Research Project on Artificial Intelligence voor het eerst werd gelanceerd.

Hoewel het de vraag is of GPT-4 een AGI is, zou gemakkelijk kunnen worden betoogd dat het voor het eerst in de menselijke geschiedenis een AI-systeem is dat de Turing-test.