Zal GPT-4 ons dichter bij een echte AI-revolutie brengen?

Het is bijna drie jaar geleden sinds GPT-3 in mei 2020 werd geïntroduceerd. Sindsdien heeft het AI-tekstgeneratiemodel veel belangstelling gekregen vanwege zijn vermogen om tekst te creëren die eruitziet en klinkt alsof hij door een mens is geschreven. Nu lijkt het erop dat de volgende iteratie van de software, GPT-4, net om de hoek is, met een geschatte releasedatum van ergens in het begin van 2023.

Ondanks de hooggespannen verwachtingen rondom dit AI-nieuws, zijn de exacte details over GPT-4 nogal vaag. OpenAI, het bedrijf achter GPT-4, heeft nog niet veel informatie over het nieuwe model vrijgegeven, zoals zijn functies of mogelijkheden. Niettemin kunnen recente vooruitgangen op het gebied van AI, met name met betrekking tot Natural Language Processing (NLP), enkele aanwijzingen geven over wat we van GPT-4 kunnen verwachten.

Wat is GPT?

Voordat we in details treden, is het handig om eerst een basislijn te creëren over wat GPT is. GPT staat voor Generative Pre-trained Transformer en verwijst naar een diep lerend neuronaal netwerkmodel dat getraind is op data die beschikbaar is van het internet om grote hoeveelheden machinegegenereerde tekst te creëren. GPT-3 is de derde generatie van deze technologie en is een van de meest geavanceerde AI-tekstgeneratiemodellen die momenteel beschikbaar zijn.

Denk aan GPT-3 als een soortgelijke werking als spraakassistenten, zoals Siri of Alexa, alleen op een veel grotere schaal. In plaats van Alexa te vragen om je favoriete nummer af te spelen of Siri te laten typen, kun je GPT-3 vragen om een hele eBook in slechts een paar minuten te schrijven of 100 sociale mediaberichten in minder dan een minuut te genereren. Alles wat de gebruiker hoeft te doen, is een prompt te geven, zoals: “Schrijf me een artikel van 500 woorden over het belang van creativiteit.” Zolang de prompt duidelijk en specifiek is, kan GPT-3 bijna alles schrijven wat je vraagt.

Sinds de release voor het algemene publiek, heeft GPT-3 veel zakelijke toepassingen gevonden. Bedrijven gebruiken het voor tekstsamenvatting, taalvertaling, codegeneratie en grote schaalautomatisering van bijna elke schrijftaak.

Dat gezegd hebbende, terwijl GPT-3 ongetwijfeld zeer indrukwekkend is in zijn vermogen om hoog leesbare, mensachtige tekst te creëren, is het verre van perfect. Problemen doen zich voor wanneer het wordt gevraagd om langere stukken te schrijven, vooral wanneer het gaat om complexe onderwerpen die inzicht vereisen. Bijvoorbeeld, een prompt om computercode voor een website te genereren, kan correcte maar suboptimale code retourneren, dus een menselijke programmeur moet nog steeds naar binnen gaan en verbeteringen aanbrengen. Het is een soortgelijk probleem met grote tekstdocumenten: hoe groter het volume van de tekst, hoe waarschijnlijker het is dat fouten – soms grappige fouten – zullen optreden die door een menselijke schrijver moeten worden gecorrigeerd.

Kortom, GPT-3 is geen complete vervanging voor menselijke schrijvers of programmeurs en zou niet als zodanig moeten worden beschouwd. In plaats daarvan zou GPT-3 moeten worden gezien als een schrijfassistent, een die mensen veel tijd kan besparen wanneer ze blogpostideeën of ruwe schetsen voor advertentieteksten of persberichten moeten genereren.

Meer parameters = beter?

Een ding om te begrijpen over AI-modellen is hoe ze parameters gebruiken om voorspellingen te doen. De parameters van een AI-model definiëren het leerproces en bieden structuur voor de uitvoer. Het aantal parameters in een AI-model is over het algemeen gebruikt als een maatstaf voor prestaties. Hoe meer parameters, hoe krachtiger, soepeler en voorspelbaarder het model is, althans volgens de scalinghypothese.

Bijvoorbeeld, toen GPT-1 in 2018 werd uitgebracht, had het 117 miljoen parameters. GPT-2, dat een jaar later werd uitgebracht, had 1,2 miljard parameters, terwijl GPT-3 het aantal nog hoger bracht tot 175 miljard parameters. Volgens een interview met Wired in augustus 2021, zei Andrew Feldman, oprichter en CEO van Cerebras, een bedrijf dat samenwerkt met OpenAI, dat GPT-4 ongeveer 100 biljoen parameters zou hebben. Dit zou GPT-4 100 keer krachtiger maken dan GPT-3, een kwantumsprong in parameters die, begrijpelijk, veel mensen erg enthousiast heeft gemaakt.

Toch zijn er goede redenen om te denken dat GPT-4 in feite niet 100 biljoen parameters zal hebben. Hoe groter het aantal parameters, hoe duurder het model wordt om te trainen en af te stemmen vanwege de enorme hoeveelheden rekenkracht die nodig zijn.

Plus, er zijn meer factoren dan alleen het aantal parameters dat de effectiviteit van een model bepaalt. Neem bijvoorbeeld Megatron-Turing NLG, een tekstgeneratiemodel gebouwd door Nvidia en Microsoft, dat meer dan 500 miljard parameters heeft. Ondanks zijn grootte, komt MT-NLG niet in de buurt van GPT-3 qua prestaties. Kortom, groter betekent niet noodzakelijkerwijs beter.

Het is waarschijnlijk dat GPT-4 inderdaad meer parameters zal hebben dan GPT-3, maar het blijft te zien of dat aantal een orde van grootte hoger zal zijn. In plaats daarvan zijn er andere interessante mogelijkheden die OpenAI waarschijnlijk nastreeft, zoals een slanker model dat zich richt op kwalitatieve verbeteringen in algoritmeontwerp en alignering. De exacte impact van dergelijke verbeteringen is moeilijk te voorspellen, maar wat wel bekend is, is dat een spaarzaam model de rekenkosten kan verlagen door middel van wat wordt genoemd conditionele berekening, d.w.z. niet alle parameters in het AI-model zullen constant actief zijn, wat vergelijkbaar is met hoe neuronen in de menselijke hersenen werken.

Wat kan GPT-4 dus?

Totdat OpenAI met een nieuwe verklaring komt of zelfs GPT-4 uitbrengt, zijn we overgelaten aan speculaties over hoe het zal verschillen van GPT-3. Ongeacht, kunnen we enkele voorspellingen doen

Hoewel de toekomst van AI-diepe leerontwikkeling multimodaal is, zal GPT-4 waarschijnlijk tekst-only blijven. Als mensen leven we in een multisensorele wereld die gevuld is met verschillende audio-, visuele en tekstuele inputs. Daarom is het onvermijdelijk dat AI-ontwikkeling uiteindelijk een multimodaal model zal produceren dat een verscheidenheid aan inputs kan incorporeren.

Echter, een goed multimodaal model is aanzienlijk moeilijker te ontwerpen dan een tekst-only model. De technologie is er nog niet en op basis van wat we weten over de beperkingen op parameters, is het waarschijnlijk dat OpenAI zich richt op het uitbreiden en verbeteren van een tekst-only model.

Het is ook waarschijnlijk dat GPT-4 minder afhankelijk zal zijn van precieze prompting. Een van de nadelen van GPT-3 is dat tekstprompts zorgvuldig moeten worden geschreven om het gewenste resultaat te krijgen. Wanneer prompts niet zorgvuldig zijn geschreven, kun je eindigen met outputs die onwaar, giftig of zelfs extremistische meningen weerspiegelen. Dit is onderdeel van wat bekend staat als het “aligneringprobleem” en het verwijst naar uitdagingen bij het creëren van een AI-model dat de intenties van de gebruiker volledig begrijpt. Met andere woorden, het AI-model is niet afgestemd op de doelen of intenties van de gebruiker. Aangezien AI-modellen worden getraind met behulp van tekstdatasets van het internet, is het heel gemakkelijk voor menselijke vooroordelen, leugens en vooroordelen om hun weg te vinden in de tekstuitvoer.

Dat gezegd hebbende, zijn er goede redenen om aan te nemen dat ontwikkelaars vooruitgang boeken bij het oplossen van het aligneringprobleem. Deze optimisme komt voort uit enkele doorbraken in de ontwikkeling van InstructGPT, een geavanceerdere versie van GPT-3 die getraind is op menselijke feedback om instructies en gebruikersintenties nauwer te volgen. Menselijke jury’s vonden dat InstructGPT veel minder afhankelijk was van GPT-3 van goede prompting.

Echter, moet worden opgemerkt dat deze tests alleen werden uitgevoerd met OpenAI-medewerkers, een relatief homogene groep die mogelijk niet veel verschilt in geslacht, religieuze of politieke meningen. Het is waarschijnlijk een veilige weddenschap dat GPT-4 een meer diverse training zal ondergaan die de alignering voor verschillende groepen zal verbeteren, hoewel de mate waarin dit gebeurt nog moet worden gezien.

Zal GPT-4 mensen vervangen?

Ondanks de beloften van GPT-4, is het onwaarschijnlijk dat het de behoefte aan menselijke schrijvers en programmeurs volledig zal vervangen. Er is nog veel werk te doen aan alles, van parameters optimaliseren tot multimodaliteit tot alignering. Het kan wel eens vele jaren duren voordat we een tekstgenerator zien die een echt menselijk begrip van de complexiteiten en nuances van echte levenservaring kan bereiken.

Toch zijn er nog goede redenen om enthousiast te zijn over de komst van GPT-4. Parameters optimaliseren – in plaats van alleen parameters groeien – zal waarschijnlijk leiden tot een AI-model dat veel meer rekenkracht heeft dan zijn voorganger. En verbeterde alignering zal GPT-4 waarschijnlijk veel gebruikersvriendelijker maken.

Bovendien staan we nog maar aan het begin van de ontwikkeling en adoptie van AI-gereedschap. Meer gebruikscases voor de technologie worden constant gevonden en naarmate mensen meer vertrouwen en comfort krijgen met het gebruik van AI op de werkplek, is het bijna zeker dat we een brede adoptie van AI-gereedschap zullen zien in bijna elke bedrijfssector in de komende jaren.