Zal GPT-4 ons dichter bij een echte AI-revolutie brengen?

Het is bijna drie jaar geleden dat GPT-3 werd geïntroduceerd, in mei 2020. Sindsdien heeft het AI-tekstgeneratiemodel veel interesse gewekt vanwege zijn vermogen om tekst te creëren die eruitziet en klinkt alsof hij door een mens is geschreven. Nu lijkt het erop dat de volgende iteratie van de software, GPT-4, eraan komt, met een geschatte releasedatum van ergens in het begin van 2023.

Ondanks de hoge verwachtingen rondom dit AI-nieuws, zijn de exacte details over GPT-4 nogal schaars. OpenAI, het bedrijf achter GPT-4, heeft niet veel informatie over het nieuwe model vrijgegeven, zoals zijn functies of mogelijkheden. Desondanks kunnen recente vooruitgang in het veld van AI, met name op het gebied van Natural Language Processing (NLP), enkele aanwijzingen geven over wat we kunnen verwachten van GPT-4.

Wat is GPT?

Voordat we in de specifics duiken, is het handig om eerst een basis te leggen over wat GPT is. GPT staat voor Generative Pre-trained Transformer en verwijst naar een diep lerend neurale netwerkmodel dat getraind is op data van het internet om grote hoeveelheden machine-generateerde tekst te creëren. GPT-3 is de derde generatie van deze technologie en is een van de meest geavanceerde AI-tekstgeneratiemodellen die momenteel beschikbaar zijn.

Denk aan GPT-3 als een soort spraakassistent, zoals Siri of Alexa, maar dan op een veel grotere schaal. In plaats van Alexa te vragen om je favoriete nummer te spelen of Siri te vragen om een tekstbericht te typen, kun je GPT-3 vragen om een hele eBook te schrijven in een paar minuten of 100 sociale mediaberichten te genereren in minder dan een minuut. Alles wat de gebruiker hoeft te doen, is een prompt te geven, zoals “Schrijf me een artikel van 500 woorden over het belang van creativiteit.” Zolang de prompt duidelijk en specifiek is, kan GPT-3 bijna alles schrijven wat je wilt.

Sinds de release van GPT-3 voor het grote publiek, heeft het veel zakelijke toepassingen gevonden. Bedrijven gebruiken het voor tekstsamenvatting, taalvertaling, codegeneratie en grootschalige automatisering van bijna elke schrijftaak.

Dat gezegd hebbende, is GPT-3 ondanks zijn indrukwekkende vermogen om mensachtige tekst te creëren, verre van perfect. Problemen doen zich voor wanneer hij wordt gevraagd om langere stukken te schrijven, vooral wanneer het gaat om complexe onderwerpen die inzicht vereisen. Bijvoorbeeld, een prompt om computercode te genereren voor een website kan correcte maar suboptimale code opleveren, dus een menselijke programmeur moet nog steeds ingrijpen om verbeteringen aan te brengen. Het is een soortgelijk probleem met grote tekstdocumenten: hoe groter de hoeveelheid tekst, hoe groter de kans dat er fouten optreden – soms grappige fouten – die door een menselijke schrijver moeten worden verbeterd.

Kortom, GPT-3 is geen complete vervanging voor menselijke schrijvers of programmeurs en moet dat ook niet worden. In plaats daarvan moet GPT-3 worden gezien als een schrijfassistent, die mensen veel tijd kan besparen wanneer ze ideeën voor blogberichten of ruwe schetsen voor advertentieteksten of persberichten moeten genereren.

Zijn meer parameters beter?

Een ding om te begrijpen over AI-modellen is hoe ze parameters gebruiken om voorspellingen te doen. De parameters van een AI-model definiëren het leerproces en bieden structuur voor de output. Het aantal parameters in een AI-model is over het algemeen gebruikt als een maatstaf voor de prestaties. Hoe meer parameters, hoe krachtiger, soepeler en voorspelbaarder het model is, althans volgens de scalinghypothese.

Als voorbeeld, toen GPT-1 in 2018 werd uitgebracht, had het 117 miljoen parameters. GPT-2, dat een jaar later werd uitgebracht, had 1,2 miljard parameters, terwijl GPT-3 het aantal nog verder verhoogde tot 175 miljard parameters. Volgens een interview met Wired in augustus 2021, zei Andrew Feldman, de oprichter en CEO van Cerebras, een bedrijf dat samenwerkt met OpenAI, dat GPT-4 ongeveer 100 biljoen parameters zou hebben. Dit zou GPT-4 100 keer krachtiger maken dan GPT-3, een kwantumsprong in parameters die begrijpelijkerwijs veel mensen erg enthousiast heeft gemaakt.

Er zijn echter goede redenen om aan te nemen dat GPT-4 in feite niet 100 biljoen parameters zal hebben. Hoe groter het aantal parameters, hoe duurder het model wordt om te trainen en af te stemmen vanwege de enorme hoeveelheden rekenkracht die nodig zijn.

Er zijn ook meer factoren dan alleen het aantal parameters dat bepaalt hoe effectief een model is. Neem bijvoorbeeld Megatron-Turing NLG, een tekstgeneratiemodel gebouwd door Nvidia en Microsoft, dat meer dan 500 miljard parameters heeft. Ondanks zijn grootte, komt MT-NLG niet in de buurt van GPT-3 qua prestaties. Kortom, groter betekent niet noodzakelijkerwijs beter.

Het is waarschijnlijk dat GPT-4 inderdaad meer parameters zal hebben dan GPT-3, maar het blijft te zien of dat aantal een orde van grootte hoger zal zijn. In plaats daarvan zijn er andere interessante mogelijkheden die OpenAI waarschijnlijk nastreeft, zoals een slanker model dat zich richt op kwalitatieve verbeteringen in algoritmeontwerp en alignering. De exacte impact van dergelijke verbeteringen is moeilijk te voorspellen, maar wat wel bekend is, is dat een spaarzaam model de rekenkosten kan verlagen door middel van zogenaamde conditionele berekening, d.w.z. niet alle parameters in het AI-model zullen constant branden, net zoals neuronen in de menselijke hersenen werken.

Wat zal GPT-4 kunnen doen?

Totdat OpenAI een nieuwe verklaring aflegt of GPT-4 uitbrengt, zijn we gedwongen om te speculeren over hoe het zal verschillen van GPT-3. Ongeacht, kunnen we enkele voorspellingen doen

Hoewel de toekomst van AI-diepe leerontwikkeling multimodaal is, zal GPT-4 waarschijnlijk alleen tekst blijven. Als mensen leven we in een multisensorele wereld die gevuld is met verschillende audio-, visuele en tekstuele inputs. Daarom is het onvermijdelijk dat AI-ontwikkeling uiteindelijk een multimodaal model zal produceren dat verschillende inputs kan incorporeren.

Een goed multimodaal model is echter aanzienlijk moeilijker te ontwerpen dan een tekst-only model. De technologie is er nog niet en op basis van wat we weten over de beperkingen op parameters, is het waarschijnlijk dat OpenAI zich richt op het uitbreiden en verbeteren van een tekst-only model.

Het is ook waarschijnlijk dat GPT-4 minder afhankelijk zal zijn van precieze prompting. Een van de nadelen van GPT-3 is dat tekstprompts zorgvuldig moeten worden geschreven om het gewenste resultaat te krijgen. Wanneer prompts niet zorgvuldig zijn geschreven, kan het eindresultaat onwaar, giftig of zelfs extremistische meningen weerspiegelen. Dit is onderdeel van wat bekend staat als het “alignementprobleem” en verwijst naar uitdagingen bij het creëren van een AI-model dat de bedoelingen van de gebruiker volledig begrijpt. Met andere woorden, het AI-model is niet afgestemd op de doelen of bedoelingen van de gebruiker. Aangezien AI-modellen worden getraind met tekstdatasets van het internet, is het heel gemakkelijk voor menselijke vooroordelen, leugens en voorkeuren om hun weg te vinden in de tekstuitvoer.

Er zijn echter goede redenen om aan te nemen dat ontwikkelaars vorderingen maken bij het oplossen van het alignementprobleem. Deze optimisme komt voort uit enkele doorbraken in de ontwikkeling van InstructGPT, een geavanceerdere versie van GPT-3 die is getraind op menselijke feedback om instructies en gebruikersintenties nauwer te volgen. Menselijke jury’s vonden dat InstructGPT veel minder afhankelijk was van goede prompting dan GPT-3.

Echter, moet worden opgemerkt dat deze tests alleen werden uitgevoerd met OpenAI-medewerkers, een vrij homogene groep die niet veel kan verschillen in geslacht, religie of politieke opvattingen. Het is waarschijnlijk een veilige weddenschap dat GPT-4 een meer diverse training zal ondergaan die de alignering voor verschillende groepen zal verbeteren, hoewel het nog te zien is in welke mate.

Zal GPT-4 mensen vervangen?

Ondanks de beloften van GPT-4, is het onwaarschijnlijk dat het volledig de behoefte aan menselijke schrijvers en programmeurs zal vervangen. Er moet nog veel werk worden gedaan aan alles, van parameters optimaliseren tot multimodaliteit tot alignering. Het kan wel eens vele jaren duren voordat we een tekstgenerator zien die een echt menselijk begrip van de complexiteiten en nuances van echte levenservaring kan bereiken.

Desondanks zijn er nog steeds goede redenen om enthousiast te zijn over de komst van GPT-4. Parameters optimaliseren – in plaats van alleen parameters te laten groeien – zal waarschijnlijk leiden tot een AI-model dat veel meer rekenkracht heeft dan zijn voorganger. En verbeterde alignering zal GPT-4 waarschijnlijk veel gebruikersvriendelijker maken.

Daarnaast zijn we nog maar aan het begin van de ontwikkeling en adoptie van AI-hulpmiddelen. Er worden constant meer gebruikscases voor de technologie gevonden, en naarmate mensen meer vertrouwen en comfort krijgen met het gebruik van AI op de werkplek, is het bijna zeker dat we een bredere adoptie van AI-hulpmiddelen zullen zien in bijna elke bedrijfssector in de komende jaren.