ChatGPT & Geavanceerde Prompt Engineering: De AI-Evolutie Aandrijven

OpenAI heeft een belangrijke rol gespeeld bij de ontwikkeling van revolutionaire tools zoals de OpenAI Gym, die is ontworpen voor het trainen van versterkingsalgoritmen, en GPT-n-modellen. De aandacht is ook gericht op DALL-E, een AI-model dat afbeeldingen maakt vanuit tekstuele invoer. Een van de modellen die aanzienlijke aandacht heeft gekregen, is OpenAI’s ChatGPT, een uitstekend voorbeeld in het domein van Large Language Models.

GPT-4: Prompt Engineering

ChatGPT heeft het chatbot-landschap getransformeerd, door mensachtige antwoorden te bieden op gebruikersinvoer en zijn toepassingen uit te breiden over domeinen – van softwareontwikkeling en -testen tot bedrijfscommunicatie en zelfs het creëren van poëzie.

In de handen van bedrijven en individuen kan GPT-4, bijvoorbeeld, dienen als een onuitputtelijke kennisreservoir, bedreven in onderwerpen die variëren van wiskunde en biologie tot rechtsstudies. Dergelijke geavanceerde en toegankelijke AI-modellen zijn klaar om de toekomst van werk, leren en creativiteit te herschrijven.

Generatieve modellen zoals GPT-4 kunnen nieuwe gegevens produceren op basis van bestaande invoer. Deze onderscheidende eigenschap stelt hen in staat om diverse taken uit te voeren, waaronder het genereren van tekst, afbeeldingen, muziek en video.

In de context van ChatGPT en OpenAI-modellen is een prompt de invoer die gebruikers aan de modellen verstrekken, meestal in de vorm van tekst. Prompts dienen als de primaire middelen voor het controleren van de door deze modellen gegenereerde output, waardoor ze cruciaal zijn voor succesvolle en relevante conversaties.

Het Effect van Promptkwaliteit

Het gebruik van goed gedefinieerde prompts is de sleutel tot het voeren van nuttige en zinvolle conversaties met AI-systemen. Slecht gedefinieerde prompts kunnen leiden tot output die niet behulpzaam is voor de gebruiker en zelfs tot misleidende inhoud kunnen leiden.

Om het effect van promptkwaliteit te demonstreren, laten we twee verschillende prompts vergelijken die aan ChatGPT zijn gegeven. De eerste prompt, slecht gedefinieerd en met de veronderstelling van voorafgaande kennis, genereert een potentieel niet behulpzaam antwoord voor de gebruiker. Aan de andere kant biedt de tweede prompt meer context en voorbeelden, waardoor een meer relevante en begrijpelijke reactie wordt gegarandeerd.

Prompt 1: “Vertel me over Convolutional Neural Networks.”

Antwoord 1: “Convolutional Neural Networks (CNN’s) zijn multi-laag perceptron-netwerken die bestaan uit volledig verbonden lagen en poolinglagen. Ze worden vaak gebruikt in beeldherkennings taken. Het proces omvat het toepassen van filters op invoerbeelden en het downscalen ervan met behulp van poolinglagen.”

Prompt 2: “Ik wil leren over Convolutional Neural Networks, maar ik heb geen voorafgaande kennis van Artificial Neural Networks. Kun je me alsjeblieft een beginnersvriendelijke verklaring geven en een voorbeeld van hoe CNN’s worden gebruikt in beeldherkenning?”

Antwoord 2: “Convolutional Neural Networks (CNN’s) zijn een type neurale netwerk dat voornamelijk wordt gebruikt voor beeldherkennings taken. In tegenstelling tot andere neurale netwerken, maken ze gebruik van convolutionele lagen en poolinglagen om beelden te verwerken. Stel je voor dat je een afbeelding van een kat hebt. CNN’s kunnen verschillende kenmerken in de afbeelding identificeren, zoals snorharen, oren en staart, door filters toe te passen en de afbeelding down te scalen met behulp van poolinglagen. Dit proces maakt CNN’s zeer effectief voor het herkennen van objecten in afbeeldingen.”

Door de twee antwoorden te vergelijken, is het duidelijk dat een goed gedefinieerde prompt leidt tot een meer relevante en gebruikersvriendelijke reactie. Promptontwerp en -engineering zijn groeiende disciplines die gericht zijn op het optimaliseren van de outputkwaliteit van AI-modellen zoals ChatGPT.

In de volgende secties van dit artikel zullen we dieper ingaan op de domeinen van geavanceerde methodologieën gericht op het verfijnen van Large Language Models (LLM’s), zoals promptengineeringtechnieken en -tactieken. Deze omvatten few-shot learning, ReAct, chain-of-thought, RAG en meer.

Geavanceerde Engineeringtechnieken

Voordat we verdergaan, is het belangrijk om een cruciaal probleem met LLM’s te begrijpen, aangeduid als ‘hallucinatie’. In de context van LLM’s houdt ‘hallucinatie’ de neiging van deze modellen in om output te genereren die redelijk lijkt, maar niet gebaseerd is op feitelijke realiteit of de gegeven invoercontext.

Dit probleem werd scherp onderstreept in een recente rechtszaak waarin een verdedigingsadvocaat ChatGPT voor juridisch onderzoek gebruikte. Het AI-hulpmiddel, dat faalde vanwege zijn hallucinatieprobleem, citeerde niet-bestaande juridische zaken. Deze misstap had significante gevolgen, waardoor verwarring ontstond en geloofwaardigheid tijdens de procedure werd ondermijnd. Dit incident dient als een scherpe herinnering aan de dringende noodzaak om het ‘hallucinatie’-probleem in AI-systemen aan te pakken.

Onze verkenning van promptengineeringtechnieken is gericht op het verbeteren van deze aspecten van LLM’s. Door hun efficiëntie en veiligheid te verbeteren, banen we de weg voor innovatieve toepassingen zoals informatie-extractie. Bovendien opent dit deuren naar het naadloos integreren van LLM’s met externe tools en gegevensbronnen, waardoor hun potentiële toepassingen worden uitgebreid.

Nul- en Weinschotsleren: Optimaliseren met Voorbeelden

Generatieve Pregetrainde Transformatoren (GPT-3) markeerden een belangrijke mijlpaal in de ontwikkeling van Generatieve AI-modellen, aangezien ze het concept van ‘weinschotsleren‘ introduceerden. Deze methode was een game-changer vanwege haar vermogen om effectief te functioneren zonder de noodzaak voor uitgebreide fine-tuning. Het GPT-3-kader wordt besproken in het artikel “Language Models zijn Weinschotsleren“, waarin de auteurs demonstreren hoe het model uitblinkt in diverse use-cases zonder de noodzaak voor aangepaste datasets of code.

In tegenstelling tot fine-tuning, dat voortdurende inspanning vereist om verschillende use-cases op te lossen, tonen weinschotsmodellen een grotere aanpasbaarheid aan een bredere reeks toepassingen. Hoewel fine-tuning in sommige gevallen robuuste oplossingen kan bieden, kan het op grote schaal duur zijn, waardoor het gebruik van weinschotsmodellen een meer praktische aanpak is, vooral wanneer geïntegreerd met promptengineering.

Stel je voor dat je Engels naar Frans wilt vertalen. Bij weinschotsleren zou je GPT-3 enkele vertaalvoorbeelden geven, zoals “sea otter -> loutre de mer”. GPT-3, als geavanceerd model, kan dan nauwkeurige vertalingen blijven geven. Bij nul-schotsleren zou je geen voorbeelden geven, en GPT-3 zou nog steeds effectief Engels naar Frans kunnen vertalen.

De term ‘weinschotsleren’ komt voort uit het idee dat het model een beperkt aantal voorbeelden krijgt om ‘van te leren’. Het is belangrijk op te merken dat ‘leren’ in deze context niet het updaten van het modelparameters of -gewichten inhoudt, maar eerder de prestaties van het model beïnvloedt.

Weinschotsleren zoals Gedemonstreerd in GPT-3 Artikel

Nul-schotsleren zet deze concepten nog een stap verder. Bij nul-schotsleren worden geen voorbeelden van taakvoltooiing verstrekt in het model. Het model wordt verwacht om goed te presteren op basis van zijn initiële training, waardoor deze methode ideaal is voor open-domein vraagbeantwoordingsscenario’s zoals ChatGPT.

In veel gevallen kan een model dat bedreven is in nul-schotsleren goed presteren wanneer het wordt voorzien van weinig- of zelfs enkele voorbeelden. Deze capaciteit om te schakelen tussen nul-, enkel- en weinschotslerenscenario’s onderstreept de aanpasbaarheid van grote modellen, waardoor hun potentiële toepassingen over verschillende domeinen worden uitgebreid.

Nul-schotslerenmethoden worden steeds vaker gebruikt. Deze methoden worden gekenmerkt door hun vermogen om objecten te herkennen die niet tijdens de training zijn gezien. Hier is een praktisch voorbeeld van een Weinschotsprompt:

Vertaal de volgende Engelse zinnen naar Frans:

'sea otter' vertaalt naar 'loutre de mer'
'sky' vertaalt naar 'ciel'
'Wat is de vertaling van 'cloud' in het Frans?'"

Door het model enkele voorbeelden te geven en vervolgens een vraag te stellen, kunnen we het model effectief leiden om de gewenste output te genereren. In dit geval zou GPT-3 waarschijnlijk correct ‘cloud’ naar ‘nuage’ in het Frans vertalen.

We zullen dieper ingaan op de nuances van promptengineeringtechnieken en hun essentiële rol bij het optimaliseren van modelprestaties tijdens inferentie. We zullen ook kijken naar hoe ze effectief kunnen worden gebruikt om kosteneffectieve en schaalbare oplossingen te creëren over een breed scala aan use-cases.

Terwijl we verder gaan met de complexiteit van promptengineeringtechnieken in GPT-modellen, is het belangrijk om onze vorige publicatie ‘Essentiële Gids voor Prompt Engineering in ChatGPT‘ te benadrukken. Deze gids biedt inzichten in strategieën voor het effectief instrueren van AI-modellen over een breed scala aan use-cases.

In onze vorige discussies zijn we ingegaan op fundamentele promptmethoden voor grote taalmodellen (LLM’s) zoals nul- en weinschotsleren, evenals instructieprompting. Het beheersen van deze technieken is cruciaal voor het navigeren van de complexere uitdagingen van promptengineering die we hier zullen onderzoeken.

Weinschotsleren kan beperkt zijn vanwege de beperkte contextwindow van de meeste LLM’s. Bovendien kunnen LLM’s, zonder de juiste waarborgen, worden misleid om potentieel schadelijke output te produceren. Veel modellen hebben ook moeite met redenetaak of het volgen van multi-stap instructies.

Gezien deze beperkingen ligt de uitdaging in het benutten van LLM’s om complexe taken aan te pakken. Een voor de hand liggende oplossing zou zijn om geavanceerdere LLM’s te ontwikkelen of bestaande modellen te verfijnen, maar dat zou aanzienlijke inspanning kunnen vergen. Dus rijst de vraag: hoe kunnen we bestaande modellen optimaliseren voor verbeterde probleemoplossing?

Even fascinerend is de verkenning van hoe deze techniek interfaces met creatieve toepassingen in Unite AI’s ‘Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering‘ die beschrijft hoe de fusie van kunst en AI kan leiden tot verbluffende kunst.

Chain-of-thought Prompting

Chain-of-thought prompting benut de inherente auto-regressieve eigenschappen van grote taalmodellen (LLM’s), die uitblinken in het voorspellen van het volgende woord in een gegeven sequentie. Door een model aan te zetten om zijn denkproces te verklaren, induceert het een meer grondige, methodische generatie van ideeën, die de neiging heeft om nauwkeurige informatie te benaderen. Deze afstemming komt voort uit de neiging van het model om informatie te verwerken en te leveren op een wijze die doordacht en geordend is, vergelijkbaar met een menselijke expert die een luisteraar door een complex concept loodst. Een eenvoudige verklaring als “loop me stap voor stap door hoe om…” is vaak voldoende om deze meer uitgebreide, gedetailleerde output te activeren.

Nul-schots Chain-of-thought Prompting

Terwijl conventionele CoT-prompting demonstraties vereist, is een opkomend gebied nul-schots CoT-prompting. Deze aanpak, geïntroduceerd door Kojima et al. (2022), voegt innovatief de zin “Laten we stap voor stap nadenken” toe aan de oorspronkelijke prompt.

Laten we een geavanceerde prompt creëren waarin ChatGPT wordt opgedragen om belangrijke punten samen te vatten uit AI- en NLP-onderzoeksartikelen.

In deze demonstratie zullen we het vermogen van het model gebruiken om complexe informatie uit academische teksten te begrijpen en samen te vatten. Met behulp van de weinschotslerenbenadering zullen we ChatGPT leren om belangrijke bevindingen samen te vatten uit AI- en NLP-onderzoeksartikelen:

1. Artikel Titel: "Attention Is All You Need"
Belangrijkste Punt: Het introduceren van het transformermodel, met de nadruk op de belangrijkheid van aandachtmechanismen boven recursieve lagen voor sequentietransductietaken.

2. Artikel Titel: "BERT: Pre-training van Diepe Bidirectionele Transformatoren voor Taalbegrip"
Belangrijkste Punt: Het introduceren van BERT, waarin de effectiviteit van het pre-trainen van diepe bidirectionele modellen wordt aangetoond, waardoor state-of-the-artresultaten op diverse NLP-taken worden behaald.

Nu, met de context van deze voorbeelden, vat de belangrijkste bevindingen samen uit het volgende artikel:

Artikel Titel: "Prompt Engineering in Large Language Models: Een Onderzoek"

Deze prompt behoudt niet alleen een duidelijke denkreeks, maar maakt ook gebruik van een weinschotslerenbenadering om het model te leiden. Het verbindt zich met onze trefwoorden door te focussen op de AI- en NLP-domeinen, waarbij ChatGPT specifiek wordt opgedragen om een complexe operatie uit te voeren die verband houdt met promptengineering: het samenstellen van onderzoeksartikelen.

ReAct Prompt

ReAct, of “Reden en Handelen”, werd geïntroduceerd door Google (GOOGL ) in het artikel “ReAct: Synergiseren van Reden en Handelen in Taalmodellen“, en revolutioneerde de manier waarop taalmodellen met een taak omgaan, door het model aan te zetten om zowel verbale redenatraceringen als taakspecifieke acties dynamisch te genereren.

Stel je voor dat je een menselijke chef in de keuken hebt: hij voert niet alleen een reeks acties uit (groenten snijden, water koken, ingrediënten roeren) maar is ook betrokken bij verbale redenatracering of innerlijke spraak (“nu de groenten zijn gesneden, moet ik de pan op het fornuis zetten”). Deze voortdurende mentale dialoog helpt bij het strategiseren van het proces, het aanpassen aan plotselinge veranderingen (“ik ben zonder olijfolie, ik zal boter gebruiken”) en het onthouden van de taakvolgorde. ReAct imiteert deze menselijke capaciteit, waardoor het model snel nieuwe taken kan leren en robuuste beslissingen kan nemen, net als een mens zou doen onder nieuwe of onzekere omstandigheden.

ReAct kan hallucinatie aanpakken, een veelvoorkomend probleem met Chain-of-Thought (CoT)-systemen. CoT, hoewel een effectieve techniek, ontbreekt de capaciteit om met de externe wereld te interageren, wat potentieel kan leiden tot feit-hallucinatie en foutpropagatie. ReAct compenseert hiervoor door interactie met externe informatiebronnen. Deze interactie stelt het systeem in staat om niet alleen zijn redenatracering te valideren, maar ook zijn kennis bij te werken op basis van de meest recente informatie uit de externe wereld.

Het fundamentele functioneren van ReAct kan worden uitgelegd met een voorbeeld uit HotpotQA, een taak die hoge-orde redenatracering vereist. Bij het ontvangen van een vraag, breekt het ReAct-model de vraag af in beheersbare delen en creëert een actieplan. Het model genereert een redenatracering (gedachte) en identificeert een relevante actie. Het kan besluiten om informatie over de Apple (AAPL ) Remote op te zoeken in een externe bron, zoals Wikipedia (actie), en werkt zijn begrip bij op basis van de verkregen informatie (observatie). Door meerdere gedachte-actie-observatiestappen kan ReAct informatie ophalen om zijn redenatracering te ondersteunen en verfijnen wat het nodig heeft om vervolgens op te halen.

Opmerking:

HotpotQA is een dataset, afgeleid van Wikipedia, bestaande uit 113k vraag-antwoordparen, ontworpen om AI-systemen te trainen in complexe redenatracering, aangezien vragen redenatracering over meerdere documenten vereisen om te beantwoorden. Aan de andere kant is CommonsenseQA 2.0, opgebouwd door gamificatie, inclusief 14.343 ja/nee-vragen en ontworpen om de kennis van AI over algemene zin te testen, aangezien de vragen zijn gemaakt om AI-modellen te misleiden.

Het proces kan er als volgt uitzien:

1. Gedachte: “Ik moet zoeken naar de Apple Remote en zijn compatibele apparaten.”
2. Actie: Zoekt “Apple Remote compatibele apparaten” op in een externe bron.
3. Observatie: Verkrijgt een lijst van apparaten die compatibel zijn met de Apple Remote uit de zoekresultaten.
4. Gedachte: “Op basis van de zoekresultaten zijn er meerdere apparaten, naast de Apple Remote, die het programma waarvoor het oorspronkelijk was ontworpen kunnen bedienen.”

Het resultaat is een dynamisch, redenatracering-gebaseerd proces dat kan evolueren op basis van de informatie waarmee het interageert, leidend tot meer accurate en betrouwbare reacties.

Vergelijkende visualisatie van vier promptmethoden – Standaard, Chain-of-Thought, Act-Only en ReAct, in het oplossen van HotpotQA en AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Het ontwerpen van ReAct-agents is een gespecialiseerde taak, gezien hun vermogen om complexe doelen te bereiken. Bijvoorbeeld, een conversatieagent, gebouwd op het basis-ReAct-model, integreert conversatiememory om rijkere interacties te bieden. Echter, de complexiteit van deze taak wordt vereenvoudigd door tools zoals Langchain, die de standaard zijn geworden voor het ontwerpen van deze agents.

Context-getrouwe Prompting

Het artikel ‘Context-getrouwe Prompting voor Large Language Models‘ benadrukt dat, hoewel LLM’s aanzienlijk succes hebben getoond in kennisgedreven NLP-taken, hun overmatige afhankelijkheid van parametrische kennis kan leiden tot afwijkingen in contextgevoelige taken. Bijvoorbeeld, wanneer een taalmodel is getraind op verouderde feiten, kan het onjuiste antwoorden produceren als het contextuele aanwijzingen negeert.

Dit probleem is duidelijk in gevallen van kennisconflict, waar de context feiten bevat die afwijken van de voorafgaande kennis van de LLM. Overweeg een situatie waarin een Large Language Model (LLM), getraind op data voor de WK 2022, een context krijgt die aangeeft dat Frankrijk het toernooi heeft gewonnen. De LLM, die vertrouwt op zijn voorafgaande kennis, blijft echter volhouden dat de vorige winnaar, d.w.z. het team dat in 2018 won, nog steeds de regerend kampioen is. Dit toont een klassiek geval van ‘kennisconflict’.

In wezen ontstaat kennisconflict in een LLM wanneer nieuwe informatie in de context de voorafgaande kennis van het model tegenspreekt. De neiging van het model om te vertrouwen op zijn voorafgaande training in plaats van de nieuw verstrekte context kan leiden tot onjuiste output. Aan de andere kant is hallucinatie in LLM’s de generatie van reacties die plausibel lijken maar niet zijn gebaseerd op de trainingsdata van het model of de verstrekte context.

Een ander probleem doet zich voor wanneer de verstrekte context niet voldoende informatie bevat om een vraag nauwkeurig te beantwoorden, een situatie bekend als voorspelling met onthouding. Als een LLM bijvoorbeeld wordt gevraagd naar de oprichter van Microsoft (MSFT ) op basis van een context die deze informatie niet verstrekt, zou het idealiter moeten afzien van gokken.

Meer Kennisconflict en de Kracht van Onthouding Voorbeelden

Om de contextuele getrouwheid van LLM’s in deze scenario’s te verbeteren, hebben onderzoekers een reeks promptstrategieën voorgesteld. Deze strategieën zijn gericht op het maken van de reacties van LLM’s meer afgestemd op de context dan op hun ingebouwde kennis.

Een van deze strategieën is om prompts te formuleren als mening-gebaseerde vragen, waarbij de context wordt geïnterpreteerd als een verklaring van de verteller, en de vraag betrekking heeft op deze verklaring. Deze aanpak richt de aandacht van de LLM op de gepresenteerde context in plaats van terug te vallen op zijn voorafgaande kennis.

Het toevoegen van tegenfeitelijke demonstraties aan prompts is ook geïdentificeerd als een effectieve manier om getrouwheid te verhogen in gevallen van kennisconflict. Deze demonstraties presenteren scenario’s met valse feiten, die het model aanzetten om nauwkeuriger te letten op de context om accurate antwoorden te geven.

Instructie Fijntuning

Instructie fijntuning is een gefaseerde leerfase die profiteert van het verstrekken van specifieke instructies aan het model, zoals “Leg het onderscheid uit tussen zonsopgang en zonsondergang.” De instructie wordt gepaard met een passend antwoord, zoals “Een zonsopgang verwijst naar het moment waarop de zon boven de horizon verschijnt in de ochtend, terwijl een zonsondergang de tijd aangeeft wanneer de zon onder de horizon verdwijnt in de avond.” Door deze methode leert het model effectief hoe het instructies moet opvolgen en uitvoeren.

Deze aanpak heeft een significante invloed op het proces van het aanzetten van LLM’s, wat leidt tot een radicale verschuiving in de promptstijl. Een instructie-gefijnde LLM staat onmiddellijke uitvoering van nul-schots taken toe, waardoor een naadloze taakuitvoering mogelijk wordt. Als het LLM nog niet is gefijntuned, kan een weinschotslerenbenadering vereist zijn, waarbij enkele voorbeelden in uw prompt worden opgenomen om het model te leiden naar de gewenste reactie.

“Instructie Fijntuning met GPT-4 bespreekt de poging om GPT-4 te gebruiken om instructie-volgende gegevens te genereren voor het fijntunen van LLM’s. Zij gebruikten een rijke dataset, bestaande uit 52.000 unieke instructie-volgende entries in zowel Engels als Chinees.

De dataset speelt een cruciale rol in instructie fijntuning LLaMA-modellen, een open-source reeks LLM’s, resulterend in verbeterde nul-schotsprestaties op nieuwe taken. Opmerkelijke projecten zoals Stanford Alpaca hebben effectief gebruik gemaakt van Self-Instruct fijntuning, een efficiënte methode om LLM’s af te stemmen op menselijke intentie, door gebruik te maken van gegevens gegenereerd door geavanceerde instructie-gefijnde teachermodellen.

Het primaire doel van instructie fijntuning onderzoek is om de nul- en weinschots generalisatiecapaciteiten van LLM’s te verbeteren. Verdere gegevens- en modelvergroting kunnen waardevolle inzichten bieden. Met de huidige GPT-4 gegevensgrootte van 52K en de basis LLaMA-modelgrootte van 7 miljard parameters, is er enorm potentieel om meer GPT-4 instructie-volgende gegevens te verzamelen en te combineren met andere gegevensbronnen, leidend tot de training van grotere LLaMA-modellen voor superieure prestaties.

STaR: Bootstrapping Redenatracering met Redenatracering

Het potentieel van LLM’s is bijzonder zichtbaar in complexe redenatraceringstaken zoals wiskunde of algemene zin vraagbeantwoording. Echter, het proces van het aanzetten van een taalmodel om rationales te genereren – een reeks stap-voor-stap rechtvaardigingen of “chain-of-thought” – heeft zijn eigen set van uitdagingen. Het vereist vaak de constructie van grote rationale-datasets of een offer in nauwkeurigheid vanwege de afhankelijkheid van alleen weinschotsinferentie.

“Self-Taught Reasoner” (STaR) biedt een innovatieve oplossing voor deze uitdagingen. Het gebruikt een eenvoudige lus om continu de redenatraceringcapaciteit van een model te verbeteren. Deze iteratieve proces begint met het genereren van rationales om meerdere vragen te beantwoorden met behulp van enkele rationele voorbeelden. Als de gegenereerde antwoorden onjuist zijn, probeert het model opnieuw om een rationale te genereren, deze keer met het correcte antwoord. Het model wordt vervolgens gefijntuned op alle rationales die leidden tot correcte antwoorden, en het proces herhaalt zich.

STaR methodologie, demonstrerend zijn fijntuningslus en een voorbeeld van rationale generatie op CommonsenseQA dataset (https://arxiv.org/pdf/2203.14465.pdf)

Om dit te illustreren met een praktisch voorbeeld, overweeg de vraag “Wat kan worden gebruikt om een kleine hond te dragen?” met antwoordopties variërend van een zwembad tot een mand. Het STaR-model genereert een rationale, identificeert dat het antwoord iets moet zijn dat een kleine hond kan dragen, en komt tot de conclusie dat een mand, ontworpen om dingen te dragen, het correcte antwoord is.

STaR’s aanpak is uniek in die zin dat het de voorafgaande redenatraceringcapaciteit van de taalmodellen benut. Het gebruikt een proces van zelfgeneratie en verfijning van rationales, waarbij het model zijn redenatraceringcapaciteiten iteratief bootstrapt. Echter, STaR’s lus heeft zijn beperkingen. Het model kan falen om nieuwe problemen in de trainingsset op te lossen omdat het geen directe trainsignalen ontvangt voor problemen die het niet kan oplossen. Om dit probleem aan te pakken, introduceert STaR rationalisatie. Voor elk probleem dat het model niet correct kan beantwoorden, genereert het een nieuwe rationale door het model de correcte antwoord te geven, waardoor het model kan redeneren naar achteren.

STaR staat dus als een schaalbare bootstrappingmethode die modellen in staat stelt om hun eigen rationales te leren genereren en tegelijkertijd moeilijker problemen op te lossen. De toepassing van STaR heeft veelbelovende resultaten getoond in taken zoals arithmetica, wiskundige woordproblemen en algemene zin redenatracering. Op CommonsenseQA heeft STaR de weinschotsbaseline en een baseline die rechtstreeks is gefijntuned om antwoorden te voorspellen overtroffen en heeft het vergelijkbaar gepresteerd met een model dat 30× groter is.

Getagde Context Prompts

Het concept van ‘Getagde Context Prompts‘ draait om het verstrekken van een extra laag context aan het AI-model door bepaalde informatie in de invoer te taggen. Deze tags fungeren als richtlijnen voor de AI, waardoor het model de context nauwkeurig kan interpreteren en een reactie kan genereren die zowel relevant als feitelijk is.

Stel je voor dat je een gesprek voert met een vriend over een bepaald onderwerp, laten we zeggen ‘schaken’. Je maakt een verklaring en tagt deze vervolgens met een verwijzing, zoals ‘(bron: Wikipedia)’. Nu weet je vriend, die in dit geval het AI-model is, precies waar je informatie vandaan komt. Deze aanpak is gericht op het maken van de reacties van de AI meer betrouwbaar door het risico van hallucinaties, of het genereren van valse feiten, te verminderen.

Een uniek aspect van getagde context prompts is hun potentieel om de ‘contextuele intelligentie’ van AI-modellen te verbeteren. Bijvoorbeeld, het artikel demonstreert dit met een diverse set vragen die zijn geëxtraheerd uit meerdere bronnen, zoals samengevatte Wikipedia-artikelen over verschillende onderwerpen en secties uit een onlangs gepubliceerde boek. De vragen zijn getagd, waardoor het AI-model extra context krijgt over de bron van de informatie.

Deze extra laag context kan buitengewoon nuttig zijn bij het genereren van reacties die niet alleen nauwkeurig zijn, maar ook de context volgen, waardoor de output van de AI meer betrouwbaar wordt.

Conclusie: Een Blik in Beloftevolle Technieken en Toekomstige Richtingen

OpenAI’s ChatGPT toont het ongekende potentieel van Large Language Models (LLM’s) in het aanpakken van complexe taken met opmerkelijke efficiëntie. Geavanceerde technieken zoals weinschotsleren, ReAct-prompting, chain-of-thought en STaR stellen ons in staat om dit potentieel te benutten over een breed scala aan toepassingen. Terwijl we dieper ingaan op de nuances van deze methodologieën, ontdekken we hoe ze het landschap van AI vormgeven, rijkere en veiligere interacties tussen mensen en machines biedend.

Ondanks uitdagingen zoals kennisconflict, overmatige afhankelijkheid van parametrische kennis en het potentieel voor hallucinatie, hebben deze AI-modellen, met de juiste promptengineering, zich bewezen als transformatieve tools. Instructie fijntuning, context-getrouwe prompting en integratie met externe gegevensbronnen verhogen hun capaciteit om te redeneren, te leren en aan te passen nog verder.