Analogische & Step-Back Prompting: Een duik in recente vooruitgang door Google DeepMind

Inleiding

Prompt engineering richt zich op het ontwikkelen van effectieve prompts om Large Language Models (LLM’s) zoals GPT-4 te leiden naar het genereren van gewenste antwoorden. Een goed ontworpen prompt kan het verschil maken tussen een vaag of onnauwkeurig antwoord en een precies, inzichtelijk antwoord.

In het bredere ecosysteem van AI is prompt engineering een van de methoden die worden gebruikt om meer accurate en contextueel relevante informatie uit taalmodellen te halen. Andere methoden omvatten technieken zoals few-shot learning, waarbij het model een paar voorbeelden krijgt om het te helpen bij het begrijpen van de taak, en fine-tuning, waarbij het model verder wordt getraind op een kleinere dataset om zijn antwoorden te specialiseren.

Google DeepMind (GOOGL ) heeft onlangs twee papers gepubliceerd die ingaan op prompt engineering en zijn potentieel om antwoorden op meerdere situaties te verbeteren.

Deze papers zijn onderdeel van de voortdurende exploratie in de AI-gemeenschap om te verfijnen en te optimaliseren hoe we communiceren met taalmodellen, en ze bieden nieuwe inzichten in het structureren van prompts voor betere queryafhandeling en database-interactie.

Dit artikel gaat dieper in op de details van deze onderzoeksrapporten, waarin de concepten, methodologieën en implicaties van de voorgestelde technieken worden uitgelegd, zodat ze toegankelijk zijn voor lezers met beperkte kennis van AI en NLP.

Paper 1: Large Language Models als Analogische Redeners

Het eerste paper, getiteld “Large Language Models als Analogische Redeners”, introduceert een nieuwe aanpak voor prompt engineering genaamd Analogical Prompting. De auteurs, Michihiro Yasunaga, Xinyun Chen en anderen, halen inspiratie uit analogische redenering – een cognitief proces waarbij mensen gebruikmaken van eerdere ervaringen om nieuwe problemen aan te pakken.

Sleutelconcepten en Methodologie

Analogical Prompting moedigt LLM’s aan om zelf relevante voorbeelden of kennis in context te genereren voordat ze een gegeven probleem oplossen. Deze aanpak elimineert de noodzaak voor gelabelde voorbeelden, waardoor het een meer algemene en gemakkelijke oplossing biedt, en past de gegenereerde voorbeelden aan elk specifiek probleem aan, waardoor het een meer adaptieve oplossing biedt.

Links: Traditionele methoden voor het geven van prompts aan LLM’s zijn afhankelijk van generieke invoer (0-shot CoT) of vereisen gelabelde voorbeelden (few-shot CoT). Rechts: De nieuwe aanpak moedigt LLM’s aan om zelf voorbeelden te creëren voordat ze een probleem oplossen, waardoor de noodzaak voor labeling wordt geëlimineerd en voorbeelden worden aangepast aan elk uniek probleem

Zelf gegenereerde Voorbeelden

De eerste techniek die in het paper wordt gepresenteerd, is zelf gegenereerde voorbeelden. Het idee is om de uitgebreide kennis die LLM’s hebben verworven tijdens hun training te gebruiken om hen te helpen bij het oplossen van nieuwe problemen. Het proces omvat het aanvullen van een doelprobleem met instructies die de model aanzetten om relevante problemen en oplossingen te herinneren of te genereren.

Als voorbeeld, gegeven een probleem, wordt de model geïnstrueerd om drie verschillende en relevante problemen te herinneren, ze te beschrijven en hun oplossingen uit te leggen. Dit proces is ontworpen om in één keer te worden uitgevoerd, waardoor de LLM zelf voorbeelden kan genereren en het initiële probleem naadloos kan oplossen. Het gebruik van ‘#’-symbolen in de prompts helpt bij het structureren van het antwoord, waardoor het meer georganiseerd en gemakkelijker voor de model wordt om te volgen.

Sleuteltechnische beslissingen die in het paper worden benadrukt, zijn de nadruk op het genereren van relevante en gevarieerde voorbeelden, de adoptie van een single-pass-aanpak voor meer gemak, en de bevinding dat het genereren van drie tot vijf voorbeelden de beste resultaten oplevert.

Zelf gegenereerde Kennis + Voorbeelden

De tweede techniek, zelf gegenereerde kennis + voorbeelden, wordt geïntroduceerd om uitdagingen aan te pakken in meer complexe taken, zoals codegeneratie. In deze scenario’s kunnen LLM’s te veel vertrouwen op lage voorbeelden en moeite hebben om te generaliseren bij het oplossen van het doelprobleem. Om dit te mitigeren, stellen de auteurs voor om de prompt te versterken met een aanvullende instructie die de model aanzet om kernconcepten in het probleem te identificeren en een tutorial of hoogwaardige samenvatting te bieden.

Een kritische overweging is de volgorde waarin kennis en voorbeelden worden gegenereerd. De auteurs vonden dat het genereren van kennis voordat voorbeelden worden gegenereerd, tot betere resultaten leidt, omdat het de LLM helpt om te focussen op de fundamentele probleemoplossingsbenaderingen in plaats van alleen oppervlakkige overeenkomsten.

Voordelen en Toepassingen

De analogische prompting-aanpak biedt verschillende voordelen. Het biedt gedetailleerde voorbeelden van redenering zonder de noodzaak voor handmatige labeling, waardoor uitdagingen worden aangepakt die verbonden zijn aan 0-shot en few-shot chain-of-thought (CoT)-methoden. Bovendien zijn de gegenereerde voorbeelden aangepast aan individuele problemen, waardoor ze meer relevante richtlijnen bieden dan traditionele few-shot CoT, die vaste voorbeelden gebruikt.

Het paper demonstreert de effectiviteit van deze aanpak over verschillende redeneringstaken, waaronder wiskundig probleemoplossen, codegeneratie en andere redeneringstaken in BIG-Bench.

Prestatie op wiskundige taken, GSM8K en MATH

In de tweede tabel toont “Zelf gegenereerde Kennis + Voorbeelden” de beste prestatie voor modellen GPT3.5-turbo-16k en GPT4.

Prestatie op Codeforces codegeneratietaken

Paper 2: Een Stap Terug: Redenering via Abstrahering in Large Language Models

Overzicht

Het tweede paper, “Een Stap Terug: Redenering via Abstrahering in Large Language Models” presenteert Step-Back Prompting, een techniek die LLM’s aanmoedigt om hoogwaardige concepten en eerste principes af te leiden uit gedetailleerde instanties. De auteurs, Huaixiu Steven Zheng, Swaroop Mishra en anderen, hebben als doel de redeneringsvaardigheden van LLM’s te verbeteren door hen te leiden om een correcte redeneringspad naar de oplossing te volgen.

STEP-BACK PROMPTING via twee fasen van Abstrahering en Redenering, gestuurd door sleutelconcepten en principes.

Laten we een eenvoudiger voorbeeld maken met een basiswiskundevraag om de “Stepback Question”-techniek te demonstreren:

Oorspronkelijke Vraag: Als een trein met een snelheid van 60 km/h reist en een afstand van 120 km aflegt, hoe lang duurt het?

Opties:

3 uur
2 uur
1 uur
4 uur
Oorspronkelijk Antwoord [Onjuist]: Het correcte antwoord is 1).

Stepback Vraag: Wat is de basisformule om tijd te berekenen gegeven snelheid en afstand?

Principes:
Om tijd te berekenen, gebruiken we de formule:
Tijd = Afstand / Snelheid

Definitief Antwoord:
Met behulp van de formule, Tijd = 120 km / 60 km/h = 2 uur.
Het correcte antwoord is 2) 2 uur.

Hoewel LLM’s tegenwoordig deze vraag gemakkelijk kunnen beantwoorden, is dit voorbeeld alleen bedoeld om te demonstreren hoe de stepback-techniek zou werken. Voor meer uitdagende scenario’s kan dezelfde techniek worden toegepast om het probleem systematisch te ontmantelen en aan te pakken. Hieronder wordt een meer complex geval gedemonstreerd in het paper:

STEP-BACK PROMPTING op MMLU-Chemistry dataset

Sleutelconcepten en Methodologie

De essentie van Step-Back Prompting ligt in zijn vermogen om LLM’s een metaforische stap terug te laten zetten, waardoor ze worden aangemoedigd om naar het grotere plaatje te kijken in plaats van te verdwalen in de details. Dit wordt bereikt door een reeks zorgvuldig ontworpen prompts die LLM’s leiden om informatie te abstraheren, hoogwaardige concepten af te leiden en deze concepten toe te passen om het gegeven probleem op te lossen.

Het proces begint met het aanzetten van de LLM om details af te leiden uit de gegeven instanties, waardoor het wordt aangemoedigd om te focussen op de onderliggende concepten en principes. Deze stap is cruciaal, omdat het de basis legt voor de LLM om het probleem vanuit een meer geïnformeerd en principieel perspectief aan te pakken.

Als de hoogwaardige concepten eenmaal zijn afgeleid, worden ze gebruikt om de LLM door de redeneringsstappen naar de oplossing te leiden. Deze leiding zorgt ervoor dat de LLM op het juiste spoor blijft, waardoor het een logische en coherente route volgt die is gebaseerd op de geabstraheerde concepten en principes.

De auteurs voeren een reeks experimenten uit om de effectiviteit van Step-Back Prompting te valideren, waarbij ze PaLM-2L-modellen gebruiken over een reeks uitdagende redeneringstaken. Deze taken omvatten STEM-problemen, Knowledge QA en Multi-Hop Reasoning, waardoor een uitgebreide testomgeving wordt geboden voor het evalueren van de techniek.

Substantiële Verbeteringen over Taken

De resultaten zijn indrukwekkend, met Step-Back Prompting die leidt tot aanzienlijke prestatieverbeteringen over alle taken. Als voorbeeld verbetert de techniek de prestatie van PaLM-2L op MMLU Physics en Chemistry met 7% en 11%, respectievelijk. Vergelijkbaar verhoogt het de prestatie op TimeQA met 27% en op MuSiQue met 7%.

Prestatie van STEP-BACK PROMPTING vs CoT

Deze resultaten onderstrepen het potentieel van Step-Back Prompting om de redeneringsvaardigheden van LLM’s aanzienlijk te verbeteren.

Conclusie

Beide papers van Google DeepMind presenteren innovatieve benaderingen van prompt engineering, met als doel de redeneringscapaciteiten van large language models te verbeteren. Analogical Prompting maakt gebruik van het concept van analogische redenering, waardoor modellen worden aangemoedigd om zelf voorbeelden en kennis te genereren, wat leidt tot meer adaptieve en efficiënte probleemoplossing. Aan de andere kant richt Step-Back Prompting zich op abstrahering, waardoor modellen worden geleid om hoogwaardige concepten en principes af te leiden, wat hun redeneringsvaardigheden verbetert.

Deze onderzoeksrapporten bieden waardevolle inzichten en methodologieën die kunnen worden toegepast over verschillende domeinen, waardoor meer intelligente en capabele taalmodellen ontstaan. Terwijl we doorgaan met het verkennen en begrijpen van de nuances van prompt engineering, dienen deze benaderingen als cruciale stappen naar het bereiken van meer geavanceerde en gesofisticeerde AI-systemen.