Waarom Grote Taalmodellen Instructies Overslaan en Hoe Dit Op te Lossen

Grote Taalmodellen (LLM’s) zijn snel onmisbare Artificiële Intelligentie (AI)-hulpmiddelen geworden, die toepassingen zoals chatbots en inhoudscreatie tot en met codesteun mogelijk maken. Ondanks hun indrukwekkende mogelijkheden, staat gebruikers een veelvoorkomend probleem te wachten: deze modellen slaan soms delen van de instructies die ze ontvangen over, vooral als die instructies lang of meerdere stappen omvatten. Dit overslaan leidt tot onvolledige of onnauwkeurige uitvoer, wat verwarring kan veroorzaken en het vertrouwen in AI-systemen kan ondermijnen. Het begrijpen van waarom LLM’s instructies overslaan en hoe dit probleem te tackelen is, is essentieel voor gebruikers die deze modellen voor nauwkeurige en betrouwbare resultaten gebruiken.

Waarom Slaan LLM’s Instructies Over? 

LLM’s werken door invoertekst te lezen als een reeks tokens. Tokens zijn de kleine onderdelen waarin tekst wordt verdeeld. Het model verwerkt deze tokens een voor een, van begin tot einde. Dit betekent dat instructies aan het begin van de invoer meer aandacht krijgen. Latere instructies kunnen minder aandacht krijgen en worden genegeerd.

Dit gebeurt omdat LLM’s een beperkte aandachtscapaciteit hebben. Aandacht is het mechanisme dat modellen gebruiken om te beslissen welke invoeronderdelen essentieel zijn bij het genereren van antwoorden. Wanneer de invoer kort is, werkt aandacht goed. Maar aandacht neemt af als de invoer langer wordt of instructies complexer worden. Dit verzwakt de focus op latere delen, waardoor overslaan kan optreden.

Daarnaast kunnen meerdere instructies tegelijk de complexiteit verhogen. Wanneer instructies overlappen of conflicteren, kunnen modellen in de war raken. Ze kunnen proberen alles te beantwoorden, maar produceren vage of tegenstrijdige antwoorden. Dit resulteert vaak in het missen van instructies.

LLM’s delen ook enkele menselijke beperkingen. Bijvoorbeeld, mensen kunnen hun focus verliezen wanneer ze lange of herhalende teksten lezen. Op dezelfde manier kunnen LLM’s vergeten latere instructies wanneer ze meer tokens verwerken. Dit verlies van focus is onderdeel van het ontwerp en de beperkingen van het model.

Een andere reden is hoe LLM’s getraind worden. Ze zien veel voorbeelden van eenvoudige instructies, maar minder complexe, meerdere stappen. Door dit, hebben modellen de neiging om eenvoudige instructies te volgen die vaker in hun trainingsdata voorkomen. Deze voorkeur maakt hen geneigd om complexe instructies over te slaan. Bovendien beperken tokenlimieten de hoeveelheid invoer die het model kan verwerken. Wanneer invoer deze limieten overschrijdt, worden instructies voorbij de limiet genegeerd.

Voorbeeld: Stel dat je een LLM vijf instructies in een enkele prompt geeft. Het model kan zich voornamelijk op de eerste twee instructies richten en de laatste drie gedeeltelijk of helemaal negeren. Dit heeft een directe invloed op hoe het model tokens sequentieel verwerkt en op de aandachtsbeperkingen.

Hoe Goed LLM’s Opeenvolgende Instructies Beheren op Basis van SIFo 2024-Vindings

Recente studies hebben nauwkeurig onderzocht hoe goed LLM’s meerdere instructies volgen die een voor een worden gegeven. Een belangrijke studie is de Sequential Instructions Following (SIFo)-Benchmark 2024. Deze benchmark test modellen op taken die stap-voor-stap voltooiing van instructies vereisen, zoals tekstwijzigingen, vraagbeantwoording, wiskunde en veiligheidsregelgeving. Elke instructie in de sequentie is afhankelijk van de correcte voltooiing van de vorige. Deze aanpak helpt controleren of het model de hele sequentie correct heeft gevolgd.

De resultaten van SIFo laten zien dat zelfs de beste LLM’s, zoals GPT-4 en Claude-3, vaak moeite hebben om alle instructies correct te voltooien. Dit is vooral waar als de instructies lang of ingewikkeld zijn. Het onderzoek wijst drie hoofdproblemen aan die LLM’s ondervinden bij het volgen van instructies:

Begrip: Volledig begrijpen wat elke instructie betekent.

Redenering: Meerdere instructies logisch met elkaar verbinden om het antwoord duidelijk te houden.

Betrouwbaar Antwoord: Complete en nauwkeurige antwoorden produceren, waarbij alle instructies worden behandeld.

Technieken zoals prompt-engineering en fine-tuning helpen bij het verbeteren van hoe modellen instructies volgen. Echter, deze methoden lossen het probleem van instructie-overslaan niet volledig op. Het gebruik van Reinforcement Learning met Menselijke Feedback (RLHF) verbetert verder de mogelijkheid van het model om passend te reageren. Toch hebben modellen moeite als instructies veel stappen of complexiteit vereisen.

De studie toont ook aan dat LLM’s het best werken wanneer instructies eenvoudig, duidelijk gescheiden en goed georganiseerd zijn. Wanneer taken lange redeneringsketens of veel stappen vereisen, neemt de nauwkeurigheid van het model af. Deze bevindingen suggereren betere manieren om LLM’s effectief te gebruiken en tonen de noodzaak aan om sterkere modellen te ontwikkelen die instructies echt stap voor stap kunnen volgen.

Waarom LLM’s Instructies Overslaan: Technische Uitdagingen en Praktische Overwegingen

LLM’s kunnen instructies overslaan vanwege verschillende technische en praktische factoren die wortelen in hoe ze invoertekst verwerken en coderen.

Beperkte Aandachtsspanne en Informatie-Dilutie

LLM’s vertrouwen op aandachtsmechanismen om belang toe te kennen aan verschillende invoeronderdelen. Wanneer prompts bondig zijn, is de aandacht van het model gefocust en effectief. Echter, als de prompt langer of herhalender wordt, wordt de aandacht verdund en ontvangen latere tokens of instructies minder aandacht, waardoor de kans toeneemt dat ze over het hoofd worden gezien. Dit fenomeen, bekend als informatie-dilutie, is vooral problematisch voor instructies die laat in een prompt verschijnen. Bovendien hebben modellen vaste tokenlimieten (bijv. 2048 tokens); elke tekst die deze limiet overschrijdt, wordt afgekapt en genegeerd, waardoor instructies aan het einde volledig worden overgeslagen.

Uitvoercomplexiteit en Dubbeldzinnigheid

LLM’s kunnen worstelen met het produceren van duidelijke en complete antwoorden wanneer ze meerdere of tegenstrijdige instructies tegenkomen. Het model kan gedeeltelijke of vage antwoorden genereren om tegenstrijdigheden of verwarring te vermijden, waardoor sommige instructies effectief worden overgeslagen. Onduidelijkheid in de formulering van instructies vormt ook een uitdaging: onduidelijke of onnauwkeurige prompts maken het moeilijk voor het model om de bedoelde acties te bepalen, waardoor het risico toeneemt dat delen van de invoer worden overgeslagen of verkeerd geïnterpreteerd.

Prompt-Design en Gevoeligheid voor Opmaak

De structuur en formulering van prompts spelen ook een kritieke rol in het volgen van instructies. Onderzoek toont aan dat zelfs kleine veranderingen in de manier waarop instructies zijn geschreven of opgemaakt, een significante invloed kunnen hebben op of het model zich houdt aan deze instructies.

Slecht gestructureerde prompts, zonder duidelijke scheiding, opsommingstekens of nummering, maken het moeilijker voor het model om tussen stappen te onderscheiden, waardoor de kans toeneemt dat instructies worden samengevoegd of overgeslagen. De interne representatie van de prompt door het model is zeer gevoelig voor deze variaties, wat verklaart waarom prompt-engineering (het herschrijven of herschikken van prompts) de naleving van instructies aanzienlijk kan verbeteren, zelfs als de onderliggende inhoud ongewijzigd blijft.

Hoe Instructie-Overslaan in LLM’s te Verhelpen

Het verbeteren van de mogelijkheid van LLM’s om instructies nauwkeurig te volgen, is essentieel voor het produceren van betrouwbare en nauwkeurige resultaten. De volgende beste praktijken moeten in overweging worden genomen om instructie-overslaan te minimaliseren en de kwaliteit van AI-gegenereerde antwoorden te verbeteren:

Taken Moeten in Kleine Delen Worden Opgedeeld

Lange of meerdere stappen omvattende prompts moeten worden opgedeeld in kleinere, meer gefocuste segmenten. Het geven van één of twee instructies tegelijk laat het model toe om beter te focussen en vermindert de kans dat stappen worden overgeslagen.

Voorbeeld

In plaats van alle instructies in één prompt te combineren, zoals “Samenvat de tekst, noem de belangrijkste punten, stel verbeteringen voor en vertaal deze naar het Frans,” moet elke instructie afzonderlijk of in kleinere groepen worden gepresenteerd.

Instructies Moeten Worden Opgemaakt met Genummerde Lijsten of Opsommingstekens

Het organiseren van instructies met expliciete opmaak, zoals genummerde lijsten of opsommingstekens, helpt aan te geven dat elk item een afzonderlijke taak is. Deze duidelijkheid verhoogt de kans dat het antwoord alle instructies zal behandelen.

Voorbeeld

• Samenvat de volgende tekst.
• Noem de belangrijkste punten.
• Stel verbeteringen voor.

Dergelijke opmaak biedt visuele aanwijzingen die het model helpen om afzonderlijke taken in een prompt te herkennen en te scheiden.

Instructies Moeten Expliciet en Ondubbelzinnig Zijn

Het is essentieel dat instructies duidelijk aangeven dat elke stap moet worden voltooid. Vaag of meerduidig taalgebruik moet worden vermeden. De prompt moet expliciet aangeven dat geen enkele stap mag worden overgeslagen.

Voorbeeld

“Voltooi alle drie taken hieronder. Het overslaan van stappen is niet acceptabel.”

Directe uitspraken zoals deze verminderen verwarring en moedigen het model aan om complete antwoorden te geven.

Afzonderlijke Prompts Moeten Worden Gebruikt voor Hoge-Inzet- of Kritieke Taken

Elke instructie moet als een afzonderlijke prompt worden ingediend voor taken waarbij nauwkeurigheid en volledigheid kritiek zijn. Hoewel deze aanpak de interactietijd kan verhogen, verbetert het aanzienlijk de kans op complete en nauwkeurige uitvoer. Deze methode zorgt ervoor dat het model zich volledig op één taak tegelijk richt, waardoor het risico van gemiste instructies wordt verkleind.

Geavanceerde Strategieën om Volledigheid en Efficiëntie in Evenwicht te Brengen

Het wachten op een antwoord na elke enkele instructie kan tijdrovend zijn voor gebruikers. Om efficiëntie te verbeteren terwijl duidelijkheid en nauwkeurigheid worden behouden, kunnen de volgende geavanceerde prompttechnieken effectief zijn:

Instructies in Batch met Duidelijke Opmaak en Expliciete Labels

Meerdere gerelateerde instructies kunnen in één prompt worden gecombineerd, maar elk moet worden gescheiden met nummering of koppen. De prompt moet het model ook instrueren om alle instructies volledig en in volgorde te beantwoorden.

Voorbeeldprompt

Voltooi alle volgende taken zorgvuldig zonder enige te overslaan:

1. Samenvat de tekst hieronder.
2. Noem de belangrijkste punten uit je samenvatting.
3. Stel verbeteringen voor op basis van de belangrijkste punten.
4. Vertaal de verbeterde tekst naar het Frans.

Chain-of-Thought-Stijl Prompts

Chain-of-thought-prompts leiden het model om stap voor stap door elke taak te redeneren voordat het een antwoord geeft. Het stimuleren van het model om instructies sequentieel te verwerken binnen één antwoord helpt ervoor zorgen dat geen enkele stap wordt overgeslagen, waardoor volledigheid wordt verbeterd.

Voorbeeldprompt

Lees de tekst hieronder en voer de volgende taken uit in volgorde. Toon je werk duidelijk:

• Samenvat de tekst.
• Identificeer de belangrijkste punten uit je samenvatting.
• Stel verbeteringen voor aan de tekst.
• Vertaal de verbeterde tekst naar het Frans.

Beantwoord alle taken volledig en afzonderlijk in één antwoord.

Voltooiingsinstructies en Herinneringen Toevoegen

Maak het model expliciet duidelijk dat het:

• “Elke taak volledig moet beantwoorden.”
• “Geen enkele instructie mag worden overgeslagen.”
• “Antwoorden duidelijk moeten scheiden.”

Dergelijke herinneringen helpen het model om volledigheid te behouden wanneer meerdere instructies worden gecombineerd.

Verschillende Modellen en Parameters Moeten Worden Getest

Niet alle LLM’s presteren even goed bij het volgen van meerdere instructies. Het is aan te raden om verschillende modellen te evalueren om die te identificeren die uitblinken in taken met meerdere stappen. Bovendien kunnen parameters zoals temperatuur, maximale tokens en systeemprompts worden aangepast om de focus en volledigheid van antwoorden verder te verbeteren. Het testen van deze instellingen helpt om het modelgedrag aan te passen aan de specifieke taakvereisten.

Fine-Tuning van Modellen en Gebruik van Externe Hulpmiddelen Moeten Worden Overwogen

Modellen moeten worden gefine-tuned op datasets die meerdere stappen of opeenvolgende instructies bevatten om hun naleving van complexe prompts te verbeteren. Technieken zoals RLHF kunnen de instructievolging verder verbeteren.

Voor geavanceerde use-cases kan de integratie van externe hulpmiddelen zoals API’s, taakspecifieke plugins of Retrieval Augmented Generation (RAG)-systemen extra context en controle bieden, waardoor de betrouwbaarheid en nauwkeurigheid van uitvoer worden verbeterd.

De Kern

LLM’s zijn krachtige hulpmiddelen maar kunnen instructies overslaan als prompts lang of complex zijn. Dit gebeurt vanwege hoe ze invoer lezen en hun aandacht richten. Instructies moeten duidelijk, eenvoudig en goed georganiseerd zijn voor betere en meer betrouwbare resultaten. Taken in kleinere delen opdelen, lijsten gebruiken en directe instructies geven, helpen modellen om stappen volledig te volgen.

Afzonderlijke prompts kunnen de nauwkeurigheid voor kritieke taken verbeteren, hoewel ze meer tijd in beslag nemen. Bovendien helpen geavanceerde promptmethoden zoals chain-of-thought en duidelijke opmaak om snelheid en precisie in evenwicht te brengen. Verder kan het testen van verschillende modellen en fine-tuning de resultaten verbeteren. Deze ideeën zullen gebruikers helpen om consistente, complete antwoorden te krijgen en AI-hulpmiddelen nuttiger maken in het dagelijkse werk.