AI hoeft geen betere antwoorden te geven als je beleefd bent

De publieke mening over het feit of het loont om beleefd te zijn tegenover AI verandert bijna even vaak als het laatste vonnis over koffie of rode wijn – gevierd in een maand, in twijfel getrokken in de volgende. Toch voegen een groeiend aantal gebruikers nu ‘alsjeblieft‘ of ‘bedankt‘ toe aan hun prompts, niet alleen uit gewoonte of omdat ze zich zorgen maken dat botte uitwisselingen zich kunnen vertalen naar het echte leven, maar omdat ze geloven dat beleefdheid leidt tot betere en productievere resultaten van AI.

Deze veronderstelling is onder zowel gebruikers als onderzoekers in omloop, met prompt-formulering bestudeerd in onderzoekskringen als een instrument voor alignering, veiligheid en tooncontrole, terwijl gebruikersgewoonten deze verwachtingen versterken en herschikken.

Om bijvoorbeeld te noemen, een onderzoek uit Japan uit 2024 vond dat de beleefdheid van prompts kan veranderen hoe grote taalmodellen zich gedragen, door GPT-3.5, GPT-4, PaLM-2 en Claude-2 te testen op Engelse, Chinese en Japanse taken en elke prompt op drie beleefdheidsniveaus te herschrijven. De auteurs van dat werk observeerden dat ‘bot’ of ‘onbeleefde’ formuleringen leidden tot lagere feitelijke nauwkeurigheid en kortere antwoorden, terwijl matig beleefde verzoeken duidelijkere verklaringen en minder weigeringen opleverden.

Bovendien beveelt Microsoft een beleefde toon aan met Co-Pilot, vanuit een prestatieperspectief in plaats van een cultureel perspectief.

Echter, een nieuw onderzoeksartikel van de George Washington University daagt deze steeds populairdere gedachte uit, door een wiskundig kader te presenteren dat voorspelt wanneer de output van een groot taalmodel ‘in elkaar stort’, overgaand van coherent naar misleidend of zelfs gevaarlijk materiaal. Binnen die context beweren de auteurs dat beleefd zijn de ineenstorting niet significant vertraagt of voorkomt.

Tipping Off

De onderzoekers betogen dat het gebruik van beleefde taal in het algemeen niet gerelateerd is aan het hoofdonderwerp van een prompt en dus de focus van het model niet significant beïnvloedt. Om dit te ondersteunen, presenteren ze een gedetailleerde formulering van hoe een enkele aandachtkop zijn interne richting bijwerkt terwijl het elke nieuwe token verwerkt, ogenschijnlijk demonstrerend dat het gedrag van het model wordt gevormd door de cumulatieve invloed van inhoudsdragers.

Als gevolg daarvan wordt gesteld dat beleefde taal weinig invloed heeft op wanneer de output van het model begint te degraderen. Wat de keerpunt bepaalt, zegt het artikel, is de algehele alignering van zinvolle tokens met ofwel goede of slechte uitvoerpaden – niet de aanwezigheid van sociaal beleefde taal.

Een illustratie van een vereenvoudigde aandachtkop die een sequentie genereert vanuit een gebruikersprompt. Het model begint met goede tokens (G), raakt dan een keerpunt (n*) waar de output omschakelt naar slechte tokens (B). Beleefde termen in de prompt (P₁, P₂, etc.) spelen geen rol in deze verschuiving, waardoor de claim van het artikel dat beleefdheid weinig invloed heeft op het modelgedrag wordt ondersteund. Bron: https://arxiv.org/pdf/2504.20980

Als dit waar is, dan spreekt dit resultaat zowel de populaire overtuiging als misschien zelfs de impliciete logica van instructie-afstemming tegen, die veronderstelt dat de formulering van een prompt de interpretatie van de gebruikersintentie door het model beïnvloedt.

Hulking Out

Het artikel onderzoekt hoe de interne contextvector van het model (zijn evoluerende kompas voor tokenselectie) verschuift tijdens de generatie. Met elke token wordt deze vector directioneel bijgewerkt en wordt het volgende token gekozen op basis van welke kandidaat het meest nauw aansluit bij het.

Wanneer de prompt naar goed gevormde inhoud leidt, blijven de antwoorden van het model stabiel en nauwkeurig; maar na verloop van tijd kan deze directionele trek omkeren, sturend het model naar uitvoer die steeds meer off-topic, onjuist of intern inconsistent wordt.

Het keerpunt voor deze overgang (dat de auteurs wiskundig definiëren als iteratie n*), treedt op wanneer de contextvector meer in overeenstemming komt met een ‘slechte’ uitvoervector dan met een ‘goede’. Op dat moment duwt elke nieuwe token het model verder langs de verkeerde weg, waardoor een patroon van steeds meer gebrekkige of misleidende uitvoer wordt versterkt.

Het keerpunt n* wordt berekend door het moment te vinden waarop de interne richting van het model gelijkmatig in overeenstemming komt met zowel goede als slechte typen uitvoer. De geometrie van de embeddingruimte, gevormd door zowel de trainingscorpus als de gebruikersprompt, bepaalt hoe snel deze overgang plaatsvindt:

Een illustratie die laat zien hoe het keerpunt n* ontstaat in het vereenvoudigde model van de auteurs. De geometrische setup (a) definieert de sleutelvectoren die betrokken zijn bij het voorspellen wanneer de uitvoer van goed naar slecht omschakelt. In (b) plotten de auteurs deze vectoren met testparameters, terwijl (c) de voorspelde keerpunt vergelijkt met het gesimuleerde resultaat. De overeenkomst is exact, waardoor de claim van de onderzoekers dat de ineenstorting wiskundig onvermijdelijk is zodra de interne dynamiek een drempel overschrijdt, wordt ondersteund.

Beleefde termen hebben geen invloed op de keuze van het model tussen goede en slechte uitvoer, omdat ze, volgens de auteurs, niet zinvol verbonden zijn met het hoofdonderwerp van de prompt. In plaats daarvan belanden ze in delen van de interne ruimte van het model die weinig te maken hebben met wat het model daadwerkelijk beslist.

Wanneer dergelijke termen aan een prompt worden toegevoegd, verhogen ze het aantal vectoren dat het model overweegt, maar niet op een manier die de aandachttrekker verandert. Als gevolg daarvan gedragen beleefde termen zich als statistische ruis: aanwezig, maar inactief, en laten het keerpunt n* ongewijzigd.

De auteurs stellen:

‘[Of] ons AI-antwoord zal ontsporen, hangt af van de training van ons LLM die de token-embeddings biedt, en de inhoudsdragers in onze prompt – niet of we beleefd tegen het zijn.’

Het model dat in het nieuwe werk wordt gebruikt, is opzettelijk smal, gefocust op een enkele aandachtkop met lineaire tokendynamica – een vereenvoudigde setup waarin elke nieuwe token de interne staat bijwerkt door directe vectoradditie, zonder niet-lineaire transformaties of poorten.

Deze vereenvoudigde setup laat de auteurs toe om exacte resultaten te berekenen en geeft hen een duidelijk geometrisch beeld van hoe en wanneer de uitvoer van een model plotseling kan verschuiven van goed naar slecht. In hun tests komt de formule die ze afleiden voor het voorspellen van die verschuiving overeen met wat het model daadwerkelijk doet.

Chatting Up..?

Echter, deze niveau van precisie werkt alleen omdat het model opzettelijk eenvoudig wordt gehouden. Terwijl de auteurs toegeven dat hun conclusies later getest moeten worden op complexere multi-head modellen zoals de Claude en ChatGPT-serie, geloven ze ook dat de theorie herhaalbaar is als aandachtkoppen toenemen, en stellen:

‘De vraag wat voor extra fenomenen ontstaan als het aantal gekoppelde aandachtkoppen en lagen wordt opgeschaald, is een fascinerend een. Maar elke overgang binnen een enkele aandachtkop zal nog steeds plaatsvinden, en kan worden versterkt en/of gesynchroniseerd door de koppelingen – zoals een keten van verbonden mensen die over een klif worden getrokken als een van hen valt.’

Een illustratie van hoe het voorspelde keerpunt n* verandert afhankelijk van hoe sterk de prompt naar goede of slechte inhoud leunt. Het oppervlak komt uit de benaderingsformule van de auteurs en toont aan dat beleefde termen, die duidelijk geen van beide kanten ondersteunen, weinig invloed hebben op wanneer de ineenstorting plaatsvindt. De gemarkeerde waarde (n* = 10) komt overeen met eerdere simulaties, waardoor de interne logica van het model wordt ondersteund.

Wat nog onduidelijk is, is of hetzelfde mechanisme overleeft de sprong naar moderne transformerarchitecturen. Multi-head aandacht introduceert interacties tussen gespecialiseerde koppen, die het soort kantelpuntgedrag dat wordt beschreven, kunnen maskeren of tegenwerken.

De auteurs erkennen deze complexiteit, maar beweren dat aandachtkoppen vaak losjes gekoppeld zijn en dat het soort interne ineenstorting dat ze modelleren, kan worden versterkt in plaats van onderdrukt in volledige systemen.

Zonder een uitbreiding van het model of een empirische test over productie-LLM’s, blijft de claim onbevestigd. Echter, het mechanisme lijkt voldoende precies om follow-on onderzoeksinitiatieven te ondersteunen, en de auteurs bieden een duidelijke kans om de theorie te betwisten of te bevestigen in grote lijnen.

Signing Off

Op dit moment lijkt het onderwerp van beleefdheid tegenover consumentgerichte LLM’s te worden benaderd vanuit het (praktische) standpunt dat getrainde systemen mogelijk nuttiger reageren op beleefde vragen; of dat een onbeleefde en botte communicatiestijl met dergelijke systemen het risico loopt om over te dragen naar de echte sociale relaties van de gebruiker, door gewoonte.

Men kan betogen dat LLM’s nog niet breed genoeg zijn gebruikt in echte sociale contexten om de onderzoeksliteratuur te bevestigen in het laatste geval; maar het nieuwe artikel werpt enige interessante twijfel op over de voordelen van het antropomorfiseren van AI-systemen van dit type.

Een onderzoek van oktober vorig jaar van Stanford suggereerde (in tegenstelling tot een onderzoek uit 2020) dat het behandelen van LLM’s alsof ze menselijk zijn, het risico loopt om de betekenis van taal te ondermijnen, en concludeerde dat ‘geprogrammeerde’ beleefdheid uiteindelijk haar oorspronkelijke sociale betekenis verliest:

[E]en verklaring die vriendelijk of oprecht lijkt van een menselijke spreker, kan ongewenst zijn als het afkomstig is van een AI-systeem, omdat het laatste geen echte toewijding of intentie achter de verklaring heeft, waardoor de verklaring hol en misleidend wordt.’

Echter, ongeveer 67 procent van de Amerikanen zegt beleefd te zijn tegenover hun AI-chatbots, volgens een onderzoek uit 2025 van Future Publishing. De meesten zeiden dat het gewoon ‘het juiste ding om te doen’ was, terwijl 12 procent toegaf dat ze voorzichtig waren – voor het geval de machines ooit in opstand komen.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks. Tot op zekere hoogte zijn de hyperlinks willekeurig/voorbeeld, aangezien de auteurs op sommige punten linken naar een breed scala aan voetnootcitaten, in plaats van naar een specifieke publicatie.

Eerst gepubliceerd op woensdag 30 april 2025. Gewijzigd op woensdag 30 april 2025 15:29:00, voor opmaak.