Een volumeregeling voor AI-native advertentiecontent

De ‘huwelijksreis’ van populaire AI is nog niet helemaal voorbij. Als we die vergelijken met de neergang van de gouden eeuw van Netflix naar de huidige versplintering en commercialisering van streamingdiensten, zitten we ongeveer in 2019. De gevestigde speler (OpenAI) krijgt inmiddels stevige concurrentie van een kapitaalkrachtige reeks rivalen. Geen van hen heeft zo’n duidelijke voorsprong opgebouwd dat ze het risico durven te nemen advertenties op te dringen aan hun grillige gebruikersbasis.

Ook beperkt ChatGPT advertenties in de chat momenteel tot gebruikers van Free en Go; advertenties van Gemini verschijnen alleen in de context van AI Overviews en AI Mode; Perplexity heeft afgelopen winter zijn advertentieplannen laten varen; xAI zal op enig moment advertenties gaan tonen; Microsoft Copilot heeft ze al; en Claude wijst die mogelijkheid resoluut van de hand.

Maar we weten dat dit niet zo kan blijven. Naarmate de werkelijke kosten van inferentie duidelijk worden en naderende AI-beursgangen de eisen van aandeelhouders op tafel leggen, kunnen we, als de geschiedenis een leidraad is, verwachten dat we uiteindelijk de output van LLM’s kritisch moeten gaan onderzoeken om advertentiegebaseerde content te onderscheiden van niet-commerciële content.

Het volume naar 11 draaien

Naast vragen over hoe persoonlijk de advertenties zullen zijn en op welke demografische groepen de advertenties worden gericht, moeten aanbieders ook nadenken over de mate en het soort integratie van commerciële content.

Dat is niet eenvoudig: als advertenties te subtiel zijn, behoud je meer gebruikers, maar verlies je adverteerders die meer opleveren. Een verdergaande integratie van advertenties, die mogelijk de regels rond openbaarmaking omzeilt, kan lucratievere advertentiecontracten opleveren, maar ook tot controverse en andere negatieve gevolgen leiden.

Daar komt bij dat advertentieplatforms met verschillende abonnementsniveaus mogelijk verschillende niveaus van ‘volume’ en integratie vereisen, hoewel de variabelen van LLM’s zich moeilijk laten kwantificeren. Zo bevatte een eerdere methode om een soort ‘volumeregelaar’ voor advertenties in LLM-output te maken uiteindelijk de kwantificerende termen in de chat:

Uit het nieuwe artikel: een voorbeeld van labels uit een oudere methode om het ‘volume’ te regelen die daadwerkelijk in de gegenereerde tekst terechtkomen. Bron

Het bovenstaande voorbeeld komt uit een nieuw artikel* dat twee belangrijke problemen rond adverteren met LLM’s behandelt: bepalen hoe prominent advertenties in chatbotantwoorden verschijnen en vaststellen welke delen van die antwoorden betaalde advertenties vormen:

Schema van de nieuwe AdKnob-methode. Links is Subway een van meerdere aanbevelingen of juist het belangrijkste aandachtspunt, afhankelijk van het gekozen advertentieniveau. Rechts markeren groene accenten de advertentiecontent in het gegenereerde antwoord.

De methode, AdKnob genaamd, gebruikt een schaal met vier niveaus om te bepalen hoe nadrukkelijk een chatbot een product aanprijst. Tegelijkertijd worden de zinnen met advertenties geïdentificeerd, zodat advertentiecontent eenvoudig kan worden herkend zonder aanvullende modellen in te zetten of het proces op enigerlei wijze te vertragen — traditioneel gezien een van de snelst bewegende sectoren.

In materiaal uit de bijlage bij het nieuwe onderzoek zijn voorbeelden van tekst waarin advertenties zijn ingevoegd rood gemarkeerd.

De AdKnob-methode is getest op zes AI-modellen van Alibaba, Microsoft en Meta. In elk geval kon de hoeveelheid advertenties op vier niveaus worden ingesteld, van een terloopse productvermelding tot een antwoord dat bijna volledig in het teken staat van het aanprijzen van een merk.

Bij het meest agressieve ‘volume’ van AdKnob (hier is dat ‘4’, niet het mythische ‘11’) domineren merkboodschappen doorgaans de output.

Modellen met open gewichten waren nodig omdat hun interne parameters tijdens de training moesten worden aangepast en hun aandach patrones moesten worden onderzocht om advertenties in gegenereerde antwoorden te identificeren. Daardoor vielen tests op frontiermodellen af, omdat die alleen via een API toegankelijk zijn.

De resultaten werden getest bij 913 mensen via Amazon Mechanical Turk. Wanneer de antwoorden van AdKnob werden vergeleken met die van vier concurrerende methoden, kregen die van AdKnob 75% tot bijna 90% van de tijd de voorkeur.

Geloof het of niet: behulpzaamheid en duidelijke advertentielabels waren enkele van de belangrijkste redenen die daarvoor werden genoemd. Zelfs bij de hoogste advertentie-instelling kregen de antwoorden gemiddeld een kwaliteitsscore van 3,1 op 4, tegenover 3,6 bij de laagste instelling.

Volgens de auteurs bleek AdKnob ook beter in het herkennen van zinnen met advertenties. Bij een van de geteste modellen kostte dit controleproces slechts drie milliseconden per antwoord: een aanvaardbaar kleine extra belasting, waarvoor bovendien geen aparte tokens hoefden te worden gegenereerd, anders dan bij verschillende eerdere benaderingen.

Voor het nieuwe systeem werd de dataset MI-KnobSet samengesteld op basis van de eerdere dataset Webis Generated Native Ads 2024. De eerdere verzameling werd uitgebreid met verschillende niveaus van advertenties in chatbotantwoorden en omvat 3.946 trainingsvoorbeelden en 913 testgevallen.

De auteurs schrijven:

‘[AdKnob] maakt het mogelijk om één LLM antwoorden te laten genereren met uiteenlopende advertentie-intensiteiten. De verliesfunctie voor advertentietoeschrijving versterkt bovendien de toeschrijving tussen invoertokens die verband houden met advertenties en de gegenereerde advertentie-inhoud, waardoor advertenties tijdens inferentie nauwkeurig kunnen worden gelabeld.

‘Experimenten met zes basismodellen en gebruikersonderzoeken tonen aan dat AdKnob bestaande baselines consequent overtreft op het gebied van zowel advertentiekwaliteit als advertentielabeling. Ons werk biedt een praktische basis voor transparante en controleerbare, LLM-native advertenties in echte diensten.’

Methode

Anders dan bij de eerder genoemde aanpak, waarbij de woorden die werden gebruikt om een bepaald verhogingsniveau aan te duiden uiteindelijk in de uitvoer terechtkwamen, gebruikt de nieuwe methode vier speciaal ontwikkelde controletokens, die elk een andere advertentie-intensiteit vertegenwoordigen:

q̂ = q ⊕ [AD_LV_n]

Het n-token hierboven staat natuurlijk voor een mogelijk willekeurig getal, maar in dit geval beperkt AdKnob het bereik tot 1-4. Dat is waarschijnlijk ongeveer zo fijnmazig als je voor deze specifieke variabelen kunt werken, namelijk hoe ‘opvallend’ en hoe ‘nadrukkelijk’ de advertentie-inhoud is.

Omdat deze abstracte tokens geen vooraf vastgelegde betekenis hebben, kan het model leren waarvoor ze bedoeld zijn zonder ze te verwarren met gewone taal.

Vervolgens wordt het model volgens de auteurs getraind met Directe optimalisatie van voorkeuren (DPO), zodat de controletokens overeenkomen met de gewenste intensiteit:

‘[We] baseren de voorkeuren dus op twee maatstaven: advertentie[score], die meet hoe prominent en positief het merk en de advertentietekst in het antwoord zijn verwerkt, en de kwaliteit van het antwoord[score], die meet hoe goed het antwoord ingaat op de gebruiker[query].’

Om de dataset met paren samen te stellen, werden mogelijke antwoorden beoordeeld op advertentie-intensiteit, relevantie, vloeiendheid en de hoeveelheid informatie die behouden bleef ten opzichte van een antwoord zonder advertenties. Vervolgens werden de scores gebruikt om trainingsvoorbeelden voor elk advertentieniveau te selecteren.

Voor elk advertentiescenario werden met GPT-4o 25 mogelijke antwoorden gegenereerd, met prompts die verschillende gradaties van productpromotie aanmoedigden. Per doelniveau werd het antwoord met de hoogste score geselecteerd, samen met drie bewust slechtere alternatieven die stonden voor lage kwaliteit, een onjuiste advertentie-intensiteit of beide:

Advertentiescores voor 25 mogelijke antwoorden die met vijf verschillende prompts zijn gegenereerd. De aanzienlijke overlap tussen de vijf curves laat zien waarom alleen prompten niet betrouwbaar verschillende advertentieniveaus kon opleveren.

Deze vergelijkingen werden gebruikt om het model te trainen met de eerder genoemde DPO-techniek. Zo leerde het antwoorden te geven die overeenkomen met het gevraagde advertentieniveau, maar toch nuttig en natuurlijk blijven.

Tests

AdKnob werd getest op vier advertentie-intensiteitsniveaus met zes modellen: Qwen3-4B-Instruct, Phi-4-Mini-Instruct (3.8B), LLaMA-3.2-3B-Instruct, Qwen2.5-14B-Instruct, Phi-4 (14B) en LLaMA-3.1-8B-Instruct.

De advertentie-intensiteit en de kwaliteit van de antwoorden werden afzonderlijk beoordeeld. De nauwkeurigheid van de advertentielabels werd gemeten met ROC-AUC, precisie en recall en F1.

De modellen werden fijnafgesteld met Low-Rank Adaptation (LoRA). Gegenereerde antwoorden werden beperkt tot 500 tokens en de drempel voor advertentielabeling was 0.005. Alle experimenten werden uitgevoerd op één enkele NVIDIA H200-GPU, met een duizelingwekkende 141 GB HBM3e-VRAM.

Als benchmarks werden vier methoden gebruikt. Bij de tweetraps-methode werd een advertentie ingevoegd in een eerder gegenereerd antwoord; bij de op prompts gebaseerde methode werd de advertentie opgenomen via systeemprompts.

De andere twee methoden waren JU-NLP, waarbij fijnafstelling werd gebruikt om minder opvallende advertenties te bevorderen, en NL-prompt (gewone systeemprompts die de advertentie-intensiteit aangeven, zonder aanvullende training), waarbij instructies in natuurlijke taal werden gebruikt om vier advertentie-intensiteitsniveaus aan te vragen: subtiel (L1), gemiddeld (L2), sterk (L3) en maximaal (L4).

Drie methoden voor advertentielabeling werden vergeleken: Marker, waarbij het model werd gevraagd advertenties te markeren terwijl het schreef; BERTScore, dat zinnen markeerde die leken op de aangeleverde advertentietekst; en AttnLRP, dat werd gebruikt om de invloed van advertenties in de interne werking van het model te volgen:

Testresultaten die de advertentie-intensiteit en antwoordkwaliteit van vier AI-modellen vergelijken. AdKnob (blauw) bood een groter bereik met gelijkmatiger verdeelde advertentieniveaus (L1–L4) dan concurrerende methoden, terwijl de antwoordkwaliteit bij vergelijkbare advertentie-intensiteiten doorgaans hoger bleef.

AdKnob leverde een groter en consistenter bereik aan advertentie-intensiteiten op dan de concurrerende methoden, en gaf bij vergelijkbare niveaus doorgaans antwoorden van hogere kwaliteit. Dit werd toegeschreven aan de nieuwe controletokens en het tijdens de training afwijzen van antwoorden van lage kwaliteit.

Hier stellen de auteurs:

‘JU-NLP wordt gefinetuned om advertenties minder opvallend te maken, maar heeft geen expliciete controle over de intensiteit en genereert daardoor antwoorden met een vaste intensiteit. NL-prompt ondersteunt wel meerdere intensiteiten, maar het bereik is beperkt en de advertentiescores zijn inconsistent. Dit bevestigt dat prompts in natuurlijke taal onvoldoende zijn om de intensiteit te sturen.

‘AdKnob bestrijkt daarentegen een breed en gelijkmatig verdeeld bereik aan advertentie-intensiteiten.

‘Dit komt door onze advertentiecontroletokens. Die hebben geen vooraf getrainde semantische betekenis en dienen specifiek als conditionerende signalen om de advertentie-intensiteit te sturen. Zo kan DPO een duidelijke koppeling tot stand brengen tussen elke token en de bijbehorende doelintensiteit.’

Volgens het artikel leverde de aanpak van de auteurs bij vergelijkbare advertentie-intensiteiten ook antwoorden van hogere kwaliteit op dan concurrerende methoden. Deze verbetering werd toegeschreven aan trainingsvoorbeelden waarbij antwoorden van mindere kwaliteit expliciet werden afgewezen.

Vervolgens werden de mogelijkheden van het systeem voor advertentielabeling geëvalueerd:

Resultaten van advertentiedetectie voor vier AI-modellen. Hogere scores wijzen op een betere nauwkeurigheid; de beste resultaten zijn vetgedrukt.

AdKnob behaalde hier de hoogste algehele detectienauwkeurigheid van de vier modellen en herkende advertenties in slechts 2,5-7,3 milliseconden per antwoord. Ter vergelijking: BERTScore had ongeveer 1.800 milliseconden nodig, waardoor AdKnob op het kleinste geteste model meer dan 500 keer sneller was.

De auteurs voegen daaraan toe:

‘AdKnob traint het model om met behulp van expliciete begeleiding op basis van ablatie een sterke toeschrijving tot stand te brengen tussen advertiegerelateerde tokens in de invoer en advertentiefragmenten. Zo behaalt het de hoogste AUC- en F1-scores van alle modellen.’

‘Bovendien maakt AdKnob realtime labeling mogelijk, zonder extra inferentiekosten, bij ∼3 ms per antwoord op [Qwen3-4B.]

In een kwalitatieve test werd reclame voor Nintendo Switch op niveau 1 als een van meerdere aanbevelingen opgenomen. Op niveau 4 domineerde het merk het antwoord; AdKnob identificeerde promotionele passages bij beide intensiteiten:

Voorbeeldantwoorden op een vraag over Black Friday bij Walmart, bij twee advertentieniveaus. Gemarkeerde passages met [AD] duiden promotionele inhoud aan.

Tot slot** voerden de auteurs een gebruikersonderzoek uit met 913 deelnemers. Zij beoordeelden de advertentie-intensiteit en de antwoordkwaliteit, vergeleken AdKnob met concurrerende methoden en beoordeelden hoe nauwkeurig promotionele inhoud werd geïdentificeerd:

Resultaten van menselijke evaluaties van AdKnob. De tabel toont beoordelingen van de advertentie-intensiteit en antwoordkwaliteit, voorkeurpercentages ten opzichte van concurrerende methoden en de nauwkeurigheid van advertentiedetectie. Groene cellen geven voorkeurpercentages boven de 50% aan.

De auteurs concluderen:

‘AdKnob behaalt de hoogste AUC- en F1-score. Opvallend is dat AdKnob een hoge recall heeft en weinig fout-negatieven. Dat is vanuit regelgevingsoogpunt van cruciaal belang, omdat het niet vermelden van een advertentiefragment grote juridische risico’s en risico’s voor het vertrouwen met zich meebrengt.’

Conclusie

Een interessante vraag rond advertenties in LLM’s, waar ik voor zover ik weet nog geen aandacht aan heb zien besteden, is wat er gebeurt wanneer de output zonder advertenties hetzelfde is als de output met advertenties.

Als iemand bijvoorbeeld een aanbeveling vraagt voor een eetcafé in de buurt, en er alleen een McDonald’s en een café met zeer slechte beoordelingen zijn, maar McDonald’s heeft betaald voor plaatsing, dan wordt McDonald’s vermoedelijk in de context van een advertentie gepresenteerd, omdat dat aansluit bij de doelstellingen van het hostplatform..zelfs als McDonald’s sowieso de voor de hand liggende keuze was?

Als ik lees over dit soort dingen, waarover ik op deze site vrij regelmatig schrijf, voel ik me als een kalkoen die een catalogus met ovens doorbladert. Wat we misschien in gedachten moeten houden, is dat zelfs met de minimale aanduiding die in bepaalde gebieden verplicht is, de ‘misleidende’ inhoud in onze outputs niet onder de aandacht zal worden gebracht. Enkele van de zeer beperkte voorbeelden in dit en vergelijkbaar onderzoek laten zien hoe buitensporig commerciële inhoud binnendringt in de oorspronkelijke inhoud.

En natuurlijk zijn dit de selectief gekozen voorbeelden: de voorbeelden die werkten en niet hallucineerden, buitensporige of aanstootgevende associaties opriepen of anderszins tot controverse leidden. Op grote schaal kan dit, bij architecturen die zo gevoelig zijn voor periodes van publieke schande, misschien een extra reden zijn waarom de meeste geavanceerde diensten voorzichtig omgaan met advertenties.

* Met als titel ‘AdKnob: controle van advertentie-intensiteit en labeling voor advertenties die zijn afgestemd op LLM’s’, van zes auteurs van de School of Computing aan KAIST.

** Zoals gebruikelijk laten we ablatatiestudies buiten beschouwing, behalve wanneer ze deel uitmaken van de kernwaarde van het werk en niet slechts een steekproefcontrole zijn.

Voor het eerst gepubliceerd op donderdag 5 november 2026