En volumenkontrol til AI-nativt reklameindhold

Hvedebrødsdagene for den populære AI er ikke helt forbi. Hvis vi skulle sammenligne udviklingen med nedturen fra Netflix’ guldalder til den nuværende opsplitning og kommercialisering af streamingtjenester, er vi nået til omkring 2019. Den etablerede aktør OpenAI bliver nu udfordret af en række kapitalstærke konkurrenter, men ingen af dem har fået et tilstrækkeligt solidt fodfæste til at løbe risikoen ved at presse annoncer på deres omskiftelige brugerbase.

ChatGPT begrænser ligeledes i øjeblikket annoncer i chatten til brugere på Free- og Go-abonnementerne; Geminis annoncer vises kun i forbindelse med AI Overviews og i AI Mode; Perplexity opgav sine annonceplaner sidste vinter; xAI har planer om annoncer på et tidspunkt; Microsoft Copilot har dem allerede; og Claude afviser blankt muligheden.

Men vi ved, at det ikke kan vare ved. Når de reelle omkostninger ved inferens bliver tydelige, og de forestående AI-børsnoteringer sætter aktionærernes krav på dagsordenen, kan vi, hvis historien er en rettesnor, forvente, at vi før eller siden bliver nødt til at granske output fra LLM’er for at skelne annoncebaseret indhold fra ikke-kommercielt indhold.

Skru op til 11

Ud over spørgsmål om hvor personligt tilpassede annoncerne bliver, og hvilke demografiske grupper der målrettes, skal udbyderne overveje omfanget og typen af integrationen af kommercielt indhold.

Det er ikke let: Er annoncerne for diskrete, beholder man flere brugere, men mister annoncører, der betaler bedre. Mere integreret annonceindhold kan omgå reglerne om oplysning af reklame, hvilket kan føre til bedre annonceaftaler, men også skabe kontroverser og andre negative følgevirkninger.

Derudover kan annonceplatforme med forskellige abonnementsniveauer kræve forskellige niveauer af »volumen« og integration, selvom parametrene i LLM’er er ret svære at kvantificere. Et tidligere forsøg på at skabe en slags »volumenregulator« for annoncer i LLM-output endte for eksempel faktisk med at inkludere de kvantificerende termer i chatten:

Fra den nye artikel: Et eksempel på, at betegnelserne fra en ældre ordning til regulering af »volumen« faktisk slipper igennem i den genererede tekst. Kilde

Eksemplet ovenfor stammer fra en ny artikel*, der tager fat på to centrale udfordringer ved LLM-baseret annoncering: at styre hvor fremtrædende annoncer er i chatbotternes svar og at identificere hvilke dele af svarene der udgør betalt annoncering:

Diagram over den nye AdKnob-metode. Til venstre er Subway enten en af flere anbefalinger eller hovedfokus, alt efter hvilket annonceniveau der er valgt. Til højre markerer grønne fremhævninger annonceindholdet i det genererede svar.

Metoden, der har fået navnet AdKnob, bruger en skala med fire niveauer til at bestemme, hvor kraftigt en chatbot promoverer et produkt, samtidig med at den identificerer de sætninger, der indeholder reklame. Målet er at gøre det nemt at identificere annonceindhold uden at skulle køre ekstra modeller eller på nogen måde sænke processen – noget, der traditionelt hører til blandt de hurtigste brancher.

I bilagsmaterialet til det nye arbejde vises eksempler på tekst med indskudte annoncer, markeret med rødt.

AdKnob-metoden blev afprøvet på seks AI-modeller fra Alibaba, Microsoft og Meta. I hvert tilfælde kunne mængden af reklame justeres på fire niveauer, fra en uformel produktomtale til et svar, der næsten udelukkende var viet til at promovere et brand.

Ved AdKnobs mest aggressive »volumen« (her er den »4« og ikke det mytiske »11«) har brandbudskaber en tendens til at dominere outputtet.

Modeller med åbne vægte var nødvendige, fordi deres interne parametre skulle ændres under træningen, og deres opmærksomhedsmønstre skulle undersøges for at finde annoncer i de genererede svar. Det udelukkede afprøvning på frontier-modeller, som kun kan tilgås via API.

Resultaterne blev afprøvet på 913 personer via Amazon Mechanical Turk. Da AdKnobs svar blev sammenlignet med svar fra fire konkurrerende metoder, blev de foretrukket i 75 % til næsten 90 % af tilfældene.

Utroligt nok var hjælpsomhed og tydelig reklamemærkning blandt de vigtigste begrundelser. Selv ved den højeste annonceindstilling fik svarene en gennemsnitlig kvalitetsvurdering på 3,1 ud af 4 sammenlignet med 3,6 ved den laveste indstilling.

Forfatterne hævder også, at AdKnob var bedre til at identificere, hvilke sætninger der indeholdt annoncering. På en af de testede modeller tog denne kontrolproces kun tre millisekunder pr. svar – en acceptabelt lav ekstraomkostning, som ikke krævede dedikeret generering af tokens, i modsætning til flere tidligere tilgange.

Til at drive det nye system blev datasættet MI-KnobSet udviklet på grundlag af det tidligere datasæt Webis Generated Native Ads 2024. Det udvider den tidligere samling, så den dækker forskellige niveauer af annoncering i chatbot-svar, og omfatter 3.946 træningseksempler og 913 testtilfælde.

Forfatterne skriver:

‘[AdKnob] gør det muligt for én LLM at generere svar med en bred vifte af annonceintensiteter. Tabet for annoncetilskrivning styrker yderligere tilskrivningen mellem annoncerelaterede inputtokens og genereret annonceindhold, så annoncer kan mærkes præcist på inferenstidspunktet.

‘Eksperimenter med seks basismodeller og brugerundersøgelser viser, at AdKnob konsekvent klarer sig bedre end eksisterende basismetoder, både hvad angår annoncekvalitet og annoncemærkning. Vores arbejde udgør et praktisk grundlag for gennemsigtig og kontrollerbar LLM-baseret annoncering i tjenester fra den virkelige verden.’

Metode

I modsætning til den tidligere nævnte tilgang, hvor ordene, der blev brugt til at angive et intensitetsniveau, endte med at lække ind i outputtet, anvender den nye metode fire specialudviklede kontroltokens, som hver repræsenterer en forskellig annonceintensitet:

q̂ = q ⊕ [AD_LV_n]

Tokenet n ovenfor repræsenterer naturligvis et potentielt vilkårligt tal, men i dette tilfælde begrænser AdKnob intervallet til 1-4 (hvilket formentlig er omtrent så finmasket, som man kan gøre det for netop disse variabler, dvs. hvor »åbenlyst« og hvor »påtrængende« annonceindholdet er).

Da disse abstrakte tokens ikke har nogen forudgående betydning, kan modellen lære deres tilsigtede funktion uden at forveksle dem med almindeligt sprog.

Forfatterne forklarer, at modellen derefter trænes med Direkte præferenceoptimering (DPO) for at tilpasse kontroltokens til det ønskede intensitetsniveau:

‘[We] baserer dermed præferencekonstruktionen på to målinger: annoncering [score], som måler, hvor fremtrædende og positivt brandet og annonceteksten indarbejdes i svaret, og svarkvalitet [score], som måler, hvor godt svaret imødekommer brugerens [query].’

For at opbygge datasættet med par blev kandidatsvar vurderet efter annonceintensitet, relevans, sproglig flydendehed og hvor meget information fra et svar uden annoncer der var bevaret. Scorerne blev derefter brugt til at udvælge træningseksempler for hvert annonceringsniveau.

For hvert annoncescenarie blev der genereret 25 mulige svar med GPT-4o ved hjælp af prompts, der tilskyndede til forskellige grader af produktpromovering. Svaret med den højeste score for hvert målniveau blev udvalgt sammen med tre bevidst dårligere alternativer, der repræsenterede lav kvalitet, forkert annonceintensitet eller begge dele:

Annoncescorer for 25 kandidatsvar genereret med fem forskellige prompts. Det betydelige overlap mellem de fem kurver viser, hvorfor prompting alene ikke pålideligt kunne frembringe tydeligt adskilte annonceringsniveauer.

Disse sammenligninger blev brugt til at træne modellen med den førnævnte DPO-teknik, så den lærte at producere svar, der matchede det ønskede annonceringsniveau, men stadig var nyttige og naturlige.

Test

AdKnob blev evalueret på fire niveauer af annonceintensitet på seks modeller: Qwen3-4B-Instruct; Phi-4-Mini-Instruct (3.8B); LLaMA-3.2-3B-Instruct; Qwen2.5-14B-Instruct; Phi-4 (14B); og LLaMA-3.1-8B-Instruct.

Annonceintensitet og svarkvalitet blev vurderet hver for sig, mens nøjagtigheden af annoncemærkningen blev målt med ROC-AUC, præcision og genfinding samt F1.

Modellerne blev finjusteret med Low-Rank Adaptation (LoRA), svarene blev begrænset til 500 tokens, og tærsklen for annoncemærkning blev sat til 0.005. Alle eksperimenter blev udført på én enkelt NVIDIA H200-GPU med hele 141 GB HBM3e-VRAM.

Fire metoder blev brugt som sammenligningsgrundlag. I kategorien to-trins blev annoncering føjet til et svar, der allerede var genereret; med promptbaserede metoder blev annoncering indarbejdet via systemprompts.

De to øvrige metoder var følgende: JU-NLP byggede på finjustering for at fremme mindre iøjnefaldende annoncering, mens NL-prompt (almindelige systemprompts, der angiver annonceintensiteten, uden yderligere træning) brugte instruktioner på naturligt sprog til at angive fire niveauer af annonceintensitet: diskret (L1); moderat (L2); kraftig (L3); og maksimal (L4).

Tre metoder til reklamemærkning blev sammenlignet: Marker, hvor modellen blev bedt om at mærke reklamer, mens den skrev; BERTScore, som markerede sætninger, der lignede den leverede reklametekst; og AttnLRP, der blev brugt til at spore reklamers indflydelse gennem modellens interne processer:

Testresultater, der sammenligner reklameintensitet og svarenes kvalitet på tværs af fire AI-modeller. AdKnob (blå) opnåede et bredere og mere jævnt fordelt spænd af reklameniveauer (L1–L4) end de konkurrerende metoder, samtidig med at svarenes kvalitet generelt var højere ved sammenlignelige reklameintensiteter.

AdKnob leverede et bredere og mere ensartet spænd af reklameintensiteter end de konkurrerende metoder og gav generelt svar af højere kvalitet ved sammenlignelige niveauer. Det blev tilskrevet de nye kontroltokens og frasorteringen af svar af lav kvalitet under træningen.

Her skriver forfatterne:

‘JU-NLP finjusterer modellen, så reklamerne fremstår mindre påtrængende, uden eksplicit kontrol af intensiteten, og producerer derfor svar med en fast intensitet. NL-prompt dækker ganske vist flere intensiteter, men spændet er snævert, og reklamescorerne er inkonsistente, hvilket bekræfter, at prompts på naturligt sprog ikke er tilstrækkelige til at styre intensiteten.

‘AdKnob spænder derimod over et bredt og ensartet udvalg af reklameintensiteter.

‘Det skyldes vores kontroltokens til reklamer, som ikke har nogen forudtrænet semantik og udelukkende fungerer som betingelsessignaler til styring af reklameintensiteten, så DPO kan etablere en entydig kobling mellem hvert token og dets målintensitet.’

Artiklen bemærker, at forfatternes metode også gav svar af højere kvalitet end de konkurrerende metoder ved tilsvarende reklameintensiteter – en forbedring, der blev tilskrevet træningseksempler, hvor svar af dårligere kvalitet eksplicit blev afvist.

Dernæst evaluerede man systemets muligheder for reklamemærkning:

Resultater for registrering af reklamer på tværs af fire AI-modeller. Højere scorer angiver større præcision, og de bedste resultater er vist med fed.

Her opnåede AdKnob den højeste samlede præcision i registreringen på tværs af alle fire modeller og identificerede reklamer på blot 2,5-7,3 millisekunder pr. svar. Til sammenligning krævede BERTScore cirka 1.800 millisekunder, hvilket gjorde AdKnob mere end 500 gange hurtigere på den mindste testede model.

Forfatterne tilføjer:

‘AdKnob træner modellen til at etablere en stærk forbindelse mellem reklamerelaterede inputtokens og reklamesegmenter ved hjælp af eksplicit vejledning baseret på ablation, hvilket giver de bedste AUC- og F1-resultater på tværs af alle modeller.’

‘AdKnob muliggør desuden mærkning i realtid uden ekstra inferensomkostninger ved ∼3 ms pr. svar på [Qwen3-4B.]

I en kvalitativ test indgik reklamer for Nintendo Switch som én anbefaling blandt flere på niveau 1. På niveau 4 dominerede mærket svaret, og AdKnob identificerede reklamepassager ved begge intensiteter:

Eksempelsvar på en forespørgsel om Walmart Black Friday ved to reklameniveauer. Fremhævede passager markeret med [AD] angiver reklameindhold.

**Til sidst** gennemførte forfatterne en brugerundersøgelse med 913 deltagere, som vurderede reklameintensitet og svarenes kvalitet, sammenlignede AdKnob med konkurrerende metoder og bedømte, hvor præcist reklameindholdet blev identificeret:

Resultater af menneskelige evalueringer af AdKnob. Tabellen viser vurderinger af reklameintensitet og svarenes kvalitet, præferencer i forhold til konkurrerende metoder samt præcisionen af reklameregistreringen. Grønne celler angiver præferencer på over 50 %.

Forfatterne konkluderer:

‘AdKnob opnår den højeste AUC- og F1-score. AdKnob har især en høj genkaldelse og få falsk negative resultater, hvilket er afgørende set fra et regulatorisk perspektiv, da manglende oplysning om et reklamesegment indebærer store juridiske risici og kan svække tilliden.’

Konklusion

Et interessant spørgsmål om reklamer i LLM’er, som jeg ikke har bemærket, at nogen har beskæftiget sig med, er, hvad der sker, når outputtet uden reklame og det reklamebaserede output er det samme?

Hvis man f.eks. beder om en anbefaling af et lokalt spisested, og der kun er en McDonald’s og en café med virkelig dårlige anmeldelser, men McDonald’s har betalt for at blive vist, vil McDonald’s så ikke blive præsenteret i en annoncekontekst, fordi det passer til værtsrammens formål..selv hvis McDonald’s alligevel ville have været det naturlige valg?

Når jeg læser om den slags, som jeg skriver om ret regelmæssigt her på siden, føler jeg mig som en kalkun, der bladrer i et ovnskatalog. Det er værd at huske, at selv med den minimale mærkning, der kræves i visse områder, bliver det ‘uærlige’ indhold i vores output ikke fremhævet. Nogle af de meget få eksempler, der vises i denne og lignende artikler, illustrerer en voldsom grad af kommercielt indhold, der trænger sig ind på det oprindelige indhold.

Og selvfølgelig er det de håndplukkede eksempler; dem, der fungerede og ikke hallucinerede, dannede absurde eller stødende associationer eller på anden måde vakte kontrovers. I stor skala og for arkitekturer, der er så tilbøjelige til offentlige skandaler, kan dette måske være endnu en grund til, at de fleste af de førende tjenester går forsigtigt til værks med annoncering.

* Med titlen ‘AdKnob: Styring af annonceintensitet og mærkning af LLM-integreret annoncering, skrevet af seks forfattere fra School of Computing på KAIST.

** Som sædvanlig udelader vi ablationsstudier (undtagen i tilfælde, hvor de udgør en del af arbejdets kerneværdi snarere end blot en stikprøvekontrol).

Først offentliggjort torsdag den 5. november 2026