En volumkontroll for KI-basert reklameinnhold

«Bryllupsreiseperioden» for populær KI er ikke helt over. Hvis vi skulle sammenligne den med utviklingen fra Netflix’ gullalder til dagens fragmentering og kommersialisering av strømmetjenester, er vi kommet til rundt 2019. Den etablerte aktøren OpenAI møter nå sterk konkurranse fra en rekke velstående konkurrenter, men ingen av dem har fått et så solid fotfeste at de våger å tvinge reklame på den omskiftelige brukerbasen sin.

ChatGPT begrenser også foreløpig reklame i chatten til brukere av Free og Go. Gemini-annonser vises bare i forbindelse med AI Overviews og i AI Mode. Perplexity skrinla reklameplanene sine i vinter. xAI planlegger å innføre annonser på et tidspunkt. Microsoft Copilot har dem allerede, mens Claude avviser muligheten blankt.

Men vi vet at dette ikke kan vare. Når de reelle kostnadene ved inferens blir tydelige, og forestående KI-børsnoteringer gjør aksjonærenes krav til en del av bildet, kan vi, hvis historien er noen veiviser, regne med at vi etter hvert må begynne å granske LLM-svar for å skille reklamebasert innhold fra ikke-kommersielt innhold.

Skru opp til 11

I tillegg til spørsmål om hvor personlig tilpasset annonsene blir, og hvordan demografiske grupper målrettes, må leverandørene vurdere omfanget og typen integrering av kommersielt innhold.

Det er ikke enkelt: Er annonsene for diskrete, beholder man flere brukere, men mister annonsører som betaler bedre. Mer integrert annonseinnhold kan gi bedre annonseavtaler, men kan omgå regler for merking, skape kontrovers og føre til andre negative ringvirkninger.

I tillegg kan annonsesystemer med ulike nivåer kreve forskjellig «volum» og ulik grad av integrering, selv om variablene i LLM-er er ganske vanskelige å tallfeste. I et tidligere forsøk på å lage en slags «volumregulator» for annonser i LLM-svar endte man for eksempel med at måleuttrykkene i selve chatten ble inkludert:

Fra den nye artikkelen: Et eksempel på at etiketter fra et eldre system for «volumregulering» faktisk lekker ut i den genererte teksten. Kilde

Eksemplet ovenfor er hentet fra en ny artikkel* som tar for seg to sentrale utfordringer ved reklame basert på LLM-er: å kontrollere hvor fremtredende annonser er i svar fra chatboter, og å identifisere hvilke deler av svarene som utgjør betalt reklame:

Skisse av den nye AdKnob-metoden. Til venstre er Subway enten én av flere anbefalinger eller hovedfokuset, avhengig av hvilket reklamenivå som er valgt. Til høyre viser grønne markeringer reklameinnholdet i det genererte svaret.

Metoden, som har fått navnet AdKnob, bruker en skala med fire nivåer for å bestemme hvor kraftig en chatbot fremmer et produkt, samtidig som den identifiserer setningene som inneholder reklame. Målet er å gjøre reklameinnholdet enkelt å identifisere uten å måtte kjøre tilleggsmodeller eller på noen måte gjøre prosessen langsommere – noe som tradisjonelt er en av de raskeste bransjene som finnes.

I vedleggsmaterialet til den nye studien vises eksempler på tekst med innskutt reklame markert med rødt.

AdKnob-metoden ble testet på seks KI-modeller fra Alibaba, Microsoft og Meta. I hvert tilfelle kunne mengden reklame justeres på fire nivåer, fra en uformell omtale av et produkt til et svar som nesten utelukkende var viet til å fremme et varemerke.

Når AdKnob står på sitt mest aggressive «volum» (her er det «4», ikke det mytiske «11»), har varemerkebudskap en tendens til å dominere svaret.

Modeller med åpne vekter var nødvendige fordi de interne parameterne måtte endres under treningen, og oppmerksomhetsmønstrene undersøkes for å identifisere reklame i genererte svar. Dermed kunne man ikke teste frontmodeller som bare er tilgjengelige via API.

Resultatene ble testet med 913 personer via Amazon Mechanical Turk. Da svarene fra AdKnob ble sammenlignet med svar fra fire konkurrerende metoder, foretrakk deltakerne dem i 75 % til nesten 90 % av tilfellene.

Tro det eller ei: nytteverdi og tydelig merking av reklame var blant hovedgrunnene deltakerne oppga. Selv med den høyeste reklamemengden fikk svarene en gjennomsnittlig kvalitetsvurdering på 3,1 av 4, sammenlignet med 3,6 ved den laveste innstillingen.

Forfatterne hevder også at AdKnob var bedre til å identifisere hvilke setninger som inneholdt annonsering. På én av modellene tok denne kontrollen bare tre millisekunder per svar – en akseptabelt liten ekstra belastning, og en prosess som ikke krevde egen generering av token, i motsetning til flere tidligere metoder.

For å drive det nye systemet ble datasettet MI-KnobSet utviklet med utgangspunkt i det tidligere datasettet Webis Generated Native Ads 2024 datasettet. Det utvider den tidligere samlingen til å omfatte varierende nivåer av annonsering i chatbot-svar, med 3 946 treningseksempler og 913 testtilfeller.

Forfatterne skriver:

«[AdKnob] gjør det mulig for én enkelt LLM å generere svar med et bredt spekter av annonseintensitet. Tapet for annonseattribusjon styrker dessuten koblingen mellom annonserelaterte inndatatoken og generert annonseinnhold, slik at annonser kan merkes nøyaktig under inferens.

«Eksperimenter med seks grunnmodeller og brukerundersøkelser viser at AdKnob konsekvent presterer bedre enn eksisterende referansemetoder både når det gjelder annonsekvalitet og merking av annonser. Arbeidet vårt gir et praktisk grunnlag for transparent og kontrollerbar LLM-basert annonsering i virkelige tjenester.»

Metode

I motsetning til den tidligere metoden som er nevnt ovenfor, der ordene som ble brukt til å angi nivået på hvert trinn, endte opp med å lekke inn i utdataene, bruker den nye metoden fire spesiallagde kontrolltoken, som hver representerer en egen grad av annonsering:

q̂ = q ⊕ [AD_LV_n]

Selvfølgelig kan tokenet n ovenfor representere et vilkårlig tall, men i dette tilfellet begrenser AdKnob intervallet til 1-4 (noe som trolig er omtrent så finmasket som det er mulig å bli for akkurat disse variablene, altså hvor «åpenbart» og hvor «påtrengende» annonseinnholdet er).

Siden disse abstrakte tokenene ikke har noen forhåndsdefinert betydning, kan modellen lære hva de skal brukes til uten å forveksle dem med vanlig språk.

Forfatterne forklarer at modellen deretter trenes med direkte preferanseoptimalisering (DPO), slik at kontrolltokenene tilpasses den ønskede intensitetsgraden:

«[We] bygger dermed preferansene på to måltall: annonse[score], som måler hvor fremtredende og positivt merkevaren og annonseteksten innarbeides i svaret, og svarkvalitet[score], som måler hvor godt svaret imøtekommer brukeren[query].»

For å sette sammen datasettet av svarpar ble kandidatsvarene vurdert etter annonseintensitet, relevans, flyt og hvor mye informasjon fra et svar uten annonsering som var beholdt. Poengsummene ble deretter brukt til å velge treningseksempler for hvert annonseringsnivå.

For hvert annonseringsscenario ble det generert 25 mulige svar med GPT-4o, ved hjelp av instruksjoner som la opp til ulike grader av produktpromotering. Svaret med høyest poengsum for hvert ønsket nivå ble valgt ut sammen med tre bevisst dårligere alternativer, som representerte lav kvalitet, feil annonseintensitet eller begge deler:

Annonsepoeng for 25 kandidatsvar generert ved hjelp av fem ulike instruksjoner. Den betydelige overlappingen mellom de fem kurvene viser hvorfor instruksjoner alene ikke kunne gi pålitelig forskjellige annonseringsnivåer.

Disse sammenligningene ble brukt til å trene modellen med den nevnte DPO-metoden. Slik lærte den å lage svar som samsvarte med det ønskede annonseringsnivået, samtidig som de forble nyttige og naturlige.

Tester

AdKnob ble evaluert på fire nivåer av annonseintensitet med seks modeller: Qwen3-4B-Instruct; Phi-4-Mini-Instruct (3.8B); LLaMA-3.2-3B-Instruct; Qwen2.5-14B-Instruct; Phi-4 (14B); og LLaMA-3.1-8B-Instruct.

Annonseintensitet og svarkvalitet ble vurdert hver for seg, mens nøyaktigheten på annonsemerking ble målt med ROC-AUC, presisjon og gjenfinning og F1.

Modellene ble finjustert med Low-Rank Adaptation (LoRA), og genererte svar var begrenset til 500 token. Terskelen for annonsemerking var 0.005. Alle eksperimentene ble utført på én enkelt NVIDIA H200-GPU med svimlende 141 GB HBM3e-VRAM.

Fire metoder ble brukt som referanse. I kategorien to trinn ble annonsering lagt til et svar som allerede var generert, mens annonsering i den instruksjonsbaserte metoden ble innarbeidet gjennom systeminstruksjoner.

De to andre metodene var JU-NLP, som brukte finjustering for å favorisere mindre påtrengende annonsering, og NL-prompt, som brukte instruksjoner i naturlig språk for å angi fire annonseringsnivåer. Sistnevnte bygget på vanlige systeminstruksjoner som spesifiserte annonseintensiteten, uten ytterligere trening: diskré (L1), moderat (L2), kraftig (L3) og maksimal (L4).

Tre metoder for reklamemerking ble sammenlignet: Marker, som ba modellen merke reklame mens den skrev; BERTScore, som flagget setninger som lignet på den oppgitte annonseteksten; og AttnLRP, som ble brukt til å spore reklamens påvirkning gjennom modellens indre prosesser:

Testresultater som sammenligner reklameintensitet og svarenes kvalitet på tvers av fire KI-modeller. AdKnob (blå) oppnådde et bredere og jevnere fordelt spenn av reklamenivåer (L1–L4) enn konkurrerende metoder, samtidig som svarene generelt holdt høyere kvalitet ved sammenlignbar reklameintensitet.

AdKnob ga et bredere og mer ensartet spenn av reklameintensiteter enn de konkurrerende metodene, samtidig som svarene generelt holdt høyere kvalitet ved sammenlignbare nivåer. Dette ble tilskrevet de nye kontrolltokenene og at svar av lav kvalitet ble forkastet under treningen.

Her skriver forfatterne:

‘JU-NLP finjusteres for å gjøre reklamen mindre påfallende, uten eksplisitt kontroll over intensiteten, og produserer svar med fast intensitet. NL-prompt dekker flere intensiteter, men spennet er smalt og reklameskårene varierer, noe som bekrefter at instruksjoner på naturlig språk ikke er tilstrekkelige for å kontrollere intensiteten.

‘AdKnob dekker derimot et bredt og jevnt spenn av reklameintensiteter.

‘Dette skyldes kontrolltokenene våre for reklame. De har ingen forhåndstrent semantikk og fungerer utelukkende som betingelsessignaler for å kontrollere reklameintensiteten, slik at DPO kan etablere en entydig kobling mellom hvert token og intensiteten det er ment å representere.’

Ifølge artikkelen ga forfatternes metode også svar av høyere kvalitet enn de konkurrerende metodene ved tilsvarende reklameintensitet. Forbedringen ble tilskrevet treningseksempler der svar av lavere kvalitet uttrykkelig ble forkastet.

Deretter evaluerte de systemets evne til reklamemerking:

Resultater for reklameregistrering på tvers av fire KI-modeller. Høyere skårer betyr bedre nøyaktighet, og de beste resultatene er uthevet med fet skrift.

AdKnob oppnådde den høyeste samlede nøyaktigheten i reklameregistreringen på tvers av alle fire modellene, og identifiserte reklame på bare 2,5–7,3 millisekunder per svar. Til sammenligning brukte BERTScore omtrent 1 800 millisekunder, noe som gjorde AdKnob over 500 ganger raskere på den minste modellen som ble testet.

Forfatterne legger til:

‘AdKnob trener modellen til å etablere en sterk kobling mellom reklamerelaterte tokener i inndataene og reklamesegmenter ved hjelp av eksplisitt veiledning basert på ablasjon, og oppnår dermed best AUC- og F1-skår på tvers av alle modellene.’

‘I tillegg muliggjør AdKnob merking i sanntid uten ekstra inferenskostnad på ∼3 ms per svar på [Qwen3-4B.]

I en kvalitativ test var reklame for Nintendo Switch én av flere anbefalinger på nivå 1. På nivå 4 dominerte merkevaren svaret, og AdKnob identifiserte reklamepregede avsnitt på begge intensitetsnivåene:

Eksempelsvar på et spørsmål om Walmart Black Friday ved to reklamenivåer. Uthevede avsnitt merket [AD] viser reklameinnhold.

Til slutt** gjennomførte forfatterne en brukerundersøkelse med 913 deltakere. Deltakerne vurderte reklameintensiteten og svarenes kvalitet, sammenlignet AdKnob med konkurrerende metoder og vurderte hvor nøyaktig reklameinnholdet ble identifisert:

Resultater fra menneskelige evalueringer av AdKnob. Tabellen viser vurderinger av reklameintensitet og svarenes kvalitet, hvor ofte AdKnob ble foretrukket fremfor konkurrerende metoder, og nøyaktigheten i reklameregistreringen. Grønne celler viser at AdKnob ble foretrukket i over 50 % av tilfellene.

Forfatterne konkluderer:

‘AdKnob oppnår de høyeste AUC- og F1-skårene. AdKnob har særlig høy gjenfinningsgrad og få falske negative, noe som er avgjørende fra et regulatorisk perspektiv, ettersom manglende merking av et reklamesegment innebærer betydelig juridisk risiko og svekker tilliten.’

Konklusjon

Et interessant spørsmål om reklame i LLM-er, som jeg ikke har sett bli viet oppmerksomhet, er hva som skjer når utdataene uten reklame er identiske med de reklamebaserte utdataene.

Hvis man for eksempel ber om en anbefaling av et lokalt spisested, og det bare finnes en McDonald’s og en kafé med svært dårlige anmeldelser, men McDonald’s har betalt for en fremtredende plassering, vil McDonald’s antakelig bli presentert som en annonse fordi det tjener vertssystemets formål – selv om McDonald’s uansett ville vært det naturlige valget?

Når jeg leser om slike ting, som jeg skriver om ganske jevnlig her på nettstedet, føler jeg meg som en kalkun som blar i en ovnskatalog. Det kan være verdt å huske at selv med den minimale merkingen som kreves i enkelte områder, vil det «uærlige» innholdet i utdataene våre ikke bli fremhevet. Noen av de svært få eksemplene som vises i denne og lignende artikler, illustrerer en grov grad av kommersielt innhold som trenger seg inn på bekostning av det opprinnelige innholdet.

Og dette er selvfølgelig de spesielt utvalgte eksemplene – de som fungerte, og som ikke hallusinerte, skapte hårreisende eller støtende assosiasjoner eller på annet vis førte til kontrovers. I stor skala kan dette kanskje være en ekstra grunn til at de fleste av de ledende tjenestene går forsiktig fram når det gjelder annonsering, gitt hvor utsatt slike arkitekturer er for episoder med offentlig vanære.

* Med tittelen «AdKnob: kontroll av annonseintensitet og merking for LLM-basert annonsering», skrevet av seks forfattere ved School of Computing ved KAIST.

** Som vanlig utelater vi ablasjonsstudier (unntatt når de utgjør en del av arbeidets kjerneverdi, snarere enn å være en stikkprøvekontroll).

Først publisert torsdag 5. november 2026