Förberedelser för reklam i stora språkmodeller

Ny forskning visar hur annonser snart kan infogas direkt i ChatGPT-liknande svar – inte som banner eller popups, utan vävda in i svaret självt. En ny benchmark testar hur väl dessa annonsinjektioner kan förbli användbara, trovärdiga och lönsamma, och kan kräva en avvägning mellan en acceptabel användarupplevelse och klickfrekvenser.

Som den allmänna och växande populariteten för stora språkmodeller undergräver de traditionella reklammetoderna som har drivit internet nästan sedan dess födelse, kommer alla som är bekanta med venturekapitalisters marknadsstrategier att undra hur länge AI-chattbotar kommer att kunna hålla tillbaka från att inkludera reklammaterial i sina svar.

Som Netflix och en växande lista av streamingtjänster demonstrerar, återvinner den traditionella kabeleran-strategin att kombinera betalda prenumerationer med infogade annonser (ofta motiverade som ett sätt att hålla konsumentkostnaderna nere) momentum; och skiftet mot att infoga annonser direkt i LLM-utdata börjar att framstå som mindre spekulativt och mer som en naturlig anpassning av den modellen.

Från artikeln ‘Onlineannonser med LLM: Möjligheter och utmaningar’, ett ganska representativt exempel på den övergång som de flesta människor förväntar sig när LLM monteras. Källa: https://www.sigecom.org/exchanges/volume_22/2/FEIZI.pdf

Perspektivet att inkludera annonser i en ny medium som redan har betydande problem med trovärdighet, kan tyckas förhastat; men omfattningen av investeringar i generativ AI under de senaste tolv månaderna tyder på att marknaden inte för närvarande definieras av en försiktig eller cirkumspekt inställning; och med större aktörer som OpenAI som kan vara överbelastade och behöver en tidig avkastning på massiva investeringar, tyder historien på att den smekmånadsperioden med annonsfria utdata kan vara på väg att ta slut.

GEM-Bench

Med denna klimat och med dessa affärsmässiga imperativ i åtanke, erbjuder en intressant ny artikel från Singapore den första benchmarken riktad mot AI-chattgränssnitt, tillsammans med nya kvantifierbara mått för vad som kan visa sig vara en av de mest explosiva reklamarenorna under de senaste 100 åren.

Kanske optimistiskt antar författarna en tydlig gräns mellan “sann” innehåll och reklam, där “avvikelsen” från standardsvaren till marknadsinnehåll är ganska lätt att upptäcka:

Exempel på den typ av annonsintegration som kan komma att bli verklighet under de två modeller som studeras i den nya artikeln. Källa: https://arxiv.org/pdf/2509.14221

Det återstår att se om annonsörerna själva kommer att, som de har för vana, försöka få sin annonsinnehåll mer subtilt integrerat i utdata än i exemplen som ges i artikeln.

Men dessa är frågor för senare; för tillfället är fältet så nytt att till och med grundläggande terminologi saknas, eller också inte är fastställd.

Artikeln inför därför Generative Engine Marketing (GEM) som en ny ram för att montera LLM-baserade chattbotar, genom att infoga relevanta annonser direkt i genererade svar.

Forskarna identifierar Ad-Injected Response (AIR) generation som den centrala utmaningen i GEM, och hävdar att befintliga benchmarkar är dåligt anpassade för att studera den. För att fylla denna lucka introducerar de vad de påstår vara den första benchmarken som specifikt är utformad för detta ändamål.

GEM-Bench består av tre kuraterade datamängder som omfattar chattbot- och sökmotorscenarier. Den innehåller också en måttontologi som är utformad för att bedöma flera aspekter av användartillfredsställelse och engagemang, tillsammans med en uppsättning basmetoder som implementeras inom ett modulärt multiagentramverk.

Författarna hävdar att medan enkla promptbaserade metoder kan uppnå respektabla engagemangsmått, såsom förhöjda klickfrekvenser (CTR), tenderar de att försämra användartillfredsställelse. Tillvägagångssätt som infogar annonser i förgenererade, annonsfria svar visar förbättringar i tillit och svarkvalitet – men till en högre beräkningskostnad.

Dessa avvägningar, hävdar artikeln, betonar behovet av mer effektiva och effektiva tekniker för att infoga annonser i genererade utdata.

Den nya artikeln heter GEM-Bench: En benchmark för Ad-Injected Response Generation inom Generative Engine Marketing, och kommer från fyra forskare vid National University of Singapore.

Metod

Den övergripande ramen för Generative Engine Marketing (GEM) lånar från de grundläggande principerna för Search Engine Marketing (SEM). Traditionell SEM fungerar genom att matcha frågor till annonser via en multistegsprocess där annonsörer budar på nyckelord; systemet identifierar vilka frågor som utlöser annonser; systemet uppskattar hur sannolikt varje annons är att klickas; och sedan tilldelar placering genom en auktion som balanserar bud med förväntat engagemang.

I kontrast anpassar GEM-tillvägagångssättet samma stadier till LLM, men står inför nya utmaningar vid varje steg: det finns inga fasta annonsplatser, så systemet måste bestämma om en fråga kan ta en annons och var den ska infogas i fritt text; att uppskatta klickfrekvenser blir svårare utan strukturerade layouter; och relevans måste balanseras mot användartillfredsställelse, eftersom annonserna är vävda direkt in i modellens egen utdata snarare än serveras som fristående kopior.

En av de baslinjer som studeras i arbetet, Ad-Chat, representerar en enkel metod där annonsinnehåll infogas i systemprompten innan modellen genererar ett svar. Detta innebär att modellen producerar ett svar med annonsen redan infogad, styrd av en förinställd agenda.

Den andra tillvägagångssättet, Ad-LLM, utvecklades av författarna som en del av den nya benchmarken. Ad-LLM tar en modulär väg, först genererar ett rent, annonsfritt svar; väljer en relevant annons; identifierar den bästa infogningspunkten baserat på semantisk flöde; och slutligen skriver om utdata för att integrera annonsen smidigt:

Jämförelse mellan Ad-Chat och författarnas ‘Ad-LLM’-metod. Ad-Chat injicerar annonser via systemprompten innan generering, med begränsad placeringskontroll. Ad-LLM separerar svarsgenerering och annonsinjektion, väljer infogningspunkter baserat på semantiskt flöde, och finslipar resultatet. Båda bedöms med GEM-Bench-mått för tillfredsställelse och engagemang.

Medan Ad-Chat är billigare och ibland mer övertygande, tenderar den att minska tillit och exakthet. Ad-LLM presterar bättre på användartillfredsställelse-mått, men till en högre kostnad.

Data

För AIR-generering skapades två typer av datamängder initialt: en användarfrågesats (Användare) och en annonsdatabas (AdDB).

Eftersom användarfrågor definierar annonseringsmöjligheter i LLM:s svar, kan “annonsinventeringen” sägas existera i dessa svar, även om detta definieras inte bara av frågans tillämplighet utan också av den utsträckning till vilken systemet kommer att följa sina egna regler om att balansera integritet mot annonsörernas imperativ.

I vilket fall som helst kommer annonserna endast att visas i svar, även om (se schema ovan) användarbegäranden kan vara hemligt utökade för att underlätta annonsprocessen.

För chattbotscenariot konstruerade författarna två frågedatamängder: MT-Human och LM-Market.

MT-Human drogs från humanioradelen av MT-Bench, en multi-turn-benchmark för LLM, och innehåller frågor som sannolikt kan innehålla annonsinnehåll.

LM-Market byggdes från över en halv miljon riktiga ChatGPT-frågor som samlades in av LMSYS-Chat-1M, filtrerade för engelskspråkiga marknadsrelaterade frågor, och grupperades efter ämne med hjälp av semantiska inbäddningar.

I båda fallen valdes de slutliga frågorna ut genom en multistegsprocess som kombinerade automatisk klusteranalys, LLM-poäng och mänsklig verifiering, med målet att identifiera frågor där annonsinjektion skulle vara naturlig och rimlig.

För att utvärdera kvaliteten på annonsinjektioner definierar GEM ett måttontologi som täcker både användartillfredsställelse och engagemang. Detta omfattar kvantitativa mått som svarflöde, koherens och klickfrekvens, samt kvalitativa standarder som tillit, exakthet och naturalitet – mått som avser att reflektera både hur väl en annons passar in i ett svar och hur sannolikt användare är att uppfatta och interagera med den.

Med avseende på “Naturalitet” hävdar artikeln:

‘[Naturalitet] mäter i vilken utsträckning annonsinjektion stör svarflödet och naturaliteten i konversationen, baserat på avbrott och äkthet. Avbrott undersöker om annonsen skapar en “hoppa ut” eller “plötslig” känsla under läsning, vilket bryter användarens kontinuerliga fokus på ämnet.

‘Äkthet utvärderar om annonsen undergräver “mänsklig beröring” eller “naturlig flöde” i konversationen, vilket gör svaret rigid, formel och mindre äkta.’

För att generera en traditionell sökmotormiljö för testfasen skapade författarna en datamängd med titeln CA-Prod från AdsCVLR-kommersiella korpusen, som innehåller 300 000 fråga-annonspar, var och en bestående av ett nyckelord, metadata och en manuell etikett som markerar relevans:

Från den ursprungliga källartikeln, exempel från AdsCVLR-databasen, som hjälpte till att tillhandahålla material för författarnas tester. Källa: http://www.jdl.link/doc/2011/20221224_AdsCVLR.pdf

Poster med saknade fält togs bort, och endast frågor som innehöll både positiva och negativa annonser (se bild ovan för exempel) behölls.

För att finslipa data grupperades annonserna i sex ämnesgrupper (gräsmatte- och trädgårdsmaskiner, slip-on skor, hushållsartiklar, näringsämnen, Android-enheter och kvinnors klänningar) med hjälp av semantiska inbäddningar och K-means-klusteranalys.

Frågorna tilldelades sedan till ämnen enligt deras positiva annonser, med för tunna eller täta uppsättningar uteslutna, innan 120 frågor och 2 215 unika produkter slutligen valdes ut för benchmarken.

Tester

För att utvärdera hur väl de varierande annonsinjektionsstrategierna presterade, tog benchmarken upp tre kärnfrågor: hur effektiv varje metod var över de definierade tillfredsställelse- och engagemangsmåtten; hur de interna designvalen inom Ad-LLM kunde påverka dess resultat; och hur den beräkningsmässiga kostnaden skulle jämföras över system.

Författarna utvärderade Ad-Chat och tre varianter av Ad-LLM-pipelinen, var och en av vilka skiljer sig åt i hur annonser hämtades (antingen från prompten eller från det genererade svaret) och om den slutliga utdatatoken skrevs om för flyt.

Alla metoder kördes med doubao-1-5-lite-32k som basmodell och bedömdes med gpt-4.1-mini.

Effektivitet hos Ad-Chat och Ad-LLM-varianter över MT-Human-, LM-Market- och CA-Prod-databaserna. Kvantitativa mått inkluderar svarflöde (RF), svarkoherens (RC), annonsflöde (AF), annonskoherens (AC), injiceringsfrekvens (IR), klickfrekvens (CTR) och totala poäng. Kvalitativa mått omfattar exakthet, naturalitet, personlighet, tillit, uppmärksamhet, klick och total prestanda.

Över alla tre databaserna producerade Ad-LLM starkare resultat än Ad-Chat på både tillfredsställelse- och engagemangsmått. Som visas i resultattabellen ovan förbättrade den bästa Ad-LLM-varianten Ad-Chat med 8,4, 1,5 och 3,8 procent i totala kvantitativa poäng; och med 10,7, 10,4 och 8,6 procent i kvalitativa poäng för MT-Human, LM-Market och CA-Prod, respectively.

Av dessa resultat hävdar författarna:

‘Dessa resultat visar att generering av ett rått svar och efterföljande injicering av annonser ger bättre svarkvalitet jämfört med den enklare metoden att enbart lita på systempromptinjektion.

‘För specifika användartillfredsställelse- och engagemangsdimensioner visar Ad-Chat konsekvent en betydande prestandagap jämfört med Ad-LLM-lösningar över alla tre databaserna, särskilt i dimensioner som exakthet, personlighet och tillit.’

Ytterligare visade Ad-LLM sina starkaste vinster i exakthet, personlighet och tillit, och överträffade Ad-Chat med upp till 17,6%, 23,3% och 17,2% respectively. Enligt artikeln kan dessa skillnader bero på det sätt Ad-Chat använder systemprompten för att styra modellen mot mer personlig och promotoriskt språk – som författarna hävdar kan leda till en “försäljningsliknande” ton som minskar exakthet och tillit.

Ad-Chat producerade också lägre injiceringsfrekvenser, även när de utvärderades på frågor som valts ut för annonslämplighet, och författarna tillskriver detta en tillit till promptbaserade signaler (som de karakteriserar som svåra att kontrollera).

I sökmotormiljön uppnådde Ad-Chat en 8,6% högre klickfrekvens, vilket artikeln föreslår kan reflektera fördelen med att använda en LLM för att hämta produktkandidater, snarare än att enbart lita på semantiska inbäddningar:

Jämförelse av totala prestandapoäng över fyra domarmodeller (GPT-4.1-mini, Qwen-max, claude-3-5-haiku, kimi-k2) för Ad-Chat och tre Ad-LLM-varianter (GI-R, GIR-R, GIR-P) på MT-Human-, LM-Market- och CA-Prod-databaserna. Medan poäng varierar mellan domare, överträffar Ad-LLM konsekvent Ad-Chat över alla förhållanden.

Den andra resultattabellen (visad ovan) visar att Ad-LLM-lösningar konsekvent överträffar Ad-Chat över alla tre databaserna, enligt de fyra domarmodellerna; GPT-4.1-mini; Qwen-max; Claude-3-5-haiku; och Kimi-k2.

Dessa domare valdes för att skilja sig från basmodellen doubao-1-5-lite-32k, vilket hjälper till att minska bias från modellfamiljejustering. GIR-R rankades som första eller andra i varje fall, vilket tyder på en bred överensstämmelse mellan domarna om Ad-LLM:s överlägsenhet. Den detaljerade nedbrytningen över enskilda kvalitativa dimensioner följer nära det mönster som ses i de omedelbart föregående resultaten (visade längre ovan).

I slutet av artikeln noterar författarna att både Ad-Chat och Ad-LLM kräver högre resurser än de mer innovativa och effektiva modellerna, och att behovet av att använda LLM-agenter i den här typen av transaktion kan representera en betydande överhäng. Även om man kan föreställa sig att latensproblem (vanligtvis kritiska i annonsvisningsscenarier) kan uppstå från LLM-användning av det här slaget (även om detta inte specifikt diskuteras i artikeln).

I vilket fall som helst visade författarnas implementering av Ad-Chat-strategin (den övre raden i det tidigare schemat som visas i början av artikeln) den högsta klickfrekvensen, även om den hade den högsta associerade LLM-kostnaden.

Slutsats

Även om det inte är förvånande att litteraturen skulle spekulera om metoderna för att LLM kan bära reklam, finns det faktiskt ganska lite offentligt tillgänglig forskning på ämnet; detta gör den aktuella artikeln, och vad som kan tolkas som dess föregångare, intressant läsning.

Den som har arbetat med en annonsförsäljningsavdelning eller sålt inventarier kommer att veta att annonsörer alltid vill ha mer – idealiskt, att ha annonser presenterade som faktiskt innehåll, helt otydliga från värdinnehållsströmmen; och de kommer att betala en betydande premium för detta (tillsammans med värden, som därmed riskerar sin trovärdighet och ställning med läsare och andra typer av intressenter).

Därför kommer det att vara intressant att se i vilken utsträckning, om någon, de annonsbelastade kodikaler som förutspås i de två artiklarna kan vara motiverade att krypa längre upp i en LLM:s svar, och närmare “nyttolasten”. Publicerad första gången torsdagen den 18 september 2025