Prepararsi per la Pubblicità nei Modelli di Linguaggio di Grande Scala

Nuove ricerche mostrano come gli annunci potrebbero presto essere incorporati direttamente all’interno delle risposte di ChatGPT, non come banner o pop-up, ma intessuti nella risposta stessa. Un nuovo benchmark testa quanto bene queste risposte con annunci incorporati possano rimanere utili, credibili e redditizi, e potrebbe richiedere un compromesso tra un’esperienza utente accettabile e i clic.

Man mano che la popolarità diffusa e crescente dei Modelli di Linguaggio di Grande Scala minaccia i metodi di pubblicità tradizionali che hanno alimentato Internet quasi dalla sua nascita, chiunque sia familiare con le tattiche di cattura del mercato dei venture capitalist sarà curioso di sapere quanto a lungo gli chatbot AI potranno resistere all’inclusione di contenuti pubblicitari nelle loro risposte.

Man mano che Netflix e un numero crescente di servizi di streaming dimostrano, la strategia tradizionale dell’era via cavo di combinare abbonamenti a pagamento con pubblicità incorporata (spesso giustificata come un modo per mantenere i costi dei consumatori bassi) sta riguadagnando slancio; e il passaggio all’incorporazione di annunci direttamente nei risultati dei Modelli di Linguaggio di Grande Scala sta iniziando a apparire meno speculativo e più come un adattamento naturale di quel modello.

Dal paper ‘Online Advertisements with LLMs: Opportunities and Challenges’, un esempio abbastanza rappresentativo della transizione che la maggior parte delle persone si aspetta quando i Modelli di Linguaggio di Grande Scala si monetizzano. Fonte: https://www.sigecom.org/exchanges/volume_22/2/FEIZI.pdf

La prospettiva di includere annunci in un mezzo emergente che già ha problemi notevoli di credibilità, potrebbe sembrare precipitosa; eppure la scala di investimenti in intelligenza artificiale generativa negli ultimi dodici mesi suggerisce che il mercato non è attualmente definito da un atteggiamento cauto o circospetto; e con grandi player come OpenAI che potrebbero essere sovraccaricati e aver bisogno di un ritorno rapido sugli investimenti massicci, la storia indica che il periodo di prova di output senza pubblicità potrebbe essere finito.

GEM-Bench

Con questo clima e con queste imperativi aziendali in mente, un nuovo paper di Singapore offre il primo benchmark volto a interfacce di chatbot AI, insieme a nuove metriche di quantificazione per ciò che potrebbe rivelarsi uno degli ambienti pubblicitari più esplosivi degli ultimi 100 anni.

Forse ottimisticamente, gli autori suppongono una netta divisione tra ‘contenuto vero’ e contenuto pubblicitario, dove la ‘diversione’ dalle risposte standard al copione di marketing è abbastanza facile da individuare:

Esempi del tipo di integrazione degli annunci che potrebbe verificarsi in base a due modelli studiati nel nuovo paper. Fonte: https://arxiv.org/pdf/2509.14221

È ancora da vedere se gli inserzionisti stessi cercheranno di avere il loro contenuto pubblicitario più sottilmente integrato nell’output rispetto agli esempi dati nel paper.

Tuttavia, queste sono questioni per dopo; per il momento, il campo è così nascente che anche la terminologia di base è mancante o non è ancora stabilita.

Il paper introduce quindi Generative Engine Marketing (GEM) come un nuovo framework per monetizzare i chatbot basati su Modelli di Linguaggio di Grande Scala, incorporando annunci rilevanti direttamente nelle risposte generate.

I ricercatori identificano Ad-Injected Response (AIR) generation come la sfida centrale in GEM, e sostengono che i benchmark esistenti sono poco adatti per studiarla. Per colmare questa lacuna, introducono ciò che affermano essere il primo benchmark progettato specificamente per questo scopo.

GEM-Bench consiste di tre set di dati curati che coprono scenari di chatbot e motori di ricerca. Include anche un’ontologia di metriche progettata per valutare molteplici aspetti della soddisfazione e dell’engagement dell’utente, insieme a una suite di metodi di base implementati all’interno di un framework multi-agente modulare.

Gli autori sostengono che mentre i metodi basati su prompt semplici possono raggiungere metriche di engagement rispettabili, come tassi di clic più elevati, tendono a degradare la soddisfazione dell’utente. Gli approcci che inseriscono annunci in risposte pregenerate, prive di pubblicità, mostrano miglioramenti nella fiducia e nella qualità della risposta – sebbene a un costo di maggiore overhead computazionale.

Questi compromessi, sostiene il paper, evidenziano la necessità di tecniche più efficaci e efficienti per integrare gli annunci nei risultati generativi.

Il nuovo lavoro è intitolato GEM-Bench: Un Benchmark per la Generazione di Risposte con Annunci Incorporati all’interno del Marketing di Motori Generativi, e proviene da quattro ricercatori dell’Università Nazionale di Singapore.

Metodo

L’outline per il Marketing di Motori Generativi (GEM) prende in prestito i principi di base del Marketing dei Motori di Ricerca (SEM). Il SEM tradizionale funziona abbinando query ad annunci attraverso un pipeline multistadio in cui gli inserzionisti offrono sui keyword; il sistema identifica quali query attivano gli annunci; il sistema stima la probabilità che ogni annuncio venga cliccato; e quindi assegna la posizione attraverso un’asta che bilancia le offerte con l’engagement previsto.

Al contrario, l’approccio GEM adatta gli stessi stadi ai Modelli di Linguaggio di Grande Scala, ma affronta nuove sfide a ogni passaggio: non ci sono slot pubblicitari fissi, quindi il sistema deve decidere se una query può accettare un annuncio e dove inserirlo nel testo libero; stimare i tassi di clic diventa più difficile senza layout strutturati; e la rilevanza deve essere bilanciata con la soddisfazione dell’utente, poiché gli annunci sono intessuti direttamente nel risultato del modello piuttosto che essere serviti come copia autonoma.

Uno dei metodi di base studiati nel lavoro, Ad-Chat, rappresenta un metodo semplice in cui il contenuto pubblicitario viene inserito nel prompt del sistema prima che il modello generi una risposta. Ciò significa che il modello produce una risposta con l’annuncio già incorporato, guidato da un’agenda predefinita.

L’altro approccio, Ad-LLM, è stato sviluppato dagli autori come parte del nuovo benchmark. Ad-LLM segue un percorso modulare, generando prima una risposta pulita e priva di pubblicità; selezionando un annuncio rilevante; identificando il miglior punto di inserimento in base al flusso semantico; e infine riscrivendo il risultato per integrare l’annuncio in modo fluido:

Confronto tra Ad-Chat e il metodo ‘Ad-LLM’ degli autori. Ad-Chat inietta gli annunci tramite il prompt del sistema prima della generazione, con un controllo di posizionamento limitato. Ad-LLM separa la generazione della risposta e l’inserimento degli annunci, scegliendo i punti di inserimento in base al flusso semantico e raffinando il risultato. Entrambi vengono valutati utilizzando le metriche GEM-Bench per la soddisfazione e l’engagement.

Mentre Ad-Chat è più economico e a volte più persuasivo, tende a ridurre la fiducia e l’accuratezza. Ad-LLM si esegue meglio sulle metriche di soddisfazione dell’utente, ma a un costo maggiore.

Dati

Per la generazione di risposte con annunci incorporati, due tipi di set di dati sono stati generati inizialmente: un set di query dell’utente (Utente) e un database di annunci (AdDB).

Poiché le query dell’utente definiscono le opportunità pubblicitarie nelle risposte del modello, l'”inventario pubblicitario” può essere detto esistente in queste risposte, sebbene ciò sia definito non solo dall’applicabilità della query dell’utente, ma anche dall’estensione in cui il sistema obbedirà alle proprie regole sulla bilanciamento dell’integrità con gli imperativi degli inserzionisti.

In ogni caso, gli annunci appariranno solo nelle risposte, anche se (vedi schema sopra) le richieste degli utenti potrebbero essere segretamente aumentate per accomodare il processo di servizio degli annunci.

Per lo scenario del chatbot, gli autori hanno costruito due set di dati di query: MT-Human e LM-Market.

MT-Human è stato tratto dalla sezione umanistica di MT-Bench, un benchmark multistadio per i Modelli di Linguaggio di Grande Scala, e contiene domande che potrebbero accogliere contenuto pubblicitario.

LM-Market è stato costruito da oltre mezzo milione di query reali di ChatGPT raccolte da LMSYS-Chat-1M, filtrate per prompt di marketing in lingua inglese, e raggruppate per argomento utilizzando inserimenti semantici.

In entrambi i casi, le query finali sono state selezionate attraverso un pipeline multistadio che combina clustering automatizzato, punteggi del modello e verifica umana, con l’obiettivo di identificare prompt in cui l’inserimento degli annunci sarebbe naturale e plausibile.

Per valutare la qualità delle risposte con annunci incorporati, GEM definisce un’ontologia di misurazione che copre sia la soddisfazione dell’utente che l’engagement. Ciò include metriche quantitative come flusso di risposta, coerenza e tasso di clic, nonché standard qualitativi come fiducia, accuratezza e naturalità – metriche intese a riflettere sia come gli annunci si adattano a una risposta, sia come gli utenti sono probabili percepirci e interagirci.

Riguardo alla “Naturalità”, il paper afferma:

‘[Naturalità] misura l’estensione in cui l’inserimento degli annunci interrompe il flusso e la naturalità della conversazione, in base all’interruptività e all’autenticità. L’interruptività esamina se l’annuncio crea un sentimento di “saltare fuori” o “improvviso” durante la lettura, rompendo la focalizzazione continua dell’utente sull’argomento. ‘

‘L’autenticità valuta se l’annuncio compromette il “tocco umano” o il “flusso naturale” della conversazione, rendendo la risposta rigida, formulaica e meno autentica.’

Per generare uno scenario di motore di ricerca tradizionale per la fase di test, gli autori hanno creato un set di dati intitolato CA-Prod dal corpus commerciale AdsCVLR, che contiene 300.000 paia di query-annuncio, ciascuno composto da una parola chiave, metadati e un’etichetta manuale che segnala la rilevanza:

Dall’articolo originale, esempi dal set di dati AdsCVLR, che hanno aiutato a fornire materiale per i test degli autori. Fonte: http://www.jdl.link/doc/2011/20221224_AdsCVLR.pdf

I record con campi mancanti sono stati rimossi e sono stati mantenuti solo le query che contengono sia annunci positivi che negativi (vedi immagine sopra per esempi) sono stati mantenuti.

Per raffinare i dati, gli annunci sono stati raggruppati in sei gruppi tematici (attrezzature per il giardino e il prato, scarpe con slip-on, articoli per la casa, integratori alimentari, dispositivi Android e abiti da donna) utilizzando inserimenti semantici e clustering K-means.

Le query sono state quindi assegnate agli argomenti in base agli annunci positivi, con set troppo sparsi o densi esclusi, prima che 120 query e 2.215 prodotti unici sono stati campionati per il benchmark.

Test

Per valutare quanto bene le strategie di iniezione degli annunci abbiano funzionato, il benchmark ha affrontato tre questioni fondamentali: quanto efficace ogni metodo fosse rispetto alle metriche di soddisfazione e engagement definite; come le scelte di progettazione interne in Ad-LLM potrebbero influenzare i risultati; e come il costo computazionale sarebbe stato confrontato tra i sistemi.

Gli autori hanno valutato Ad-Chat e tre varianti del pipeline Ad-LLM, ciascuna delle quali differiva nel modo in cui gli annunci venivano recuperati (o dal prompt o dalla risposta generata) e se il risultato finale veniva riscritto per la fluidità.

Tutti i metodi sono stati eseguiti utilizzando doubao-1-5-lite-32k come modello di base e giudicati con gpt-4.1-mini.

Efficacia di Ad-Chat e varianti di Ad-LLM nei set di dati MT-Human, LM-Market e CA-Prod. Le metriche quantitative includono flusso di risposta (RF), coerenza di risposta (RC), flusso di annuncio (AF), coerenza di annuncio (AC), tasso di iniezione (IR), tasso di clic (CTR) e punteggi totali. Le metriche qualitative coprono accuratezza, naturalità, personalità, fiducia, notifica, clic (clic) e prestazioni totali.

Nei tre set di dati, Ad-LLM ha prodotto risultati più forti rispetto ad Ad-Chat sia nelle misure di soddisfazione che di engagement. Come mostrato nel tavolo dei risultati sopra, la variante Ad-LLM migliore ha migliorato Ad-Chat del 8,4%, 1,5% e 3,8% nei punteggi quantitativi totali; e del 10,7%, 10,4% e 8,6% nei punteggi qualitativi per MT-Human, LM-Market e CA-Prod rispettivamente.

Di questi risultati, gli autori affermano:

‘Questi risultati dimostrano che generare una risposta grezza e successivamente iniettare gli annunci produce una qualità di risposta migliore rispetto all’approccio più semplice di affidarsi esclusivamente all’iniezione del prompt del sistema. ‘

‘Per specifiche dimensioni di soddisfazione e engagement dell’utente, Ad-Chat mostra costantemente un divario di prestazioni sostanziale rispetto alle soluzioni Ad-LLM in tutti e tre i set di dati, in particolare nelle dimensioni di accuratezza, personalità e fiducia.’

Inoltre, Ad-LLM ha mostrato i suoi guadagni più forti in accuratezza, personalità e fiducia, superando Ad-Chat fino al 17,6%, 23,3% e 17,2% rispettivamente. Secondo il paper, queste differenze potrebbero derivare dal modo in cui Ad-Chat utilizza i prompt del sistema per guidare il modello verso un linguaggio più personalizzato e promozionale – che gli autori sostengono possa portare a un tono “da venditore” che riduce l’accuratezza e la fiducia.

Ad-Chat ha anche prodotto tassi di iniezione più bassi, anche quando valutato su query selezionate per la idoneità degli annunci, e gli autori attribuiscono ciò a una dipendenza dai cue del prompt (che caratterizzano come difficile da controllare).

Nell’ambito del motore di ricerca, tuttavia, Ad-Chat ha raggiunto un tasso di clic del 8,6% più alto, che il paper suggerisce possa riflettere il vantaggio di utilizzare un modello di linguaggio per recuperare i candidati del prodotto, piuttosto che affidarsi esclusivamente agli inserimenti semantici:

Confronto dei punteggi di prestazione totali tra quattro modelli di giudice (GPT-4.1-mini, Qwen-max, claude-3-5-haiku, kimi-k2) per Ad-Chat e tre varianti di Ad-LLM (GI-R, GIR-R, GIR-P) nei set di dati MT-Human, LM-Market e CA-Prod. Sebbene i punteggi varino per giudice, Ad-LLM supera costantemente Ad-Chat in tutte le condizioni.

Il secondo tavolo dei risultati (mostrato sopra) illustra che in tutti e tre i set di dati le soluzioni Ad-LLM superano costantemente Ad-Chat attraverso quattro modelli di giudice; GPT-4.1-mini; Qwen-max; Claude-3-5-haiku; e Kimi-k2.

Questi giudici sono stati scelti per differire dal modello di base doubao-1-5-lite-32k, aiutando a ridurre il bias derivante dall’allineamento della famiglia di modelli. GIR-R si è classificato al primo o al secondo posto in ogni caso, suggerendo un ampio accordo tra i giudici sulla superiorità di Ad-LLM. La suddivisione delle dimensioni qualitative individuali segue strettamente il modello visto nei risultati immediatamente precedenti (mostrati sopra).

Per concludere, il paper osserva che sia Ad-Chat che Ad-LLM richiedono risorse più elevate rispetto ai modelli più innovativi e efficaci, e che la necessità di utilizzare agenti di modello di linguaggio in questo tipo di transazione potrebbe rappresentare un sovraccarico significativo. Sebbene si possa immaginare che problemi di latenza (di solito critici negli scenari di servizio degli annunci) potrebbero sorgere dall’utilizzo di modelli di linguaggio di questo tipo (sebbene ciò non sia specificamente affrontato nel paper).

In ogni caso, l’implementazione della strategia Ad-Chat degli autori (la riga superiore nello schema mostrato all’inizio dell’articolo) ha offerto il tasso di clic più alto, anche se aveva il costo di modello di linguaggio associato più alto.

Conclusione

Sebbene non sia sorprendente che la letteratura speculi sui metodi con cui i Modelli di Linguaggio di Grande Scala possono trasportare pubblicità, c’è in realtà poco ricerca pubblicamente disponibile sull’argomento; ciò rende il paper attuale e ciò che possiamo ragionevolmente interpretare come il suo precursore interessanti.

Chiunque abbia lavorato con un dipartimento di vendita pubblicitaria o abbia venduto inventario, saprà che gli inserzionisti vogliono sempre di più – idealmente, avere annunci presentati come contenuto fattuale, indistinguibili dal flusso di contenuto dell’host; e pagheranno un premio significativo per questo (insieme all’host, che così rischia la propria credibilità e il proprio standing con i lettori e altri tipi di stakeholder).

Pertanto sarà interessante vedere l’estensione, se del caso, alla quale le clausole pubblicitarie cariche di annunci previste in entrambi i documenti potrebbero essere incentivate a strisciare più in alto nella risposta di un modello di linguaggio di grande scala e più vicino al ‘carico utile’.

Pubblicato per la prima volta giovedì, 18 settembre 2025