Nuova ricerca propone pubblicità personalizzata veramente “personalizzata”

In una ridefinizione dell’auto-promozione, un nuovo metodo sfrutta i clic dell’utente per creare annunci web personalizzati in base alla propria storia specifica.

Sebbene le agenzie pubblicitarie siano inclini a smentire l’idea che esistano canali pubblicitari che possano servire annunci in base a ciò che si è appena detto nel comfort della propria casa, la portata della “personalizzazione” dimostrata dagli annunci sui siti web e sulle app dei social media ha comunque guadagnato titoli negli ultimi anni.

L’scenario ideale per l’inserzionista è sempre stato che l’annuncio servito sia un “adattamento esatto” per l’utente. All’interno dei limiti della reazione pubblica contro il tracciamento online e delle misure preventive che l’utente potrebbe aver installato contro tale monitoraggio, l’intelligenza artificiale generativa (a parte le paure legate alla pubblicità LLM in un mondo post-ricerca) è perfettamente in grado di produrre immagini e testi pubblicitari in tempo reale.

Tuttavia, il principale obiettivo della ricerca e la maggior parte delle implementazioni in questa linea fino ad oggi si sono basate su statistiche di utilizzo aggregate, in modo che qualsiasi annuncio generato per un utente sarebbe basato sul gruppo di coorte dell’utente piuttosto che sulla sua storia unica.

Ora, una nuova collaborazione di ricerca tra Cina e Stati Uniti presenta un sistema per generare immagini e testi pubblicitari per utenti individuali imparando dai loro clic passati quando sono connessi a un sito, andando oltre le ipotesi basate sulla coorte che hanno governato la maggior parte della ricerca sulla pubblicità personalizzata fino ad oggi:

Esempi di generazioni che rappresentano annunci personalizzati. Naturalmente, senza la storia dell’utente come contesto, l’impatto completo può essere solo immaginato. Fonte

Insolitamente, il nuovo approccio rifiuta i modelli basati sulla diffusione in favore di un’architettura autoregressiva – la principale differenza è che i modelli di diffusione raffinano gradualmente un’immagine a partire dal rumore visivo, mentre i modelli autoregressivi generano contenuti un pezzo alla volta, prevedendo ogni nuovo elemento da tutto ciò che è venuto prima.

Per supportare il nuovo modello generativo, gli autori hanno sviluppato quello che affermano essere il primo set di dati di grandi dimensioni per la pubblicità personalizzata, nonché una nuova metrica progettata per valutare questa specifica attività. Nei test, hanno scoperto che il loro approccio ha superato sia i punti di riferimento generali che i metodi e le strutture esistenti che attualmente affrontano questa sfida.

Giardino recintato

Vale la pena notare l’ambito di lavoro proposto, che non offre agli inserzionisti un modo per eludere le nuove misure contro il tracciamento di terze parti, ma piuttosto dà a un rivenditore sufficientemente grande il potere di popolare un cliente connesso con annunci che si riferiscono direttamente a quella persona specifica.

Questo non è necessariamente limitato ai clienti che stanno attualmente navigando sul sito del rivenditore: a seconda dell’estensione con cui l’utente ha concesso al rivenditore il potere di tracciarlo su altri siti, potrebbe essere presentato con annunci mirati in qualsiasi numero di altri siti web che partecipano alle aste pubblicitarie che il rivenditore stesso utilizza.

Questo tipo di portata pubblicitaria tende a essere limitata a outlet di grandi dimensioni e alta scala come Amazon, in Occidente (e notiamo che un rivenditore cinese di dimensioni analoghe ha partecipato al nuovo lavoro – vedi sotto), sebbene qualsiasi preoccupazione simile possa in teoria generare una struttura generativa simile.

Il nuovo articolo è intitolato Progetta il tuo annuncio: generazione di immagini e testi pubblicitari personalizzati con modelli autoregressivi unificati e proviene da 18 autori dell’Università Sun Yat-Sen di Guangzhou, dell’Università del Nordest e del più grande rivenditore cinese, JD.com (quest’ultimo dei quali ha accesso alla storia e agli abitudini degli acquirenti). Il codice è stato reso disponibile tramite GitHub, e i punti di riferimento pertinenti sono stati resi disponibili anche.

Dati e metodo

Il set di dati costruito per il progetto si intitola Immagine-testo pubblicitario personalizzato (PAd1M) e si basa sui dati forniti dal contributore del progetto JD.com. Gli autori affermano:

‘Ogni prodotto fornisce generalmente più di dieci immagini e testi candidati, garantendo che le preferenze diverse possano essere pienamente rilevate. Per consentire una modellazione delle preferenze affidabile, raccogliamo le storie di clic degli utenti complete su immagini e testi, filtrando gli utenti con attività insufficiente per ridurre il rumore.

‘Ciò produce un set di dati di 1.145.371 utenti, con 18.923.555 immagini di prodotti e testi cliccati, con una media di oltre sedici comportamenti multimodali storici per utente.’

Per ogni utente, una coppia di immagine e testo precedentemente cliccata è stata selezionata come esempio di destinazione, dopo di che il prodotto stesso è stato isolato dall’immagine utilizzando Grounded SAM.

Le descrizioni e i punti di vendita forniti dal venditore sono stati quindi allegati al record, creando un set di dati in cui ogni annuncio di destinazione è accompagnato da un’immagine di prodotto trasparente; informazioni sul prodotto strutturate; e una storia di interazioni con immagini e testi precedenti, intesa a catturare gli interessi e le preferenze precedenti dell’utente:

Un profilo utente del set di dati PAd1M, che mostra un annuncio di destinazione accanto alle informazioni sul prodotto utilizzate per generarle, e le interazioni storiche con immagini e testi utilizzate per modellare le preferenze dell’utente.

Il set di dati risultante offre una scala di oltre un milione di utenti e quasi 19 milioni di record di immagini e testi cliccati, con gli autori che affermano che la raccolta è sostanzialmente più grande dei set di dati di personalizzazione precedenti.

Inoltre, i dati, insolitamente per questo filone di ricerca, combinano sia immagini che testi, consentendo di modellare le preferenze degli utenti attraverso più modalità, piuttosto che all’interno di un singolo dominio.

PAd1M presenta anche il tracciamento delle preferenze a livello individuale; a differenza dei set di dati pubblicitari precedenti, che erano costruiti intorno ai tassi di clic-through aggregati su grandi gruppi, PAd1M collega le interazioni a utenti specifici dei dati di JD.com.

Per le metriche, oltre alle scelte standard di BLEU e ROUGE, i ricercatori hanno sviluppato una loro misura personalizzata intitolata Similarità dello sfondo del prodotto (PBS). Basata sull’iniziativa MoCo-v3 precedente, PBS è stata addestrata su 681.123 paia di immagini che mostrano lo stesso prodotto su sfondi diversi, consentendo alla metrica di concentrarsi sulla variazione contestuale piuttosto che sul prodotto stesso:

Similarità dello sfondo del prodotto (PBS) assegna punteggi di similarità marcatamente diversi agli annunci che contengono lo stesso prodotto ma lo collocano in contesti visivi diversi. Al contrario, le metriche concorrenti producono separazioni molto più piccole.

Durante l’addestramento, ogni immagine è stata accoppiata con se stessa come esempio positivo, mentre un’immagine dello stesso prodotto collocata in un contesto diverso ha funzionato da esempio negativo, una strategia di addestramento intesa a aumentare la sensibilità al contesto di sfondo. I risultati della valutazione, sostengono gli autori, indicano differenze di similarità più grandi tra sfondi corrispondenti e non corrispondenti rispetto a quelle prodotte da CLIP, DINO v3 o il suddetto MoCov3.

Come mostrato nella sezione in alto a sinistra dell’immagine qui sotto*, il modello Generativo di annunci unificato (Uni-AdGen) degli autori utilizza un’architettura di visione-linguaggio autoregressiva per generare sia testi pubblicitari che immagini. Il processo è guidato da un’istruzione strutturata che include la definizione del compito e una descrizione del prodotto, insieme a punti di vendita chiave:

Panoramica del metodo.

I token di delimitazione speciali definiscono la porzione della sequenza riservata alla copia pubblicitaria. Dopo che il testo è stato generato, un token di immagine dedicato attiva la generazione dell’immagine, mentre un token di chiusura dell’immagine ne segna il completamento, con i token generati inviati successivamente a decoder di testo e immagine separati.

Per le immagini, il decoder VQ-GAN di LlamaGen viene utilizzato per convertire i token di immagine discreti nuovamente in pixel.

In questo modo, l’architettura unificata genera testo e immagini all’interno di un singolo framework di previsione del prossimo token, piuttosto che affidarsi a pipeline separate – il metodo adottato per sistemi pubblicitari precedenti con un obiettivo simile.

Durante l’addestramento, il modello apprende entrambe le modalità insieme, con i token di testo previsti in base alla sequenza di input e al testo generato in precedenza. I token di immagine sono quindi previsti utilizzando la sequenza di input, il testo generato e i token di immagine generati in precedenza.

Per mantenere gli annunci generati legati al prodotto promosso, Uni-AdGen utilizza un modulo di percezione del primo piano basato su DINO v2, per iniettare informazioni da immagini di prodotto trasparenti nel modello autoregressivo.

Instruction-tuning (addestrando il modello a seguire istruzioni di generazione specifiche del prodotto derivate da descrizioni e punti di vendita) è stato utilizzato anche per migliorare l’aderenza alle descrizioni e ai punti di vendita forniti dal venditore, con GPT-4o utilizzato per filtrare esempi di addestramento non idonei.

La personalizzazione si basava su un modulo di comprensione delle preferenze da grossolano a fine. Le interazioni storiche sono state filtrate per prima attraverso una pipeline di Campionamento della similarità del prodotto (PSS) per favorire i prodotti simili all’articolo di destinazione. I record rimanenti sono stati quindi elaborati da una fase di estrazione delle preferenze multimodali progettata per identificare gli elementi visivi e testuali più probabili che riflettono gli interessi dell’utente – con quelle preferenze inserite nel prompt, per guidare la generazione.

Test

Gli autori affermano che il loro approccio di test deriva da DeepSeek’s Janus-Pro 7B.

Il modello è stato addestrato con una dimensione del batch di quattro, sotto l’ottimizzatore AdamW con un tasso di apprendimento di 5e-5. Il modello di base è stato ottimizzato tramite LoRA, con il modulo di percezione del primo piano e l’estrazione delle preferenze multimodali completamente ottimizzato (cioè, a differenza di LoRA, i pesi del modello di base sono stati modificati in modo permanente).

Tutti i test sono stati eseguiti su una GPU NVIDIA B200 con 192GB di VRAM. Per la generazione di immagini, PickScore, ImageReward e ASE sono stati utilizzati per misurare la qualità visiva, mentre m-BLEU e m-ROUGE^† sono stati utilizzati per valutare il testo pubblicitario. Gli valutatori umani hanno inoltre valutato la realismo delle immagini e la qualità del layout, insieme all’accuratezza e alla fluidità del testo, con tutte le metriche calcolate su 500 prodotti.

Per la generazione di immagini, le baseline comprendevano Qwen2.5-VL e GPT-4o per la creazione di prompt di sfondo a partire da immagini di prodotti, seguiti da ReliableAd, PosterMaker e Flux-Fill per la generazione degli annunci finali. Le comparazioni di generazione di testo sono state condotte contro Qwen2.5, Qwen3 e DeepSeek-R1.

I risultati quantitativi iniziali delle baseline per la generazione di annunci sono mostrati qui sotto:

Prestazioni sul benchmark di generazione di annunci generali. Uni-AdGen ha eguagliato o superato le baseline di generazione di immagini più forti in termini di qualità estetica e PickScore, mentre il modello di immagine e testo unificato ha raggiunto il punteggio m-ROUGE più alto tra tutti gli approcci di generazione di testo. I risultati della valutazione umana sono rimasti competitivi in entrambe le modalità.

Di questi risultati, gli autori affermano:

‘Il nostro metodo raggiunge le migliori prestazioni in ImageReward e si classifica al secondo posto sia in PickScore che nella valutazione umana, dimostrando la sua prestazione superiore in termini di estetica e disponibilità. Se ReliableAd è in testa nella valutazione umana, rimane indietro in termini di metriche estetiche. Al contrario, PosterMaker e Flux-Fill generano immagini attraenti ma soffrono di limitazioni di utilizzabilità evidenti.

‘Grazie agli approcci di controllo efficaci, il nostro metodo raggiunge con successo un equilibrio ottimale tra contenuto visivo e utilità pratica.’

La generazione di annunci personalizzati è stata valutata su 500 utenti con storie di interazione registrate, utilizzando il suddetto PBS per misurare la similarità delle immagini e BLEU e ROUGE per confrontare il testo generato con i prodotti che gli utenti avevano effettivamente cliccato.

Poiché le baseline di pubblicità generale utilizzate nel precedente esperimento non potevano incorporare le storie degli utenti, le comparazioni sono state spostate su sistemi progettati per la personalizzazione. Per la generazione di immagini, Flux-Kontext e Pigeon sono stati selezionati come baseline. Flux-Kontext è stato fornito con una griglia di immagini storiche dell’utente accanto all’immagine del prodotto di destinazione, consentendo alle preferenze precedenti di influenzare la generazione.

Dal momento che Pigeon non supporta nativamente il posizionamento del prodotto controllato, il modulo di percezione del primo piano sviluppato per Uni-AdGen è stato integrato per preservare la coerenza del prodotto. Per la generazione di testo, Qwen3 e DeepSeek-R1 sono stati utilizzati, con le descrizioni dei prodotti storici inserite direttamente nei modelli di istruzione per fornire un contesto specifico dell’utente:

Risultati della generazione di annunci personalizzati. Uni-AdGen ha superato Flux-Kontext, Pigeon, Qwen3 e DeepSeek-R1 in tutte le metriche di personalizzazione riportate, mentre lo studio di ablazione ha indicato che i dati storici dell’utente, il campionamento della similarità del prodotto (PSS) e l’estrazione delle preferenze multimodali hanno contribuito tutti a guadagni misurabili.

Qui gli autori commentano:

‘I risultati visualizzati [inclusi nell’immagine qui sotto] mostrano che Flux-Kontext non riesce a comprendere le preferenze dell’utente e rimane sensibile al rumore a livello di campione, risultando in una deviazione significativa dalla verità di base, come gli elementi non pertinenti nell’immagine della motocicletta.’

Esempi di generazione di annunci personalizzati. Rispetto a Flux-Kontext, Pigeon, Qwen3 e DeepSeek-R1, Uni-AdGen ha prodotto immagini che corrispondevano più da vicino allo stile visivo e al contesto degli annunci che gli utenti avevano effettivamente cliccato, mentre generava testo che catturava una proporzione più grande degli attributi del prodotto e dei punti di vendita presenti negli esempi di verità di base. I termini corrispondenti sono evidenziati in verde.

Gli esempi qualitativi, sostengono gli autori, indicano che Flux-Kontext e Pigeon hanno spesso prodotto output che si discostano dalle caratteristiche visive degli annunci che gli utenti avevano precedentemente cliccato; nel frattempo, il testo generato da Qwen3 e DeepSeek-R1 omette alcuni punti di vendita presenti negli esempi di verità di base.

Conclusione

L’utilità di questo progetto dipende interamente dall’opt-in dell’utente e dall’estensione della portata di questo sistema ‘predittivo’ oltre l’ambito del dominio che controlla la storia dell’utente – in questo caso, JD.com – richiede un insieme di autorizzazioni dell’utente ancora più rilassate, nella maggior parte dei territori.

Tuttavia, il sistema si basa sull’effetto di rete iperscalabile in atto in tale scenario e sull’idea (forse leggermente ottimistica) che gli utenti troveranno questo tipo di sistema di raccomandazione veramente personalizzato e persino preveggente utile piuttosto che invasivo, almeno all’interno del contesto di un gigante del retail.

* Questa immagine si basa sulla preoccupante nuova tendenza delle ‘figure riunite’ nelle pubblicazioni di ricerca, in cui illustrazioni che un tempo sarebbero state 3-4 figure diverse sono riunite in una (al fine di obbedire alle linee guida di presentazione sulla lunghezza massima del documento principale) e utilizzate solo come materiale di riferimento, spesso senza una spiegazione adeguata nella didascalia accompagnatoria.

^† ‘m’-prefisso indica il confronto con più testi candidati.

Pubblicato per la prima volta martedì 2 giugno 2026. Emendato alle 18:21 EET per correggere l’ultima ‘parete’ in ‘giardino recintato’ nell’ultimo paragrafo.