Cerca di ‘Gufo e Lucertola’ nel Pubblico di un Inserzionista

Dal momento che il settore della pubblicità online è stimato aver speso 740,3 miliardi di dollari USA nel 2023, è facile capire perché le aziende di pubblicità investono notevoli risorse in questo particolare ramo della ricerca sulla visione artificiale.

Sebbene sia insulare e protettivo, l’industria pubblica occasionalmente studi che suggeriscono un lavoro proprietario più avanzato nella riconoscimento facciale e dell’orientamento dello sguardo – compreso il riconoscimento dell’età, centrale per le statistiche analitiche demografiche:

Stimare l’età in un contesto pubblicitario è di interesse per gli inserzionisti che potrebbero essere interessati a una particolare fascia demografica. In questo esempio sperimentale di stima automatica dell’età facciale, l’età del performer Bob Dylan è tracciata nel corso degli anni. Fonte: https://arxiv.org/pdf/1906.03625

Questi studi, che di rado appaiono in repository pubblici come Arxiv, utilizzano partecipanti legittimamente reclutati come base per l’analisi guidata dall’AI che mira a determinare in quale misura e in che modo lo spettatore si sta impegnando con un annuncio.

L’istogramma di gradienti orientati (HoG) di Dlib viene spesso utilizzato nei sistemi di stima facciale. Fonte: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Istinto Animale

In questo senso, naturalmente, l’industria della pubblicità è interessata a determinare i falsi positivi (occasioni in cui un sistema di analisi interpreta male le azioni di un soggetto) e a stabilire criteri chiari per quando la persona che guarda i loro annunci non si sta impegnando appieno con il contenuto.

Per quanto riguarda la pubblicità basata su schermo, gli studi tendono a concentrarsi su due problemi in due ambienti. Gli ambienti sono ‘desktop’ o ‘mobile’, ciascuno con caratteristiche particolari che richiedono soluzioni di tracciamento personalizzate; e i problemi – dal punto di vista dell’inserzionista – sono rappresentati dal comportamento da gufo e lucertola – la tendenza degli spettatori a non prestare attenzione completa all’annuncio che hanno di fronte.

Esempi di comportamento da ‘gufo’ e ‘lucertola’ in un soggetto di un progetto di ricerca pubblicitaria. Fonte: https://arxiv.org/pdf/1508.04028

Se stai guardando via dall’annuncio pubblicitario con tutta la testa, questo è un comportamento da ‘gufo’; se la tua posizione della testa è statica ma i tuoi occhi si allontanano dallo schermo, questo è un comportamento da ‘lucertola’. In termini di analisi e test di nuovi annunci in condizioni controllate, queste sono azioni essenziali per un sistema in grado di catturare.

Un nuovo articolo dell’acquisizione Affectiva di SmartEye affronta questi problemi, offrendo un’architettura che sfrutta diversi framework esistenti per fornire un set di caratteristiche combinato e concatenato in tutte le condizioni e reazioni possibili – e per essere in grado di dire se uno spettatore è annoiato, impegnato o in qualche modo lontano dal contenuto che l’inserzionista desidera che guardi.

Esempi di positivi e negativi veri e falsi rilevati dal nuovo sistema di attenzione per vari segnali di distrazione, mostrati separatamente per dispositivi desktop e mobili. Fonte: https://arxiv.org/pdf/2504.06237

Gli autori affermano*:

‘Limitata ricerca ha esaminato il monitoraggio dell’attenzione durante gli annunci online. Mentre questi studi si sono concentrati sull’analisi della posizione della testa o della direzione dello sguardo per identificare le istanze di sguardo deviato, trascurano parametri critici come il tipo di dispositivo (desktop o mobile), la posizione della telecamera rispetto allo schermo e le dimensioni dello schermo. Questi fattori influenzano notevolmente la rilevazione dell’attenzione.

‘In questo articolo, proponiamo un’architettura per la rilevazione dell’attenzione che comprende la rilevazione di vari distrazioni, compresi sia il comportamento da gufo e lucertola di sguardo fuori schermo, che il parlare, la sonnolenza (attraverso lo sbadiglio e la chiusura prolungata degli occhi) e l’abbandono dello schermo.

‘A differenza degli approcci precedenti, il nostro metodo integra funzionalità specifiche del dispositivo come il tipo di dispositivo, la posizione della telecamera, le dimensioni dello schermo (per i desktop) e l’orientamento della telecamera (per i dispositivi mobili) con la stima grezza dello sguardo per migliorare l’accuratezza della rilevazione dell’attenzione.’

Il nuovo lavoro è intitolato Monitoraggio dell’attenzione dello spettatore durante gli annunci online, e proviene da quattro ricercatori di Affectiva.

Metodo e Dati

Largamente a causa della segretezza e della natura chiusa di tali sistemi, il nuovo articolo non confronta direttamente l’approccio degli autori con i rivali, ma presenta i suoi risultati esclusivamente come studi di ablazione; inoltre, l’articolo non aderisce in generale al formato usuale della letteratura sulla visione artificiale. Pertanto, esamineremo la ricerca come è presentata.

Gli autori sottolineano che solo un numero limitato di studi ha affrontato la rilevazione dell’attenzione specificamente nel contesto degli annunci online. Nell’ AFFDEX SDK, che offre il riconoscimento facciale in tempo reale, l’attenzione è inferita solo dalla posizione della testa, con i partecipanti etichettati come inattenti se l’angolo della testa supera una soglia definita.

Un esempio dall’AFFDEX SDK, un sistema Affectiva che si basa sulla posizione della testa come indicatore di attenzione. Fonte: https://www.youtube.com/watch?v=c2CWb5jHmbY

Nella collaborazione del 2019 Misurazione automatica dell’attenzione visiva al contenuto video utilizzando l’apprendimento profondo, un set di dati di circa 28.000 partecipanti è stato annotato per vari comportamenti inattenti, tra cui sguardo deviato, occhi chiusi o impegnati in attività non correlate, e un modello CNN-LSTM è stato addestrato per rilevare l’attenzione dall’aspetto facciale nel tempo.

Dall’articolo del 2019, un esempio che illustra gli stati di attenzione previsti per uno spettatore che guarda un video. Fonte: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Tuttavia, gli autori osservano, questi sforzi precedenti non hanno tenuto conto di fattori specifici del dispositivo, come il fatto che il partecipante stesse utilizzando un dispositivo desktop o mobile; né hanno considerato le dimensioni dello schermo o la posizione della telecamera. Inoltre, il sistema AFFDEX si concentra solo sull’identificazione della deviazione dello sguardo e omette altre fonti di distrazione, mentre il lavoro del 2019 tenta di rilevare un insieme più ampio di comportamenti – ma l’utilizzo di un singolo CNN poco profondo CNN potrebbe, afferma l’articolo, essere stato inadeguato per questo compito.

Gli autori osservano che alcune delle ricerche più popolari in questo campo non sono ottimizzate per il test degli annunci, che ha esigenze diverse rispetto a domini come la guida o l’istruzione – dove la posizione della telecamera e la calibrazione sono solitamente fisse in anticipo, e si basano invece su impostazioni non calibrate, e operano all’interno della gamma di sguardo limitata dei dispositivi desktop e mobili.

Pertanto, hanno ideato un’architettura per la rilevazione dell’attenzione dello spettatore durante gli annunci online, sfruttando due toolkit commerciali: AFFDEX 2.0 e SmartEye SDK.

Esempi di analisi facciale da AFFDEX 2.0. Fonte: https://arxiv.org/pdf/2202.12059

Questi lavori precedenti estraevano funzionalità di basso livello come espressioni facciali, posizione della testa e direzione dello sguardo. Queste funzionalità vengono poi elaborate per produrre indicatori di livello superiore, tra cui la posizione dello sguardo sullo schermo; lo sbadiglio; e il parlare.

Il sistema identifica quattro tipi di distrazione: sguardo fuori schermo; sonnolenza; parlare; e schermo non attento. Regola inoltre l’analisi dello sguardo in base al dispositivo utilizzato dallo spettatore.

Set di dati: Sguardo

Gli autori hanno utilizzato quattro set di dati per alimentare e valutare il sistema di rilevazione dell’attenzione: tre si concentrano individualmente sul comportamento dello sguardo, il parlare e lo sbadiglio; e un quarto tratto da sessioni di test degli annunci nel mondo reale contenenti una miscela di tipi di distrazione.

A causa delle specifiche esigenze del lavoro, sono stati creati set di dati personalizzati per ciascuna di queste categorie. Tutti i set di dati curati sono stati tratti da un repository proprietario che contiene milioni di sessioni registrate di partecipanti che guardano annunci in ambienti domestici o lavorativi, utilizzando un setup web-based, con consenso informato – e a causa delle limitazioni di questi accordi di consenso, gli autori affermano che i set di dati per il nuovo lavoro non possono essere resi pubblici.

Per costruire il set di dati dello sguardo, ai partecipanti è stato chiesto di seguire un punto in movimento su vari punti dello schermo, compresi i bordi, e poi di guardare via dallo schermo in quattro direzioni (su, giù, sinistra e destra) con la sequenza ripetuta tre volte. In questo modo, è stata stabilita la relazione tra cattura e copertura:

Schermate che mostrano lo stimolo video dello sguardo su (a) dispositivi desktop e (b) dispositivi mobili. I primi e terzi frame mostrano istruzioni per seguire un punto in movimento, mentre i secondi e quarti frame richiedono ai partecipanti di guardare via dallo schermo.

I segmenti del punto in movimento sono stati etichettati come attenti, e i segmenti fuori schermo come inattenti, producendo un set di dati etichettato di esempi positivi e negativi.

Ogni video è durato circa 160 secondi, con versioni separate create per piattaforme desktop e mobili, ciascuna con risoluzioni di 1920×1080 e 608×1080, rispettivamente.

Sono stati raccolti un totale di 609 video, composti da 322 registrazioni desktop e 287 registrazioni mobili. Le etichette sono state applicate automaticamente in base al contenuto del video, e il set di dati diviso in 158 campioni di addestramento e 451 per il test.

Set di dati: Parlare

In questo contesto, uno dei criteri che definiscono ‘inattenzione’ è quando una persona parla per più di un secondo (il che potrebbe essere un commento momentaneo o anche una tosse).

Dal momento che l’ambiente controllato non registra o analizza l’audio, il parlare è inferito osservando il movimento interno dei punti di riferimento facciali stimati. Pertanto, per rilevare il parlare senza audio, gli autori hanno creato un set di dati basato interamente sull’input visivo, tratto dal loro repository interno, e diviso in due parti: la prima contiene circa 5.500 video, ciascuno etichettato manualmente da tre annotatori come parlante o non parlante (di questi, 4.400 sono stati utilizzati per l’addestramento e la convalida, e 1.100 per il test).

Il secondo comprende 16.000 sessioni etichettate automaticamente in base al tipo di sessione: 10.500 presentano partecipanti che guardano in silenzio gli annunci, e 5.500 mostrano partecipanti che esprimono opinioni sui marchi.

Set di dati: Sbadiglio

Sebbene esistano alcuni set di dati per il rilevamento dello sbadiglio, come YawDD e Driver Fatigue, gli autori affermano che nessuno di questi è adatto per scenari di test degli annunci, poiché presentano sbadigli simulati o contengono contorsioni facciali che potrebbero essere confuse con paura o altre azioni non correlate allo sbadiglio.

Pertanto, gli autori hanno utilizzato 735 video dalla loro raccolta interna, selezionando sessioni che probabilmente contenevano un abbassamento della mandibola di durata superiore a un secondo. Ogni video è stato etichettato manualmente da tre annotatori come attivo o inattivo sbadiglio. Solo il 2,6% dei frame conteneva sbadigli attivi, sottolineando il disequilibrio delle classi, e il set di dati è stato diviso in 670 video per l’addestramento e 65 per il test.

Set di dati: Distrazione

Il set di dati della distrazione è stato tratto dal repository di test degli annunci degli autori, dove i partecipanti hanno guardato annunci reali senza compiti assegnati. Un totale di 520 sessioni (193 su dispositivi mobili e 327 su ambienti desktop) sono state selezionate casualmente e etichettate manualmente da tre annotatori come attenti o inattenti.

Il comportamento inattento includeva sguardo fuori schermo, parlare, sonnolenza e schermo non attento. Le sessioni coprono regioni diverse in tutto il mondo, con registrazioni desktop più comuni a causa della posizione flessibile della webcam.

Modelli di Attenzione

Il modello di attenzione proposto elabora funzionalità visive di basso livello, vale a dire espressioni facciali; posizione della testa; e direzione dello sguardo – estratte attraverso i già menzionati AFFDEX 2.0 e SmartEye SDK.

Queste vengono poi convertite in indicatori di livello superiore, con ogni distrazione gestita da un classificatore binario separato addestrato sul proprio set di dati per l’ottimizzazione e la valutazione indipendenti.

Schema per il sistema di monitoraggio proposto.

Il modello dello sguardo determina se lo spettatore sta guardando o no lo schermo utilizzando coordinate dello sguardo normalizzate, con calibrazione separata per dispositivi desktop e mobili. Un Support Vector Machine (SVM) lineare, addestrato su funzionalità spaziali e temporali, aiuta questo processo, incorporando una finestra di memoria per smussare i rapidi spostamenti dello sguardo.

Per rilevare il parlare senza audio, il sistema utilizza regioni della bocca ritagliate e un 3D-CNN addestrato su segmenti di video conversazionali e non conversazionali. Le etichette sono state assegnate in base al tipo di sessione, con l’ammorbidimento temporale che riduce i falsi positivi che possono derivare da brevi movimenti della bocca.

Lo sbadiglio è stato rilevato utilizzando ritagli di immagini del viso completo, per catturare un’ampia azione facciale, con un 3D-CNN addestrato su frame etichettati manualmente (sebbene il compito sia stato complicato dalla bassa frequenza dello sbadiglio nella visione naturale e dalla sua somiglianza con altre espressioni).

L’abbandono dello schermo è stato identificato attraverso l’assenza di un viso o una posizione estrema della testa, con previsioni fatte da un albero di decisione.

Lo stato di attenzione finale è stato determinato utilizzando una regola fissa: se qualsiasi modulo rilevava inattenzione, lo spettatore è stato contrassegnato come inattento – un approccio che dà priorità alla sensibilità e regolato separatamente per contesti desktop e mobili.

Test

Come menzionato in precedenza, i test seguono un metodo di ablazione, in cui vengono rimosse componenti e si nota l’effetto sul risultato.

Diverse categorie di inattenzione percepita identificate nello studio.

Il modello dello sguardo ha identificato il comportamento fuori schermo attraverso tre passaggi chiave: normalizzazione delle stime grezze dello sguardo, regolazione dell’output e stima delle dimensioni dello schermo per i dispositivi desktop.

Per comprendere l’importanza di ogni componente, gli autori li hanno rimossi individualmente e hanno valutato le prestazioni su 226 video desktop e 225 video mobili tratti da due set di dati. I risultati, misurati utilizzando G-mean e F1 score, sono mostrati di seguito:

Risultati che indicano le prestazioni del modello completo dello sguardo, accanto a versioni con passaggi di elaborazione individuali rimossi.

In ogni caso, le prestazioni sono diminuite quando è stato omesso un passaggio. La normalizzazione si è rivelata particolarmente preziosa sui desktop, dove la posizione della telecamera varia più che sui dispositivi mobili.

Lo studio ha anche valutato come le funzionalità visive abbiano previsto l’orientamento della telecamera mobile: la posizione del viso, la posizione della testa e lo sguardo degli occhi hanno ottenuto punteggi di 0,75, 0,74 e 0,60, mentre la loro combinazione ha raggiunto 0,91, sottolineando – affermano gli autori – il vantaggio dell’integrazione di più indizi.

Il modello del parlare addestrato sulla distanza labiale verticale ha raggiunto un ROC-AUC di 0,97 sul set di test etichettato manualmente, e 0,96 sul set di dati più ampio etichettato automaticamente, indicando prestazioni coerenti in entrambi.

Il modello dello sbadiglio ha raggiunto un ROC-AUC del 96,6% utilizzando solo il rapporto di aspetto della bocca, che è migliorato al 97,5% quando combinato con previsioni dell’unità di azione da AFFDEX 2.0.

Il modello dello schermo non attento ha classificato i momenti come inattenti quando sia AFFDEX 2.0 che SmartEye non riuscivano a rilevare un viso per più di un secondo. Per valutare la validità di ciò, gli autori hanno annotato manualmente tutti gli eventi di “nessun viso” nel set di dati di distrazione reale, identificando la causa sottostante di ogni attivazione. I casi ambigui (come ostruzione della telecamera o distorsione del video) sono stati esclusi dall’analisi.

Come mostrato nella tabella dei risultati di seguito, solo il 27% delle attivazioni di “nessun viso” sono state causate dagli utenti che fisicamente lasciavano lo schermo.

Ragioni diverse ottenute per cui un viso non è stato trovato, in certe istanze.

L’articolo afferma:

‘Nonostante gli schermi non attenti costituissero solo il 27% delle istanze che attivavano il segnale di “nessun viso”, è stato attivato per altre ragioni indicative di inattenzione, come partecipanti che guardavano fuori schermo con un angolo estremo, facevano movimenti eccessivi o ostruivano significativamente il viso con un oggetto o una mano.’

Nell’ultimo dei test quantitativi, gli autori hanno valutato come l’aggiunta progressiva di diversi segnali di distrazione – sguardo fuori schermo (tramite sguardo e posizione della testa), sonnolenza, parlare e schermi non attenti – ha influenzato le prestazioni generali del loro modello di attenzione.

I test sono stati condotti su due set di dati: il set di dati di distrazione reale e un subset del set di dati dello sguardo. Sono stati utilizzati punteggi G-mean e F1 per misurare le prestazioni (sebbene la sonnolenza e il parlare siano stati esclusi dall’analisi del set di dati dello sguardo a causa della loro limitata rilevanza in questo contesto).

Come mostrato di seguito, la rilevazione dell’attenzione è migliorata costantemente man mano che venivano aggiunti più tipi di distrazione, con sguardo fuori schermo – il distattore più comune – che fornisce la base più forte.

L’effetto dell’aggiunta di diversi segnali di distrazione all’architettura.

Di questi risultati, l’articolo afferma:

‘In primo luogo, possiamo concludere che l’integrazione di tutti i segnali di distrazione contribuisce a una rilevazione dell’attenzione migliorata.

‘In secondo luogo, il miglioramento nella rilevazione dell’attenzione è coerente sia per i dispositivi desktop che per i dispositivi mobili. In terzo luogo, le sessioni mobili nel set di dati reale mostrano movimenti significativi della testa quando si guarda fuori schermo, che vengono facilmente rilevati, portando a prestazioni più elevate per i dispositivi mobili rispetto ai desktop. In quarto luogo, l’aggiunta del segnale di sonnolenza ha un miglioramento relativamente leggero rispetto ad altri segnali, poiché è raro che si verifichi.

‘Infine, il segnale dello schermo non attento ha un miglioramento relativamente più grande sui dispositivi mobili rispetto ai desktop, poiché i dispositivi mobili possono essere facilmente lasciati non attenti.’

Gli autori hanno anche confrontato il loro modello con AFFDEX 1.0, un sistema precedente utilizzato nel test degli annunci – e anche il modello attuale di rilevamento dello sguardo basato sulla testa ha superato AFFDEX 1.0 su entrambi i tipi di dispositivo:

‘Questo miglioramento è il risultato dell’integrazione dei movimenti della testa in entrambe le direzioni yaw e pitch, nonché della normalizzazione della posizione della testa per tenere conto dei minori cambiamenti. I movimenti significativi della testa nel set di dati mobile reale hanno causato il nostro modello di testa a eseguire in modo simile ad AFFDEX 1.0.’

Gli autori concludono l’articolo con un giro di test qualitativi (forse un po’ perfunctorio), mostrato di seguito.

Esempi di output del modello di attenzione su dispositivi desktop e mobili, con ogni riga che presenta esempi di positivi e negativi veri e falsi per diversi tipi di distrazione.

Gli autori affermano:

‘I risultati indicano che il nostro modello rileva efficacemente vari distattori in ambienti non controllati. Tuttavia, potrebbe occasionalmente produrre falsi positivi in determinati casi limite, come inclinazioni estreme della testa mentre si mantiene lo sguardo sullo schermo, alcune occlusioni della bocca, occhi eccessivamente sfocati o immagini facciali fortemente oscurate. ‘

Conclusione

Sebbene i risultati rappresentino un progresso misurato ma significativo rispetto ai lavori precedenti, il valore più profondo dello studio risiede nel barlume che offre sulla spinta persistente per accedere allo stato interno dello spettatore. Sebbene i dati siano stati raccolti con il consenso, la metodologia punta verso future cornici che potrebbero estendersi oltre le impostazioni di ricerca di mercato strutturate.

Questa conclusione piuttosto paranoica è ulteriormente rafforzata dalla natura chiusa, vincolata e gelosamente protetta di questo particolare filone di ricerca.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta mercoledì 9 aprile 2025