În căutarea ‘Bufnițelor și Șopârlelor’ în publicul unui anunțător

Deoarece sectorul publicității online este estimat să fi cheltuit 740,3 miliarde de dolari americani în 2023, este ușor de înțeles de ce companiile de publicitate investesc resurse considerabile în acest strand particular de cercetare a viziunii calculate.

Deși este izolat și protejat, industria publică ocazional studii care sugerează o muncă mai avansată și proprietară în recunoașterea facială și a direcției privirii – inclusiv recunoașterea vârstei, esențială pentru statistici demografice:

Estimarea vârstei într-un context de publicitate în sălbăticie este de interes pentru anunțătorii care pot ținti o anumită demografie. În acest exemplu experimental de estimare automată a vârstei faciale, vârsta interpretului Bob Dylan este urmărită de-a lungul anilor. Sursă: https://arxiv.org/pdf/1906.03625

Aceste studii, care rareori apar în depozite publice precum Arxiv, folosesc participanți recrutați în mod legitim ca bază pentru analiza condusă de IA care urmărește să determine în ce măsură și în ce mod spectatorul se implică într-un anunț.

Histograma de orientare a gradientului (HoG) a lui Dlib este adesea utilizată în sistemele de estimare facială. Sursă: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Instinct animal

În acest sens, firesc, industria publicității este interesată să determine falsurile pozitive (ocazii în care un sistem analitic greșește acțiunile unui subiect) și să stabilească criterii clare pentru când persoana care urmărește reclamele lor nu se implică pe deplin în conținut.

În ceea ce privește publicitatea bazată pe ecran, studiile tind să se concentreze pe două probleme în două medii. Mediile sunt ‘desktop’ sau ‘mobil’, fiecare având caracteristici particulare care necesită soluții de urmărire personalizate; și problemele – din perspectiva anunțătorului – sunt reprezentate de comportamentul bufniței și șopârlei – tendința spectatorilor de a nu acorda atenție deplină unui anunț care se află în fața lor.

Exemple de comportament de ‘bufniță’ și ‘șopârlă’ într-un subiect al unui proiect de cercetare a publicității. Sursă: https://arxiv.org/pdf/1508.04028

Dacă te uiți departe de anunțul intenționat cu capul tău întreg, acesta este ‘comportament de bufniță’; dacă poza capului tău este statică, dar ochii tăi se îndepărtează de ecran, acesta este ‘comportament de șopârlă’. În ceea ce privește analitica și testarea noilor anunțuri în condiții controlate, acestea sunt acțiuni esențiale pentru un sistem care trebuie să le poată capta.

Un nou articol de la SmartEye’s Affectiva adresează aceste probleme, oferind o arhitectură care folosește mai multe cadre existente pentru a oferi un set de caracteristici combinat și concatenat în toate condițiile și reacțiile posibile – și pentru a putea spune dacă un spectator este plictisit, implicat sau într-un fel distant de conținutul pe care anunțătorul îl dorește să îl urmărească.

Exemple de pozitivi și negativi adevărați detectați de noul sistem de atenție pentru diverse semnale de distragere, prezentate separat pentru dispozitive desktop și mobile. Sursă: https://arxiv.org/pdf/2504.06237

Autorii afirmă*:

‘Cercetarea limitată a cercetat monitorizarea atenției în timpul anunțurilor online. În timp ce aceste studii s-au concentrat pe estimarea pozei capului sau a direcției privirii pentru a identifica instanțe de privire deviată, ele neglijează parametrii critici precum tipul de dispozitiv (desktop sau mobil), plasarea camerei în raport cu ecranul și mărimea ecranului. Acești factori influențează semnificativ detectarea atenției. ‘

‘În acest articol, propunem o arhitectură pentru detectarea atenției care cuprinde detectarea diverselor distractori, incluzând atât comportamentul de bufniță și șopârlă de a privi off-screen, cât și somnolența (prin căscat și închiderea prelungită a ochilor) și părăsirea ecranului nelăsat sub supraveghere. ‘

‘În contrast cu abordările anterioare, metoda noastră integrează caracteristici specifice dispozitivului, cum ar fi tipul de dispozitiv, plasarea camerei, mărimea ecranului (pentru dispozitive desktop) și orientarea camerei (pentru dispozitive mobile) cu estimarea brută a privirii pentru a îmbunătăți acuratețea detectării atenției.’

Noul lucru se intitulează Monitorizarea atenției spectatorului în timpul anunțurilor online și provine de la patru cercetători de la Affectiva.

Metodă și date

În mare parte din cauza secretului și naturii închise a unor astfel de sisteme, noul articol nu compară abordarea autorilor direct cu rivale, ci prezintă doar rezultatele sale sub formă de studii de ablație; nici articolul nu respectă în general formatul obișnuit al literaturii de viziune calculată. Prin urmare, vom examina cercetarea așa cum este prezentată.

Autorii subliniază că doar un număr limitat de studii au abordat detectarea atenției în special în contextul anunțurilor online. În SDK-ul AFFDEX, care oferă recunoaștere facială în timp real, atenția este inferată doar din poza capului, cu participanții etichetați ca fiind inatenți dacă unghiul capului trece pragul definit.

Un exemplu din SDK-ul AFFDEX, un sistem Affectiva care se bazează pe poza capului ca indicator al atenției. Sursă: https://www.youtube.com/watch?v=c2CWb5jHmbY

În colaborarea din 2019 Măsurarea automată a atenției vizuale pentru conținut video utilizând învățarea profundă, un set de date de aproximativ 28.000 de participanți a fost annotat pentru diverse comportamente inatente, incluzând privirea departe, închiderea ochilor sau implicarea în activități nelegate, și un model CNN-LSTM a fost instruit pentru a detecta atenția din aparența facială în timp.

Din articolul din 2019, un exemplu ilustrând stări de atenție prezise pentru un spectator care urmărește conținut video. Sursă: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Cu toate acestea, autorii observă că aceste eforturi anterioare nu au luat în considerare factori specifici dispozitivului, cum ar fi faptul că participantul utiliza un dispozitiv desktop sau mobil; nici nu au luat în considerare mărimea ecranului sau plasarea camerei. În plus, sistemul AFFDEX se concentrează doar pe identificarea devierii privirii, omițând alte surse de distragere, în timp ce lucrarea din 2019 încearcă să detecteze un set mai larg de comportamente – dar utilizarea unei singure rețele neuronale convolutive (CNN) superficiale poate, conform articolului, să fi fost inadecvată pentru această sarcină.

Autorii observă că unele dintre cele mai populare cercetări în această direcție nu sunt optimizate pentru testarea anunțurilor, care are nevoi diferite în comparație cu domenii precum conducerea auto sau educația – unde plasarea și calibrarea camerei sunt de obicei fixate în prealabil, în loc să se bazeze pe configurații necalibrate, și să funcționeze în intervalul de privire limitat al dispozitivelor desktop și mobile.

Prin urmare, ei au conceput o arhitectură pentru detectarea atenției spectatorului în timpul anunțurilor online, folosind două kituri de instrumente comerciale: AFFDEX 2.0 și SDK-ul SmartEye.

Exemple de analiză facială din AFFDEX 2.0. Sursă: https://arxiv.org/pdf/2202.12059

Aceste lucrări anterioare extrag caracteristici de nivel scăzut, cum ar fi expresiile faciale, poza capului și direcția privirii. Aceste caracteristici sunt apoi procesate pentru a produce indicatori de nivel superior, incluzând poza privirii pe ecran; căscatul; și vorbirea.

Sistemul identifică patru tipuri de distragere: privire off-screen; somnolență; vorbire; și ecran nelăsat sub supraveghere. De asemenea, ajustează analiza privirii în funcție de faptul că spectatorul se află pe un dispozitiv desktop sau mobil.

Date: Privire

Autorii au utilizat patru seturi de date pentru a alimenta și evalua sistemul de detectare a atenției: trei care se concentrează individual pe comportamentul privirii, vorbire și căscat; și un al patrulea extras din sesiuni reale de testare a anunțurilor care conțin o mixtură de tipuri de distragere.

Din cauza cerințelor specifice ale lucrării, seturi de date personalizate au fost create pentru fiecare dintre aceste categorii. Toate seturile de date culese au fost extrase dintr-un depozit proprietar care conține milioane de sesiuni înregistrate de participanți care urmăresc anunțuri în medii de acasă sau de la locul de muncă, utilizând o configurație web, cu consimțământ informat – și din cauza limitărilor acordurilor de consimțământ, autorii afirmă că seturile de date pentru noua lucrare nu pot fi făcute publice.

Pentru a construi setul de date privire, participanții au fost rugați să urmărească un punct care se mișcă pe diverse puncte ale ecranului, incluzând marginile sale, și apoi să se uite departe de ecran în patru direcții (sus, jos, stânga și dreapta) cu secvența repetată de trei ori. În acest fel, s-a stabilit relația dintre captură și acoperire:

Capturi de ecran care arată stimulul video al privirii pe (a) dispozitive desktop și (b) mobile. Primele și al treilea cadru afișează instrucțiuni pentru a urmări un punct care se mișcă, în timp ce al doilea și al patrulea îi îndeamnă pe participanți să se uite departe de ecran.

Segmentele cu punctul care se mișcă au fost etichetate ca atenți, iar segmentele off-screen au fost etichetate ca inatenți, producând un set de date etichetat cu exemple atât pozitive, cât și negative.

Fiecare videoclip a durat aproximativ 160 de secunde, cu versiuni separate create pentru platformele desktop și mobile, fiecare cu rezoluții de 1920×1080 și 608×1080, respectiv.

Un total de 609 videoclipuri au fost colectate, cuprinzând 322 de înregistrări desktop și 287 de înregistrări mobile. Etichetele au fost aplicate automat pe baza conținutului video, iar setul de date împărțit în 158 de mostre de antrenare și 451 pentru testare.

Date: Vorbire

În acest context, unul dintre criteriile care definesc ‘inatenția’ este atunci când o persoană vorbește mai mult de o secundă (care ar putea fi un comentariu momentan sau chiar o tuse).

Deoarece mediul controlat nu înregistrează sau analizează audio, vorbirea este inferată prin observarea mișcării interne a reperelor faciale estimate. Prin urmare, pentru a detecta vorbirea fără audio, autorii au creat un set de date bazat în întregime pe intrare vizuală, extras din depozitul lor intern, și împărțit în două părți: prima conținea aproximativ 5.500 de videoclipuri, fiecare etichetat manual de trei annotatori ca vorbind sau nu vorbind (dintre acestea, 4.400 au fost utilizate pentru antrenare și validare, și 1.100 pentru testare).

Al doilea a cuprins 16.000 de sesiuni etichetate automat pe baza tipului de sesiune: 10.500 au prezentat participanți care urmăreau anunțuri în tăcere, și 5.500 au prezentat participanți care își exprimau opinii despre mărci.

Date: Căscat

Deși există unele seturi de date de căscat, cum ar fi YawDD și Detectarea căscatului pentru monitorizarea oboseală a șoferilor, autorii afirmă că niciunul nu este potrivit pentru scenarii de testare a anunțurilor, deoarece acestea fie conțin simulări de căscat sau conțin contorsionări faciale care ar putea fi confundate cu frica sau alte acțiuni non-căscat.

Prin urmare, autorii au utilizat 735 de videoclipuri din colecția lor internă, selectând sesiuni care probabil conțineau o deschidere a gurii care dura mai mult de o secundă. Fiecare videoclip a fost etichetat manual de trei annotatori ca arătând căscat activ sau căscat inactiv. Doar 2,6% din cadre conțineau căscat activ, subliniind dezechilibrul clasei, și setul de date a fost împărțit în 670 de videoclipuri de antrenare și 65 pentru testare.

Date: Distragere

Setul de date distragere a fost extras și el din depozitul de testare a anunțurilor al autorilor, unde participanții au vizionat anunțuri reale fără sarcini atribuite. Un total de 520 de sesiuni (193 pe mobile și 327 pe medii desktop) au fost selectate aleator și etichetate manual de trei annotatori ca atenți sau inatenți.

Comportamentul inatent a inclus privire off-screen, vorbire, somnolență și ecran nelăsat sub supraveghere. Sesiunile acoperă regiuni diverse din întreaga lume, cu înregistrări desktop mai frecvente, din cauza plasării flexibile a webcam-ului.

Modele de atenție

Modelul de atenție propus procesează caracteristici vizuale de nivel scăzut, și anume expresii faciale; poza capului; și direcția privirii – extrase prin cadrele menționate anterior AFFDEX 2.0 și SmartEye SDK.

Acestea sunt apoi convertite în indicatori de nivel superior, cu fiecare distractor tratat de un clasificator binar separat instruit pe propriul set de date pentru optimizare și evaluare independentă.

Schema pentru sistemul de monitorizare propus.

Modelul privire determină dacă spectatorul se uită la sau departe de ecran, utilizând coordonate de privire normalizate, cu calibrare separată pentru dispozitive desktop și mobile. Acest proces este ajutat de o mașină de suport vectorial (SVM) liniară, instruită pe caracteristici spațiale și temporale, care incorporează o fereastră de memorie pentru a netezi mișcările rapide ale privirii.

Pentru a detecta vorbirea fără audio, sistemul a utilizat regiuni bucale decupate și o rețea convoluvională 3D instruită pe segmente de conversație și non-conversație. Etichetele au fost atribuite pe baza tipului de sesiune, cu netezire temporală care reduce falsurile pozitive care pot rezulta din mișcări bucale scurte.

Căscatul a fost detectat utilizând crops de imagine facială completă, pentru a captura mișcarea facială mai largă, cu o rețea convoluvională 3D instruită pe cadre manual etichetate (deși sarcina a fost complicată de frecvența scăzută a căscatului în vizionarea naturală și de asemănarea sa cu alte expresii).

Abandonarea ecranului a fost identificată prin absența unui chip sau a unei poze extreme a capului, cu predicții realizate de un arbore de decizie.

Starea finală de atenție a fost determinată utilizând o regulă fixă: dacă orice modul detecta inatenție, spectatorul a fost marcat inatent – o abordare care prioritizează sensibilitatea și este reglată separat pentru contexte desktop și mobile.

Teste

După cum s-a menționat anterior, testele urmează o metodă ablativă, în care componente sunt eliminate și se observă efectul asupra rezultatului.

Diverse categorii de inatenție percepută identificate în studiu.

Modelul privirii a identificat comportamentul off-screen prin trei pași cheie: normalizarea estimărilor brute ale privirii, finisarea output-ului și estimarea mărimii ecranului pentru dispozitive desktop.

Pentru a înțelege importanța fiecărui component, autorii au eliminat individual și au evaluat performanța pe 226 de videoclipuri desktop și 225 de videoclipuri mobile extrase din două seturi de date. Rezultatele, măsurate prin G-mean și F1 score, sunt prezentate mai jos:

Rezultate care indică performanța modelului de privire complet, alături de versiuni cu pași de procesare individuali eliminați.

În fiecare caz, performanța a scăzut atunci când un pas a fost omis. Normalizarea s-a dovedit a fi deosebit de valoroasă pe dispozitive desktop, unde plasarea camerei variază mai mult decât pe dispozitive mobile.

Studiul a evaluat, de asemenea, cum caracteristicile vizuale au prezis orientarea camerei mobile: locația feței, poza capului și direcția privirii au obținut scoruri de 0,75, 0,74 și 0,60, în timp ce combinația lor a atins 0,91, subliniind – conform autorilor – avantajul integrării multiplelor indicii.

Modelul de vorbire a atins un ROC-AUC de 0,97 pe setul de testare etichetat manual și 0,96 pe setul de date mai mare etichetat automat, indicând o performanță consistentă în ambele.

Modelul de căscat a atins un ROC-AUC de 96,6% utilizând doar raportul aspectului gurii, care s-a îmbunătățit la 97,5% atunci când a fost combinat cu previziunile unităților de acțiune de la AFFDEX 2.0.

Modelul de ecran nelăsat sub supraveghere a clasificat momentele ca inatente atunci când atât AFFDEX 2.0, cât și SmartEye nu au detectat un chip pentru mai mult de o secundă. Pentru a evalua validitatea acestuia, autorii au annotat manual toate evenimentele fără chip din setul de date real de distragere, identificând cauza subiacentă a fiecărui declanșator. Cazurile ambigue (cum ar fi obstrucția camerei sau distorsionarea video) au fost excluse din analiză.

După cum se arată în tabelul de rezultate de mai jos, doar 27% din declanșatoarele ‘fără chip’ au fost cauzate de utilizatori care au părăsit fizic ecranul.

Diverse motive obținute pentru care un chip nu a fost găsit, în anumite instanțe.

Articolul afirmă:

‘În ciuda faptului că ecranele nelăsate sub supraveghere au constituit doar 27% din instanțele care au declanșat semnalul fără chip, acesta a fost activat și pentru alte motive care indică inatenție, cum ar fi participanții care se uită off-screen cu un unghi extrem, fac mișcări excesive sau își acoperă fața semnificativ cu un obiect/mână.’

În ultimul test cantitativ, autorii au evaluat modul în care adăugarea progresivă a diferiților semnale de distragere – privire off-screen (prin poza capului și direcția privirii), somnolență, vorbire și ecran nelăsat sub supraveghere – a afectat performanța generală a modelului de atenție.

Testarea a fost efectuată pe două seturi de date: setul de date real de distragere și un subset de testare din setul de date privire. Scorurile G-mean și F1 au fost utilizate pentru a măsura performanța (deși somnolența și vorbirea au fost excluse din analiza setului de date de privire, din cauza relevanței lor limitate în acest context).

După cum se arată mai jos, detectarea atenției a fost îmbunătățită constant pe măsură ce au fost adăugate mai multe tipuri de distragere, privirea off-screen fiind cel mai puternic indicator de bază.

Efectul adăugării diverselor semnale de distragere la arhitectură.

Despre aceste rezultate, articolul afirmă:

‘Prin urmare, putem trage următoarele concluzii: integrarea tuturor semnalelor de distragere contribuie la o detectare îmbunătățită a atenției.

‘În al doilea rând, îmbunătățirea detectării atenției este consistentă atât pe dispozitive desktop, cât și pe dispozitive mobile. În al treilea rând, sesiunile mobile din setul de date real prezintă mișcări semnificative ale capului atunci când se uită off-screen, care sunt ușor de detectat, conducând la o performanță mai bună pentru dispozitive mobile în comparație cu dispozitivele desktop. În al patrulea rând, adăugarea semnalului de somnolență are o îmbunătățire relativ mică în comparație cu alte semnale, deoarece este rareori întâlnit. ‘

‘În cele din urmă, semnalul de ecran nelăsat sub supraveghere are o îmbunătățire relativ mai mare pe dispozitive mobile în comparație cu dispozitivele desktop, deoarece dispozitivele mobile pot fi ușor lăsate sub supraveghere.’

Autorii au comparat, de asemenea, modelul lor cu AFFDEX 1.0, un sistem anterior utilizat în testarea anunțurilor – și chiar modelul actual de detectare a privirii bazat pe cap a depășit AFFDEX 1.0 pe ambele tipuri de dispozitive:

‘Această îmbunătățire este rezultatul integrării mișcărilor capului în ambele direcții yaw și pitch, precum și a normalizării pozei capului pentru a lua în considerare schimbări minore. Mișcările pronunțate ale capului în setul de date mobil real au făcut ca modelul nostru de cap să performeze similar cu AFFDEX 1.0.’

Autorii închid articolul cu un tur de testare calitativ, prezentat mai jos.

Exemple de ieșiri ale modelului de atenție pe dispozitive desktop și mobile, cu fiecare rând prezentând exemple de pozitivi și negativi adevărați pentru diverse tipuri de distragere.

Autorii afirmă:

‘Rezultatele indică faptul că modelul nostru detectează eficient diversele distractori în medii necontrolate. Cu toate acestea, poate produce falsuri pozitive în anumite cazuri limită, cum ar fi înclinarea severă a capului în timp ce menține privirea pe ecran, anumite acoperiri ale gurii, ochi excesiv de neclar sau imagini faciale puternic întunecate. ‘

Concluzie

Deși rezultatele reprezintă o avansare măsurată, dar semnificativă, față de lucrările anterioare, valoarea mai profundă a studiului constă în perspectiva pe care o oferă asupra impulsului persistent de a accesa starea internă a spectatorului. Deși datele au fost colectate cu consimțământ, metodologia indică spre cadre viitoare care ar putea extinde dincolo de setări structurate de cercetare a pieței.

Această concluzie paranoică este întărită și de natura închisă, constrânsă și protejată cu gelozie a acestui strand particular de cercetare.

* Conversia mea a citărilor inline ale autorilor în legături hipertext.

Publicat pentru prima dată miercuri, 9 aprilie 2025