Letar efter ‘uglor och ödlor’ i en annonsörs publik

Eftersom den online-annonssektorn beräknas ha spenderat 740,3 miljarder USD 2023 är det lätt att förstå varför annonsföretag investerar betydande resurser i denna särskilda gren av datorseende-forskning.

Även om branschen är isolerad och skyddad publicerar den ibland studier som antyder mer avancerad proprietär forskning inom ansikts- och ögonrörelse-igenkänning – inklusive åldersigenkänning, som är central för demografiska analytikstatistik:

Att uppskatta ålder i en vild annonskontext är av intresse för annonsörer som kan rikta sig till en specifik demografisk grupp. I detta experimentella exempel på automatisk ansiktsåldersuppskattning spåras sångaren Bob Dylans ålder över åren. Källa: https://arxiv.org/pdf/1906.03625

Dessa studier, som sällan publiceras i offentliga databaser som Arxiv, använder legitimt rekryterade deltagare som underlag för AI-driven analys som syftar till att fastställa i vilken utsträckning och på vilket sätt tittaren engagerar sig i en annons.

Dlibs Histogram of Oriented Gradients (HoG) används ofta i ansiktsuppskattningssystem. Källa: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Djurinstinkt

I detta avseende är det naturligt att annonsbranschen är intresserad av att fastställa falska positiva (tillfällen då ett analytiskt system missinterpretarar en persons handlingar) och att etablera tydliga kriterier för när personen som tittar på deras reklam inte är fullt engagerad i innehållet.

När det gäller skärm-baserad reklam tenderar studierna att fokusera på två problem i två miljöer. Miljöerna är ‘skrivbord’ eller ‘mobil’, var och en med sina egna särdrag som kräver anpassade spårningslösningar; och problemen – ur annonsörens perspektiv – representeras av uglebeteende och ödlebeteende – benägenheten hos tittare att inte ge full uppmärksamhet åt en annons som är framför dem.

Exempel på ‘ugla’ och ‘ödlebeteende’ i en deltagare i ett annonsforskningsprojekt. Källa: https://arxiv.org/pdf/1508.04028

Om du tittar bort från den avsedda annonsen med hela huvudet är detta ‘uglebeteende’; om din huvudpose är statisk men dina ögon vandrar bort från skärmen är detta ‘ödlebeteende’. I termer av analyser och tester av nya annonser under kontrollerade förhållanden är dessa essentiella åtgärder för ett system att kunna fånga.

En ny artikel från SmartEyes förvärv Affectiva behandlar dessa frågor och erbjuder en arkitektur som utnyttjar flera befintliga ramverk för att tillhandahålla en kombinerad och sammanfogad funktionssats över alla nödvändiga förhållanden och möjliga reaktioner – och för att kunna avgöra om en tittare är uttråkad, engagerad eller på något sätt avlägsen från innehållet som annonsören önskar att de ska titta på.

Exempel på sanna och falska positiva som upptäckts av det nya uppmärksamhetssystemet för olika distraktionsignal, visas separat för skrivbords- och mobilenheter. Källa: https://arxiv.org/pdf/2504.06237

Författarna skriver*:

‘Begränsad forskning har undersökt uppmärksamhet under online-annonser. Medan dessa studier fokuserade på att uppskatta huvudpose eller blickriktning för att identifiera tillfällen av avledande blick, bortser de från kritiska parametrar som enhetstyp (skrivbord eller mobil), kameraplacering i förhållande till skärmen och skärmstorlek. Dessa faktorer påverkar avsevärt uppmärksamhetsdetektion.

‘I denna artikel föreslår vi en arkitektur för uppmärksamhetsdetektion som omfattar detektering av olika distraktorer, inklusive både ugla- och ödlebeteende av att titta utanför skärmen, tala, dåsighet (genom gäspning och långvarig ögonstängning) och att lämna skärmen oövervakad.

‘Till skillnad från tidigare tillvägagångssätt integrerar vår metod enhetsspecifika funktioner som enhetstyp, kameraplacering, skärmstorlek (för skrivbord) och kameravinkel (för mobila enheter) med den råa blickuppskattningen för att förbättra uppmärksamhetsdetektionsnoggrannheten.’

Den nya artikeln har titeln Övervakning av tittaruppmärksamhet under online-annonser och kommer från fyra forskare vid Affectiva.

Metod och data

Till stor del på grund av hemlighets- och slutna systemets natur presenterar den nya artikeln inte författarnas tillvägagångssätt direkt med rivaler, utan presenterar sina resultat uteslutande som ablationsstudier; artikeln följer inte heller den vanliga formatet för datorseende-litteratur. Därför ska vi titta på forskningen som den presenteras.

Författarna betonar att endast ett begränsat antal studier har behandlat uppmärksamhetsdetektion specifikt i sammanhanget med online-annonser. I AFFDEX SDK, som erbjuder realtids multi-face-igenkänning, antas uppmärksamhet endast från huvudpose, med deltagare som märks ouppmärksamma om deras huvudvinkel passerar en definierad tröskel.

Ett exempel från AFFDEX SDK, ett Affectiva-system som förlitar sig på huvudpose som en indikator på uppmärksamhet. Källa: https://www.youtube.com/watch?v=c2CWb5jHmbY

I 2019-samarbetet Automatisk mätning av visuell uppmärksamhet till videoinnehåll med hjälp av djupinlärning, annoterades en dataset med cirka 28 000 deltagare för olika ouppmärksamma beteenden, inklusive att titta bort, att stänga ögonen eller att engagera sig i orelaterade aktiviteter, och en CNN-LSTM-modell tränades för att upptäcka uppmärksamhet från ansiktsutseende över tid.

Från 2019-artikeln, ett exempel som visar förutsagda uppmärksamhetslägen för en tittare som tittar på videoinnehåll. Källa: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Men, observerar författarna, dessa tidigare insatser tog inte hänsyn till enhetsspecifika faktorer, som om deltagaren använde en skrivbords- eller mobil enhet; och de beaktade inte heller skärmstorlek eller kameraplacering. Dessutom fokuserar AFFDEX-systemet endast på att identifiera blickavledning och utelämnar andra källor till distraktion, medan 2019-arbetet försöker upptäcka ett bredare urval av beteenden – men dess användning av en enda grunt CNN kan, enligt artikeln, ha varit otillräcklig för denna uppgift.

Författarna observerar att några av de mest populära forskningarna inom detta område inte är optimerade för annons-testning, som har andra behov jämfört med områden som körning eller utbildning – där kameraplacering och kalibrering vanligtvis är fasta i förväg, och i stället förlitar sig på okalibrerade installationer, och fungerar inom den begränsade blickområdet för skrivbords- och mobila enheter.

Därför har de utvecklat en arkitektur för att upptäcka tittaruppmärksamhet under online-annonser, som utnyttjar två kommersiella verktyg: AFFDEX 2.0 och SmartEye SDK.

Exempel på ansiktsanalys från AFFDEX 2.0. Källa: https://arxiv.org/pdf/2202.12059

Dessa tidigare arbeten extraherar lågnivåfunktioner som ansiktsuttryck, huvudpose och blickriktning. Dessa funktioner bearbetas sedan för att producera högnivåindikatorer, inklusive blickposition på skärmen; gäspning; och tala.

Systemet identifierar fyra typer av distraktioner: blick utanför skärmen; dåsighet,; tala; och oövervakade skärmar. Det justerar också blickanalysen beroende på om tittaren är på en skrivbords- eller mobil enhet.

Datasets: Blick

Författarna använde fyra datasets för att driva och utvärdera uppmärksamhetsdetektionssystemet: tre som fokuserade individuellt på blickbeteende, tala och gäspning; och en fjärde som togs från riktiga annons-testsessioner som innehöll en blandning av distraktions typer.

På grund av de specifika kraven för arbetet skapades anpassade datasets för var och en av dessa kategorier. Alla datasets som samlades in var från en proprietär databas som innehöll miljontals inspelade sessioner av deltagare som tittade på annonser i hem- eller arbetsmiljöer, med en webbaserad installation, med informerat samtycke – och på grund av begränsningarna i dessa samtyckesavtal, kan datasets för det nya arbetet inte göras offentligt tillgängliga.

För att konstruera blick-datasetet, bad deltagarna att följa en rörlig punkt över olika punkter på skärmen, inklusive dess kanter, och sedan att titta bort från skärmen i fyra riktningar (upp, ner, vänster och höger) med sekvensen upprepad tre gånger. På detta sätt etablerades relationen mellan infångning och täckning:

Skärmdumpar som visar blickvideo-stimulansen på (a) skrivbord och (b) mobila enheter. Den första och tredje ramen visar instruktioner för att följa en rörlig punkt, medan den andra och fjärde ramen instruerar deltagarna att titta bort från skärmen.

De rörliga punktsegmenten märktes som uppmärksamma, och de segmenten utanför skärmen märktes som oupmmärksamma, vilket resulterade i en märkt dataset med både positiva och negativa exempel.

Varje video varade ungefär 160 sekunder, med separata versioner skapade för skrivbords- och mobila plattformar, var och en med upplösningar på 1920×1080 och 608×1080, respektive.

Totalt samlades 609 videor in, bestående av 322 skrivbords- och 287 mobila inspelningar. Etiketter tilldelades automatiskt baserat på videoinnehållet, och dataset delades in i 158 träningsprover och 451 för testning.

Datasets: Tala

I detta sammanhang är ett av kriterierna för att definiera ‘oupmmärksamhet’ när en person talar i mer än en sekund (vilket kan vara ett tillfälligt kommentar eller till och med en hostning).

Eftersom den kontrollerade miljön inte spelar in eller analyserar ljud, antas tala genom att observera inre rörelser av uppskattade ansiktslandmärken. Därför skapade författarna en dataset baserad enbart på visuell input, hämtad från deras interna databas, och delad i två delar: den första innehöll cirka 5 500 videor, var och en manuellt märkt av tre annotatorer som antingen tala eller inte tala (av dessa användes 4 400 för tränings- och valideringsändamål och 1 100 för testning).

Den andra bestod av 16 000 sessioner som automatiskt märktes baserat på sessionstyp: 10 500 funktioner som deltagare tyst tittar på annonser, och 5 500 visar deltagare som uttrycker åsikter om varumärken.

Datasets: Gäspning

Medan vissa ‘gäspnings’-datasets finns, inklusive YawDD och Driver Fatigue, hävdar författarna att ingen av dem är lämplig för annons-testscenarier, eftersom de antingen innehåller simulerade gäspningar eller innehåller ansiktsförvridningar som kan förväxlas med rädsla eller andra, icke-gäspande handlingar.

Därför använde författarna 735 videor från deras interna samling, och valde sessioner som sannolikt innehöll en gapande som varade mer än en sekund. Varje video märktes manuellt av tre annotatorer som antingen aktiv eller inaktiv gäspning. Endast 2,6 procent av ramarna innehöll aktiva gäspningar, vilket underströk klassobalansen, och dataset delades in i 670 träningsvideor och 65 för testning.

Datasets: Distraktion

Distraktions-datasetet togs också från författarnas annons-testdatabas, där deltagarna hade tittat på riktiga annonser utan några tilldelade uppgifter. Totalt 520 sessioner (193 på mobila och 327 på skrivbordsmiljöer) valdes slumpmässigt ut och märktes manuellt av tre annotatorer som antingen uppmärksamma eller oupmmärksamma.

Ouppmärksam beteende inkluderade blick utanför skärmen, tala, dåsighet, och oövervakade skärmar. Sessionerna spänner över olika regioner i världen, med skrivbordsinspelningar mer vanliga på grund av flexibel webbkameraplacering.

Uppmärksamhetsmodeller

Den föreslagna uppmärksamhetsmodellen bearbetar lågnivå visuella funktioner, nämligen ansiktsuttryck; huvudpose; och blickriktning – extraherade genom de ovannämnda AFFDEX 2.0 och SmartEye SDK.

De omvandlas sedan till högnivåindikatorer, med varje distraktor hanterad av en separat binär klassificerare som tränats på sin egen dataset för oberoende optimering och utvärdering.

Schema för det föreslagna övervakningssystemet.

Blick-modellen bestämmer om tittaren tittar på eller bort från skärmen med hjälp av normaliserade blickkoordinater, med separat kalibrering för skrivbords- och mobila enheter. En linjär Support Vector Machine (SVM), tränad på spatiala och temporala funktioner, som inkorporerar ett minnesfönster för att jämna ut snabba blickförändringar.

För att upptäcka tala utan ljud, använde systemet avskurna munområden och en 3D-CNN tränad på både konversations- och icke-konversationsvideosegment. Etiketter tilldelades baserat på sessionstyp, med temporalt glättande som minskade de falska positiva som kan resultera från korta munrörelser.

Gäspning upptäcktes med hjälp av fullständiga ansiktsbilder, för att fånga en bredare ansiktsrörelse, med en 3D-CNN tränad på manuellt märkta ramar (även om uppgiften komplicerades av gäspningens låga frekvens i naturlig tittande, och dess likhet med andra uttryck).

Oövervakad skärm identifierades genom avsaknad av ett ansikte eller extrem huvudpose, med förutsägelser gjorda av ett besluts-träd.

Slutlig uppmärksamhetsstatus bestämdes med hjälp av en fast regel: om någon modul upptäckte ouppmärksamhet, märktes tittaren oupmmärksam – en tillvägagångssätt som prioriterar känslighet, och justerad separat för skrivbords- och mobila sammanhang.

Tester

Som nämnts tidigare följer testerna en ablativ metod, där komponenter tas bort och effekten på resultatet noteras.

Olika kategorier av uppfattad ouppmärksamhet identifierade i studien.

Blick-modellen identifierade blickbeteende utanför skärmen genom tre nyckelsteg: normalisering av råa blickuppskattningar, finjustering av utdata, och uppskattning av skärmstorlek för skrivbordsenheter.

För att förstå vikten av varje komponent tog författarna bort dem individuellt och utvärderade prestanda på 226 skrivbords- och 225 mobila videor hämtade från två datasets. Resultaten, mätta med G-mean och F1 poäng, visas nedan:

Resultat som visar prestanda för den fullständiga blickmodellen, tillsammans med versioner med individuella bearbetningssteg borttagna.

I alla fall minskade prestandan när ett steg togs bort. Normalisering visade sig vara särskilt värdefull på skrivbord, där kameraplacering varierar mer än på mobila enheter.

Studien utvärderade också hur visuella funktioner förutsåg mobilkameravinkel: ansiktsplacering, huvudpose och ögonblick nådde 0,75, 0,74 och 0,60, medan deras kombination nådde 0,91, vilket, enligt författarna, visar fördelen med att integrera flera ledtrådar.

Tala-modellen, tränad på vertikal läppavstånd, uppnådde en ROC-AUC på 0,97 på den manuellt märkta testuppsättningen, och 0,96 på den större automatiskt märkta dataseten, vilket visar konsekvent prestanda över båda.

Gäspning-modellen nådde en ROC-AUC på 96,6 procent med hjälp av munavståndsrelationen ensam, vilket förbättrades till 97,5 procent när det kombinerades med åtgärdsenhet-förutsägelser från AFFDEX 2.0.

Den oövervakade skärmmodellen klassificerade ögonblick som oupmmärksamma när både AFFDEX 2.0 och SmartEye inte kunde upptäcka ett ansikte i mer än en sekund. För att utvärdera giltigheten av detta, märkte författarna manuellt alla sådana inga-ansikts-händelser i riktiga distraktions-datasetet, och identifierade den underliggande orsaken till varje aktivering. Tvetydiga fall (såsom kameraobstruktion eller videoförvrängning) uteslöts från analysen.

Som visas i resultattabellen nedan, var endast 27 procent av ‘inga-ansikts’-aktiveringar orsakade av användare som fysiskt lämnade skärmen.

Diverse orsaker till varför ett ansikte inte hittades, i vissa fall.

Artikeln påstår:

‘Trots att oövervakade skärmar utgjorde endast 27% av fallen som utlöste inga-ansikts-signalen, utlöstes den för andra orsaker som tyder på ouppmärksamhet, såsom deltagare som tittade bort från skärmen med en extrem vinkel, gjorde onödig rörelse eller ockuperade sitt ansikte avsevärt med ett föremål/hand.’

I den sista av de kvantitativa testerna, utvärderade författarna hur progressivt läggande till olika distraktionsignal – blick utanför skärmen (via blick och huvudpose), dåsighet, tala och oövervakade skärmar – påverkade den övergripande prestandan för deras uppmärksamhetsmodell.

Testning utfördes på två datasets: riktiga distraktions-datasetet och en testundergrupp av blick-datasetet. G-mean och F1-poäng användes för att mäta prestanda (även om dåsighet och tala uteslöts från blick-dataset-analysen på grund av deras begränsade relevans i detta sammanhang).

Som visas nedan, förbättrades uppmärksamhetsdetektion konsekvent när fler distraktions typer lades till, med blick utanför skärmen, den vanligaste distraktorn, som gav den starkaste baslinjen.

Effekten av att lägga till olika distraktions signaler till arkitekturen.

Av dessa resultat påstår artikeln:

‘Från resultaten kan vi först dra slutsatsen att integrationen av alla distraktions signaler bidrar till förbättrad uppmärksamhetsdetektion.

‘Andra, förbättringen av uppmärksamhetsdetektion är konsekvent över både skrivbords- och mobila enheter. Tredje, de mobila sessionerna i den riktiga dataseten visar betydande huvudrörelser när man tittar bort, som lätt kan upptäckas, vilket leder till bättre prestanda för mobila enheter jämfört med skrivbord. Fjärde, tillägget av dåsighetssignalen har relativt liten förbättring jämfört med andra signaler, eftersom det sällan inträffar.

‘Slutligen, den oövervakade skärmen-signalen har relativt större förbättring på mobila enheter jämfört med skrivbord, eftersom mobila enheter lätt kan lämnas oövervakade.’

Författarna jämförde också sin modell med AFFDEX 1.0, ett tidigare system som användes i annons-testning – och till och med den nuvarande modellens huvud-baserade blickdetektion överträffade AFFDEX 1.0 på båda enhetstyper:

‘Denna förbättring är ett resultat av att integrera huvudrörelser i både yaw- och pitch-riktningar, samt att normalisera huvudposen för att ta hänsyn till mindre förändringar. De uttalade huvudrörelserna i den riktiga mobila dataseten har orsakat att vår huvudmodell fungerar lika bra som AFFDEX 1.0.’

Författarna avslutar artikeln med en (kanske ganska perfunctorisk) kvalitativ testrunda, som visas nedan.

Exempel på utdata från uppmärksamhetsmodellen över skrivbords- och mobila enheter, med varje rad som visar exempel på sanna och falska positiva för olika distraktions typer.

Författarna påstår:

‘Resultaten visar att vår modell effektivt upptäcker olika distraktorer i okontrollerade miljöer. Men den kan ibland producera falska positiva i vissa extrema fall, såsom kraftig huvudvridning medan man fortfarande tittar på skärmen, vissa munförslutningar, extremt suddiga ögon eller kraftigt mörklagda ansiktsbilder. ‘

Slutsats

Medan resultaten representerar en måttlig men meningsfull framsteg jämfört med tidigare arbeten, ligger det djupare värdet av studien i den glimt den erbjuder av den ihållande drivkraften att komma åt tittarens inre tillstånd. Även om data samlades in med samtycke, pekar metoden mot framtida ramverk som kan sträcka sig bortom strukturerade, marknadsundersökningsmiljöer.

Denna ganska paranoida slutsats stöds ytterligare av den isolerade, begränsade och avundsjukt skyddade naturen av denna särskilda gren av forskning.

* Min konvertering av författarnas inline-citat till hyperlänkar.

Publicerad första gången onsdag, 9 april 2025