Op zoek naar ‘Uilen en Hagedissen’ in het publiek van een adverteerder

Sinds de online advertentiebranche naar verwachting $740,3 miljard USD heeft uitgegeven in 2023, is het gemakkelijk te begrijpen waarom advertentiebedrijven aanzienlijke middelen investeren in deze specifieke tak van computer vision-onderzoek.

Hoewel de industrie geïsoleerd en beschermend is, publiceert het af en toe studies die suggereren dat er meer geavanceerd propriëtair werk wordt gedaan aan gezichts- en oogbewegingsherkenning – inclusief leeftijdsherkenning, die essentieel is voor demografische analytische statistieken:

Het schatten van de leeftijd in een wild advertentiecontext is van belang voor adverteerders die mogelijk een bepaalde leeftijdsdemografie willen bereiken. In dit experimentele voorbeeld van automatische leeftijdschatting wordt de leeftijd van artiest Bob Dylan gedurende de jaren gevolgd. Bron: https://arxiv.org/pdf/1906.03625

Deze studies, die zelden in openbare repositories zoals Arxiv verschijnen, gebruiken legitiem geworven deelnemers als basis voor AI-gedreven analyse die ernaar streeft te bepalen in hoeverre en op welke manier de kijker zich verhoudt tot een advertentie.

Dlib’s Histogram of Oriënted Gradients (HoG) wordt vaak gebruikt in gezichtsschattingssystemen. Bron: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Dierlijk Instinct

In dit opzicht is de advertentiebranche natuurlijk geïnteresseerd in het bepalen van valse positieven (gelegenheden waarbij een analytisch systeem de acties van een onderwerp verkeerd interpreteert) en in het vaststellen van duidelijke criteria voor wanneer de persoon die naar hun commercials kijkt, niet volledig betrokken is bij de inhoud.

Wat betreft schermgebaseerde advertenties, richten studies zich meestal op twee problemen in twee omgevingen. De omgevingen zijn ‘desktop’ of ‘mobiel’, elk met zijn eigen kenmerken die op maat gemaakte oplossingen vereisen; en de problemen – vanuit het oogpunt van de adverteerder – worden vertegenwoordigd door uilgedrag en hagedisgedrag – de neiging van kijkers om niet volledig aandacht te besteden aan een advertentie die voor hen staat.

Voorbeelden van ‘uil’ en ‘hagedis’ gedrag in een onderwerp van een advertentieonderzoeksproject. Bron: https://arxiv.org/pdf/1508.04028

Als je wegkijkt van de bedoelde advertentie met je hele hoofd, is dit ‘uilgedrag’; als je hoofdpose statisch is, maar je ogen afdwalen van het scherm, is dit ‘hagedisgedrag’. In termen van analytics en testen van nieuwe advertenties onder gecontroleerde omstandigheden, zijn dit essentiële acties voor een systeem om te kunnen vastleggen.

Een nieuw artikel van SmartEye’s Affectiva-overname richt zich op deze kwesties, met een architectuur die een aantal bestaande kaders gebruikt om een samengestelde en geconcateneerde functieset te bieden voor alle vereiste omstandigheden en mogelijke reacties – en om te kunnen bepalen of een kijker verveeld, betrokken of op een of andere manier afgeleid is van de inhoud die de adverteerder hem wil laten zien.

Voorbeelden van ware en valse positieven die zijn gedetecteerd door het nieuwe aandachtsysteem voor verschillende afleidingsignalen, weergegeven voor desktop- en mobiele apparaten. Bron: https://arxiv.org/pdf/2504.06237

De auteurs verklaren*:

‘Beperkt onderzoek heeft zich beziggehouden met het monitoren van aandacht tijdens online advertenties. Terwijl deze studies zich richtten op het schatten van hoofdpose of blikrichting om gevallen van afgeleide blik te identificeren, negeren ze kritieke parameters zoals apparaattype (desktop of mobiel), cameraplacement ten opzichte van het scherm en schermafmetingen. Deze factoren beïnvloeden aandacht detectie aanzienlijk.

‘In dit artikel stellen we een architectuur voor aandacht detectie voor die het detecteren van verschillende afleiders omvat, waaronder zowel het uil- en hagedisgedrag van het wegkijken van het scherm, spreken, slaperigheid (door gapen en langdurige oogsluiting) en het verlaten van het scherm.

‘In tegenstelling tot eerdere benaderingen, integreert onze methode apparaatspecifieke kenmerken zoals apparaattype, cameraplacement, schermafmeting (voor desktops) en camerarichting (voor mobiele apparaten) met de ruwe blikschattingswaarde om de nauwkeurigheid van aandacht detectie te verbeteren.’

Het nieuwe onderzoek heeft als titel Monitoring Viewer Attention During Online Ads en komt van vier onderzoekers bij Affectiva.

Methode en Gegevens

Grotendeels vanwege de geheimhouding en gesloten aard van dergelijke systemen, vergelijkt het nieuwe artikel de benadering van de auteurs niet rechtstreeks met die van concurrenten, maar presenteert het zijn bevindingen uitsluitend als ablatieonderzoeken; evenmin houdt het artikel zich in het algemeen aan het gebruikelijke formaat van computer vision-literatuur. Daarom zullen we naar het onderzoek kijken zoals het wordt gepresenteerd.

De auteurs benadrukken dat slechts een beperkt aantal studies zich specifiek hebben gericht op aandacht detectie in de context van online advertenties. In de AFFDEX SDK, die real-time multi-face recognition biedt, wordt aandacht alleen afgeleid van hoofdpose, met deelnemers die als aandachtloos worden gelabeld als hun hoofdhoek een bepaalde drempel overschrijdt.

Een voorbeeld uit de AFFDEX SDK, een Affectiva-systeem dat hoofdpose gebruikt als indicator van aandacht. Bron: https://www.youtube.com/watch?v=c2CWb5jHmbY

In de 2019-samenwerking Automatische meting van visuele aandacht voor video-inhoud met behulp van diepe leer, werd een dataset van ongeveer 28.000 deelnemers geannoteerd voor verschillende aandachtloze gedragingen, waaronder wegkijken, ogen sluiten of deelnemen aan niet-gerelateerde activiteiten, en een CNN-LSTM-model getraind om aandacht te detecteren vanuit gezichtsuitdrukkingen in de loop van de tijd.

Uit het artikel van 2019, een voorbeeld dat de voorspelde aandachtsstaten voor een kijker laat zien die video-inhoud bekijkt. Bron: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Echter, merken de auteurs op, hebben deze eerdere inspanningen geen rekening gehouden met apparaatspecifieke factoren, zoals of de deelnemer een desktop- of mobiel apparaat gebruikte; noch hebben ze rekening gehouden met schermafmetingen of cameraplacement. Bovendien richt het AFFDEX-systeem zich alleen op het identificeren van blikafleiding en laat het andere bronnen van afleiding buiten beschouwing, terwijl het werk uit 2019 een bredere reeks gedragingen probeert te detecteren – maar het gebruik van een enkele ondiepe CNN kan, zoals het artikel stelt, ontoereikend zijn geweest voor deze taak.

De auteurs merken op dat sommig van de meest populaire onderzoek in deze richting niet is geoptimaliseerd voor ad-testen, dat andere behoeften heeft in vergelijking met domeinen zoals rijden of onderwijs – waar cameraplacement en -kalibratie meestal van tevoren zijn vastgesteld, in plaats van ongekalibreerde instellingen, en binnen de beperkte blikbereik van desktop- en mobiele apparaten.

Daarom hebben ze een architectuur ontwikkeld voor het detecteren van kijkeraandacht tijdens online advertenties, met behulp van twee commerciële toolkits: AFFDEX 2.0 en SmartEye SDK.

Voorbeelden van gezichtsanalyse van AFFDEX 2.0. Bron: https://arxiv.org/pdf/2202.12059

Deze eerdere werken extraheren lage-niveaukenmerken zoals gezichtsuitdrukkingen, hoofdpose en blikrichting. Deze kenmerken worden vervolgens verwerkt om hogere-niveau-indicatoren te produceren, waaronder blikpositie op het scherm; gapen; en spreken.

Het systeem identificeert vier soorten afleiding: blik van het scherm af; slaperigheid; spreken; en ongeattendeerde schermen. Het systeem past ook blikanalyse aan op basis van het apparaattype (desktop of mobiel).

Datasets: Blik

De auteurs gebruikten vier datasets om het aandacht detectiesysteem te trainen en te evalueren: drie die zich individueel richten op blikgedrag, spreken en gapen; en een vierde die is afgeleid van real-world ad-testsessies met een mengsel van afleidingstypen.

Vanwege de specifieke vereisten van het werk, werden aangepaste datasets voor elk van deze categorieën gemaakt. Alle datasets die zijn geselecteerd, zijn afkomstig uit een propriëtaire repository met miljoenen opgenomen sessies van deelnemers die advertenties bekijken in thuissituaties of op de werkplek, met een webgebaseerde instelling, met geïnformeerde toestemming – en vanwege de beperkingen van die toestemmingsovereenkomsten, verklaren de auteurs dat de datasets voor het nieuwe onderzoek niet openbaar kunnen worden gemaakt.

Om de blik-dataset te construeren, werden deelnemers gevraagd om een bewegende stip over verschillende punten op het scherm te volgen, inclusief de randen, en vervolgens weg te kijken van het scherm in vier richtingen (omhoog, omlaag, links en rechts) met de sequentie herhaald drie keer. Op deze manier werd de relatie tussen opname en dekking vastgesteld:

Schermopnames van de blikvideo-stimulus op (a) desktop en (b) mobiele apparaten. De eerste en derde kaders tonen instructies om een bewegende stip te volgen, terwijl de tweede en vierde deelnemers aansporen om weg te kijken van het scherm.

De bewegende-stipsegmenten werden gelabeld als aandachtig, en de af-schermsegmenten als aandachtloos, waardoor een gelabelde dataset van zowel positieve als negatieve voorbeelden ontstond.

Elke video duurde ongeveer 160 seconden, met afzonderlijke versies gemaakt voor desktop- en mobiele platforms, elk met resoluties van 1920×1080 en 608×1080, respectievelijk.

Er werden in totaal 609 video’s verzameld, bestaande uit 322 desktop- en 287 mobiele opnames. Labels werden automatisch toegepast op basis van de video-inhoud, en de dataset gesplitst in 158 trainingsvoorbeelden en 451 voor testen.

Datasets: Spreken

In deze context is een van de criteria die ‘aandachtloosheid’ definiëren, wanneer iemand langer dan een seconde spreekt (wat een momentane opmerking kan zijn, of zelfs een hoest).

Omdat de gecontroleerde omgeving geen audio opneemt of analyseert, wordt spreken afgeleid door de interne beweging van geschatte gezichtskenmerken te observeren. Daarom hebben de auteurs een dataset gebaseerd op uitsluitend visuele input gemaakt, afkomstig uit hun interne repository, en deze in twee delen gesplitst: het eerste deel bevatte ongeveer 5.500 video’s, elk handmatig gelabeld door drie annotators als spreken of niet spreken (waarvan 4.400 werden gebruikt voor training en validatie, en 1.100 voor testen).

Het tweede deel bestond uit 16.000 sessies die automatisch waren gelabeld op basis van sessietype: 10.500 sessies met deelnemers die zwijgend naar advertenties keken, en 5.500 sessies met deelnemers die hun mening over merken uitten.

Datasets: Gapen

Hoewel sommige ‘gapen’-datasets bestaan, zoals YawDD en Driver Fatigue, beweren de auteurs dat geen van deze datasets geschikt is voor ad-testscenario’s, omdat ze ofwel gesimuleerde gapen bevatten ofwel gezichtsvervormingen die verward kunnen worden met angst of andere, niet-gapende acties.

Daarom hebben de auteurs 735 video’s uit hun interne collectie gebruikt, waarbij sessies zijn geselecteerd die waarschijnlijk een kaakval van meer dan een seconde bevatten. Elke video werd handmatig gelabeld door drie annotators als actief of inactief gapen. Slechts 2,6 procent van de frames bevatte actief gapen, waardoor de klasse-ongelijkheid werd benadrukt, en de dataset werd gesplitst in 670 trainingsvideo’s en 65 voor testen.

Datasets: Afleiding

De afleiding-dataset was ook afkomstig uit de advertentie-testrepository van de auteurs, waar deelnemers echte advertenties hadden bekeken zonder toegewezen taken. In totaal werden 520 sessies (193 op mobiel en 327 op desktop-omgevingen) willekeurig geselecteerd en handmatig gelabeld door drie annotators als aandachtig of aandachtloos.

Aandachtloos gedrag omvatte blik van het scherm af, spreken, slaperigheid en ongeattendeerde schermen. De sessies omvatten diverse regio’s over de hele wereld, met desktop-opnames vaker voorkomend vanwege de flexibele webcam-plaatsing.

Aandachtmodellen

Het voorgestelde aandachtsmodel verwerkt lage-niveauvisuele kenmerken, namelijk gezichtsuitdrukkingen; hoofdpose; en blikrichting – geëxtraheerd door de eerder genoemde AFFDEX 2.0 en SmartEye SDK.

Deze worden vervolgens omgezet in hogere-niveau-indicatoren, waarbij elke afleider wordt afgehandeld door een separate binaire classifier getraind op zijn eigen dataset voor onafhankelijke optimalisatie en evaluatie.

Schema voor het voorgestelde monitoren systeem.

De blik-model bepaalt of de kijker naar of weg van het scherm kijkt met behulp van genormaliseerde blikcoördinaten, met separate kalibratie voor desktop- en mobiele apparaten. Dit proces wordt ondersteund door een lineaire Support Vector Machine (SVM), getraind op ruimtelijke en tijdelijke kenmerken, die een geheugenvenster incorporeert om snelle blikverschuivingen te gladstrijken.

Om spreken zonder audio te detecteren, gebruikte het systeem gewijzigde mondgebieden en een 3D-CNN getraind op zowel conversational als non-conversationele video-segmenten. Labels werden toegewezen op basis van sessietype, met tijdelijke gladstrijking die valse positieven reduceerde die konden ontstaan door korte mondbewegingen.

Gapen werd gedetecteerd met behulp van volledige gezichtsafbeeldingen, om bredere gezichtsbeweging te detecteren, met een 3D-CNN getraind op handmatig gelabelde frames (hoewel de taak werd bemoeilijkt door de lage frequentie van gapen in natuurlijke kijkgedrag en door de gelijkenis met andere uitdrukkingen).

Schermverlating werd geïdentificeerd door de afwezigheid van een gezicht of extreme hoofdpose, met voorspellingen gedaan door een beslissingsboom.

Definitieve aandachtsstatus werd bepaald met behulp van een vaste regel: als een van de modules aandachtloosheid detecteerde, werd de kijker gemarkeerd als aandachtloos – een benadering die gevoeligheid prioriteert en afzonderlijk is afgestemd op desktop- en mobiele contexten.

Tests

Zoals eerder vermeld, volgen de tests een ablatieve methode, waarbij componenten worden verwijderd en het effect op het resultaat wordt opgemerkt.

Verschillende categorieën van waargenomen aandachtloosheid geïdentificeerd in de studie.

Het blikmodel identificeerde af-schermgedrag door drie belangrijke stappen: het normaliseren van ruwe blikschattingswaarden, het fijn afstemmen van de uitvoer en het schatten van de schermafmeting voor desktop-apparaten.

Om de belangrijkheid van elke component te begrijpen, verwijderden de auteurs ze afzonderlijk en evalueerden de prestaties op 226 desktop- en 225 mobiele video’s afkomstig uit twee datasets. De resultaten, gemeten door G-mean en F1-scores, worden hieronder weergegeven:

Resultaten die de prestaties van het volledige blikmodel aantonen, naast versies met afzonderlijke verwerkingsstappen verwijderd.

In elk geval daalde de prestatie wanneer een stap werd weggelaten. Normalisatie bleek vooral waardevol op desktops, waar cameraplacement meer varieert dan op mobiele apparaten.

De studie beoordeelde ook hoe visuele kenmerken de voorspelling van mobiele camerarichting beïnvloedden: gezichtslocatie, hoofdpose en oogblik richting scoorden 0,75, 0,74 en 0,60, terwijl hun combinatie 0,91 bereikte, waarmee – zoals de auteurs stellen – het voordeel van het integreren van meerdere signalen werd benadrukt.

Het spreken-model, getraind op verticale lipafstand, bereikte een ROC-AUC van 0,97 op de handmatig gelabelde testset en 0,96 op de grotere automatisch gelabelde dataset, wat wijst op consistente prestaties in beide.

Het gapen-model bereikte een ROC-AUC van 96,6 procent met behulp van alleen de mondaspectverhouding, wat verbeterde tot 97,5 procent toen het werd gecombineerd met actie-eenheidsvoorspellingen van AFFDEX 2.0.

Het ongeattendeerde-schermmodel classificeerde momenten als aandachtloos wanneer zowel AFFDEX 2.0 als SmartEye geen gezicht konden detecteren voor meer dan een seconde. Om de validiteit hiervan te beoordelen, hebben de auteurs alle dergelijke geen-gezichtsgebeurtenissen in de echte afleiding-dataset handmatig geannoteerd, waarbij de onderliggende oorzaak van elke activatie werd geïdentificeerd. Dubieuze gevallen (zoals camerablokkering of videodistorsie) werden uit de analyse uitgesloten.

Zoals te zien is in de resultaatentabel hieronder, waren slechts 27 procent van de ‘geen-gezicht’-activaties te wijten aan gebruikers die fysiek het scherm verlieten.

Uiteenlopende redenen waarom een gezicht niet werd gevonden in bepaalde gevallen.

Het artikel stelt:

‘Ondanks dat ongeattendeerde schermen slechts 27% van de gevallen vormen die het geen-gezichtsignaal activeren, werd het geactiveerd om andere redenen die aandachtloosheid aanduiden, zoals deelnemers die met een extreme hoek van het scherm afkijken, overmatige beweging maken of hun gezicht aanzienlijk bedekken met een voorwerp/hand.’

In de laatste van de kwantitatieve tests, evalueerden de auteurs hoe het progressief toevoegen van verschillende afleidingsignalen – af-scherm blik (via blik en hoofdpose), slaperigheid, spreken en ongeattendeerde schermen – de algehele prestatie van hun aandachtsmodel beïnvloedde.

De tests werden uitgevoerd op twee datasets: de echte afleiding-dataset en een testsubset van de blik-dataset. G-mean en F1-scores werden gebruikt om de prestaties te meten (hoewel slaperigheid en spreken werden uitgesloten van de blikdatasetanalyse vanwege hun beperkte relevantie in deze context).

Zoals hieronder te zien is, verbeterde aandacht detectie consistent naarmate meer afleidingstypen werden toegevoegd, met af-scherm blik als de meest voorkomende afleider, die de sterkste basislijn biedt.

Het effect van het toevoegen van uiteenlopende afleidingsignalen aan de architectuur.

Over deze resultaten stelt het artikel:
‘Uit de resultaten kunnen we allereerst concluderen dat de integratie van alle afleidingsignalen bijdraagt aan verbeterde aandacht detectie.

‘Ten tweede is de verbetering in aandacht detectie consistent over zowel desktop- als mobiele apparaten. Ten derde laten de mobiele sessies in de echte dataset aanzienlijke hoofdbewegingen zien wanneer men van het scherm afkijkt, die gemakkelijk worden gedetecteerd, waardoor een betere prestatie voor mobiele apparaten in vergelijking met desktops ontstaat. Ten vierde heeft het toevoegen van het slaperigheidssignaal een relatief geringe verbetering in vergelijking met andere signalen, aangezien het meestal zelden voorkomt.

‘Ten slotte heeft het ongeattendeerde-scherm-signaal een relatief grotere verbetering op mobiele apparaten in vergelijking met desktops, aangezien mobiele apparaten gemakkelijk ongeattendeerd kunnen worden gelaten.’

De auteurs vergelijken hun model ook met AFFDEX 1.0, een eerder systeem dat in ad-testen werd gebruikt – en zelfs de huidige modus van hoofd-gebaseerde blikdetectie overtrof AFFDEX 1.0 op zowel desktop- als mobiele apparaten:

‘Deze verbetering is het resultaat van het integreren van hoofdbewegingen in zowel de yaw- als pitchrichting, evenals het normaliseren van de hoofdpose om rekening te houden met kleine veranderingen. De uitgesproken hoofdbewegingen in de echte mobiele dataset hebben ertoe geleid dat ons hoofdmodel vergelijkbaar presteert met AFFDEX 1.0.’

De auteurs sluiten het artikel af met een (misschien enigszins formeel) kwalitatief testrondje, weergegeven hieronder.

Voorbeelden van uitvoer van het aandachtsmodel over desktop- en mobiele apparaten, met elke rij die voorbeelden van ware en valse positieven voor verschillende afleidingstypen toont.

De auteurs stellen:

‘De resultaten geven aan dat ons model verschillende afleiders effectief detecteert in ongecontroleerde omgevingen. Echter, kan het soms valse positieven produceren in bepaalde randgevallen, zoals ernstige hoofdkanteling bij het behouden van de blik op het scherm, sommige mondafdekkingen, overmatig wazige ogen of zwaar verdonkerde gezichtsbeelden. ‘

Conclusie

Hoewel de resultaten een gemeten maar betekenisvolle vooruitgang vertegenwoordigen ten opzichte van eerder onderzoek, ligt de diepere waarde van de studie in de glimp die het biedt in de persistente drang om toegang te krijgen tot de interne staat van de kijker. Hoewel de gegevens met toestemming zijn verzameld, wijst de methodologie naar toekomstige kaders die zich kunnen uitstrekken tot voorbij gestructureerde, marktonderzoeksomgevingen.

Dit tamelijk paranoïde besluit wordt nog versterkt door de geïsoleerde, beperkte en jalously beschermde aard van deze specifieke tak van onderzoek.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op woensdag 9 april 2025