På jagt efter ‘ugler og øgler’ i en annoncørers publikum

Siden den online reklamebranche forventes at have brugt 740,3 milliarder USD i 2023, er det let at forstå, hvorfor reklamefirmaer investerer betydelige ressourcer i denne særlige gren af computer vision-forskning.

Selvom branchen er lukket og beskyttet, offentliggør den lejlighedsvis studier, der antyder mere avanceret proprietær arbejde med ansigts- og øjne-genkendelse – herunder aldersgenkendelse, der er central for demografiske analytikerstatistikker:

Estimering af alder i en reklamekontekst er af interesse for annoncører, der måske retter sig mod en bestemt demografisk gruppe. I dette eksperimentelle eksempel på automatisk ansigtsaldersestimering følges sanger Bob Dylans alder over årene. Kilde: https://arxiv.org/pdf/1906.03625

Disse studier, der sjældent optræder i offentlige repositorier som Arxiv, bruger lovligt rekrutterede deltagere som grundlag for AI-dreven analyse, der sigter mod at bestemme, i hvilken udstrækning og på hvilken måde, tilhøreren er engageret i en reklame.

Dlibs Histogram of Oriented Gradients (HoG) bruges ofte i ansigtsanalyse-systemer. Kilde: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Dyriske instinkter

I denne sammenhæng er det naturligt, at reklamebranchen er interesseret i at bestemme falske positiver (tilfælde, hvor et analytisk system misfortolker en persons handlinger) og i at etablere klare kriterier for, når personen, der ser deres reklamer, ikke er fuldt engageret i indholdet.

Så langt reklame på skærme er concerned, tenderer studierne til at fokusere på to problemer over to miljøer. Miljøerne er ‘desktop’ eller ‘mobile’, hver med sine særlige karakteristika, der kræver tilpassede løsninger; og problemernes – fra annoncørernes synspunkt – repræsenteres af ugle- og øgle-adfærd – tendensen hos seere til ikke at give fuld opmærksomhed til en reklame, der er foran dem.

Eksempler på ‘ugle’ og ‘øgle’-adfærd i en person, der er genstand for en reklameforskningsprojekt. Kilde: https://arxiv.org/pdf/1508.04028

Hvis du ser væk fra den ønskede reklame med hele hovedet, er dette ‘ugle’-adfærd; hvis din hovedholdning er statisk, men dine øjne vandrer væk fra skærmen, er dette ‘øgle’-adfærd. I forhold til analytics og testning af nye reklamer under kontrollerede forhold er disse essentielle handlinger for et system til at kunne fange.

En ny artikel fra SmartEyes Affectiva-overtagelse beskæftiger sig med disse problemer og tilbyder en arkitektur, der udnytter flere eksisterende rammer til at give en kombineret og samlet funktionssæt over alle de nødvendige betingelser og mulige reaktioner – og til at kunne bestemme, om en seer er ked, engageret eller på en eller anden måde fjern fra indhold, som annoncøren ønsker, de skal se.

Eksempler på sande og falske positiver, der er opfanget af det nye opmærksomheds-system for forskellige distraktions-signaler, vist separat for desktop- og mobile-enheder. Kilde: https://arxiv.org/pdf/2504.06237

Forfatterne skriver*:

‘Begrænset forskning har dykket ned i overvågning af opmærksomhed under online-reklamer. Mens disse studier fokuserede på at estimerer hovedholdning eller blikretning for at identificere tilfælde af afledt blik, ignorerer de kritiske parametre som enhedstype (desktop eller mobile), kamera-placering i forhold til skærmen og skærmstørrelse. Disse faktorer påvirker betydeligt opmærksomheds-detection.

‘I denne artikel foreslår vi en arkitektur for opmærksomheds-detection, der omfatter detektering af forskellige distraktorer, herunder både uglen og øglens adfærd ved at kigge væk fra skærmen, tale, træthed (gennem gabning og forlænget øjnelukning) og forladelse af skærmen.

‘I modsætning til tidligere tilgange integrerer vores metode enhedsspecifikke funktioner som enhedstype, kamera-placering, skærmstørrelse (for desktops) og kamera-orientering (for mobile enheder) med den rene blik-estimering for at forbedre opmærksomheds-detection-nøjagtigheden.’

Den nye artikel har titlen Overvågning af seernes opmærksomhed under online-reklamer og kommer fra fire forskere ved Affectiva.

Metode og data

Largely på grund af hemmeligholdelsen og lukkethed af sådanne systemer, sammenligner den nye artikel ikke forfatternes tilgang direkte med rivaler, men præsenterer i stedet deres resultater eksklusivt som ablations-studier; heller ikke følger artiklen i almindelighed den sædvanlige format for Computer Vision-litteratur. Derfor vil vi tage et kig på forskningen, som den præsenteres.

Forfatterne understreger, at kun en begrænset mængde studier har beskæftiget sig med opmærksomheds-detection specifikt i konteksten af online-reklamer. I AFFDEX SDK, der tilbyder real-time multi-face-genkendelse, antages opmærksomhed kun fra hovedholdning, med deltagere, der er markeret som uopmærksomme, hvis deres hovedvinkel passerer en defineret grænse.

Et eksempel fra AFFDEX SDK, et Affectiva-system, der afhænger af hovedholdning som en indikator for opmærksomhed. Kilde: https://www.youtube.com/watch?v=c2CWb5jHmbY

I 2019-samarbejdet Automatisk måling af visuel opmærksomhed til video-indhold ved hjælp af dyb læring, blev en dataset på omkring 28.000 deltagere annoteret for forskellige uopmærksomme adfærder, herunder kigge væk, lukke øjnene eller engagement i andre aktiviteter, og en CNN-LSTM-model trænet til at detektere opmærksomhed fra ansigtsudseende over tid.

Fra 2019-artiklen, et eksempel, der illustrerer forventede opmærksomheds-tilstande for en seer, der ser video-indhold. Kilde: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Forfatterne observerer, at disse tidligere bestræbelser ikke tog højde for enhedsspecifikke faktorer, såsom om deltagere brugte en desktop eller en mobil enhed; heller ikke tog de højde for skærmstørrelse eller kamera-placering. Derudover fokuserer AFFDEX-systemet kun på at identificere blik-afledning og udelader andre kilder til distraktion, mens 2019-arbejdet forsøger at detektere en bredere sæt af adfærder – men dets brug af en enkelt, flad CNN kan, ifølge artiklen, have været utilstrækkeligt til denne opgave.

Forfatterne observerer, at nogle af de mest populære forskninger på dette område ikke er optimeret til reklame-testning, der har andre behov end domæner som kørsel eller uddannelse – hvor kamera-placering og kalibrering normalt er faste på forhånd, og i stedet afhænger af ukalibrerede opsætninger og opererer inden for den begrænsede blik-rækkevidde af desktop- og mobile-enheder.

Derfor har de udviklet en arkitektur for at detektere seernes opmærksomhed under online-reklamer, der udnytter to kommercielle værktøjskasser: AFFDEX 2.0 og SmartEye SDK.

Eksempler på ansigtsanalyse fra AFFDEX 2.0. Kilde: https://arxiv.org/pdf/2202.12059

Disse tidligere arbejder udtrækker lav-niveau-funktioner såsom ansigtsudtryk, hovedholdning og blik-retning. Disse funktioner behandles herefter for at producere høj-niveau-indikatorer, herunder blik-position på skærmen; gabning; og tale.

Systemet identificerer fire typer af distraktion: blik væk fra skærmen; træthed; tale; og forladelse af skærmen. Det justerer også blik-analyse efter, om seeren er på en desktop eller en mobil enhed.

Datasæt: Blik

Forfatterne brugte fire datasæt til at aktivere og evaluere opmærksomheds-detections-systemet: tre, der fokuserer individuelt på blik-adfærd, tale og gabning; og en fjerde, der er trukket fra virkelige reklame-test-sessioner, der indeholder en blanding af distraktions-typer.

På grund af arbejdets specifikke krav blev brugerdefinerede datasæt oprettet til hver af disse kategorier. Alle datasæt, der blev kurateret, stammede fra et proprietært repository, der indeholdt millioner af optagede sessioner med deltagere, der så reklamer i hjemme- eller arbejdsmiljøer, ved hjælp af en web-baseret opsætning, med informeret samtykke – og på grund af begrænsningerne i disse samtykkesaftaler, kan forfatterne ikke offentliggøre datasættene for det nye arbejde.

Til at opbygge blik-datasættet blev deltagere bedt om at følge en flyttende prik over forskellige punkter på skærmen, herunder dens kanter, og derefter se væk fra skærmen i fire retninger (op, ned, venstre og højre) med sekvensen gentaget tre gange. På denne måde blev forholdet mellem optagelse og dækning etableret:

Skærmbilleder, der viser blik-video-stimulansen på (a) desktop og (b) mobile enheder. Den første og tredje ramme viser instruktioner til at følge en flyttende prik, mens den anden og fjerde ramme beder deltagere om at se væk fra skærmen.

De flyttende prik-segmenter blev markeret som opmærksomme, og de væk fra skærmen-segmenter som uopmærksomme, og producerede et markeret datasæt af både positive og negative eksempler.

Hver video varede omkring 160 sekunder, med separate versioner oprettet til desktop- og mobile-platforme, hver med opløsninger på 1920×1080 og 608×1080, respektivt.

I alt blev 609 videoer indsamlet, bestående af 322 desktop- og 287 mobile-optagelser. Mærker blev anvendt automatisk baseret på video-indholdet, og datasættet split i 158 trænings-eksempler og 451 til test.

Datasæt: Tale

I denne kontekst er en af kriterierne for ‘uopmærksomhed’, når en person taler i længere end et sekund (hvad der kunne være et øjeblikskommentar eller endda en host).

Da den kontrollerede miljø ikke optager eller analyserer lyd, antages tale ved at observere indre bevægelser af estimerede ansigtslandemærker. Derfor oprettede forfatterne et datasæt baseret udelukkende på visuel input, trukket fra deres interne repository, og opdelt i to dele: den første indeholdt omkring 5.500 videoer, hver manuelt markeret af tre annotatorer som enten tale eller ikke tale (heraf blev 4.400 brugt til træning og validering, og 1.100 til test).

Den anden bestod af 16.000 sessioner, der var automatisk markeret baseret på sessionstype: 10.500 funktioner med deltagere, der tavst så reklamer, og 5.500 viser deltagere, der udtrykte meninger om mærker.

Datasæt: Gabning

Selvom nogle ‘gabning’-datasæt findes, herunder YawDD og Driver Fatigue, påstår forfatterne, at ingen af dem er egnede til reklame-test-scenarier, da de enten viser simuleret gabning eller indeholder ansigtsforvridninger, der kan forveksles med frygt eller andre, ikke-gabende handlinger.

Derfor brugte forfatterne 735 videoer fra deres interne samling, hvor de valgte sessioner, der sandsynligvis indeholdt en underkæbe-åbning, der varede mere end et sekund. Hver video blev manuelt markeret af tre annotatorer som enten visende aktiv eller inaktiv gabning. Kun 2,6 procent af rammerne indeholdt aktive gab, hvilket understreger klassens ubalance, og datasættet blev opdelt i 670 træningsvideoer og 65 til test.

Datasæt: Distraktion

Distraktion-datasættet blev også trukket fra forfatternes reklame-test-repository, hvor deltagere havde set virkelige reklamer uden nogen tildelte opgaver. I alt 520 sessioner (193 på mobile og 327 på desktop-miljøer) blev tilfældigt valgt og manuelt markeret af tre annotatorer som enten opmærksomme eller uopmærksomme.

Uopmærksom adfærd inkluderede blik væk fra skærmen, tale, træthed og forladelse af skærmen. Sessionerne spændte over diverse regioner verden over, med desktop-optagelser mere almindelige på grund af fleksibel webcam-placering.

Opmærksomheds-modeller

Den foreslåede opmærksomheds-model behandler lav-niveau-visuelle funktioner, navnlig ansigtsudtryk; hovedholdning; og blik-retning – udtrukket gennem ovennævnte AFFDEX 2.0 og SmartEye SDK.

Disse konverteres herefter til høj-niveau-indikatorer, hvor hver distraktor behandles af en separat binær klassifikator, der er trænet på sit eget datasæt for uafhængig optimering og evaluering.

Schema for det foreslåede overvågnings-system.

Blik-modellen bestemmer, om seeren kigger på eller væk fra skærmen ved hjælp af normaliserede blik-koordinater, med separate kalibreringer for desktop- og mobile-enheder. En lineær Support Vector Machine (SVM), trænet på rumlige og tidsmæssige funktioner, der inkorporerer en hukommelses-vindue for at glatte hurtige blik-bevægelser, hjælper med denne proces.

Til at detektere tale uden lyd brugte systemet beskårne mund-regioner og en 3D-CNN trænet på både konversationelle og ikke-konversationelle video-segmenter. Mærker blev tildelt baseret på sessionstype, med tidsmæssig glatning, der reducerer de falske positiver, der kan resultere fra korte mund-bevægelser.

Gabning blev detekteret ved hjælp af fuld-ansigts-billeder, for at fange bredere ansigts-bevægelse, med en 3D-CNN trænet på manuelt markerede rammer (selvom opgaven blev kompliceret af gabningens lave frekvens i naturlig visning og dens lighed med andre udtryk).

Forladelse af skærmen blev identificeret gennem fravær af et ansigt eller ekstrem hovedholdning, med forudsigelser lavet af en beslutningstræ.

Endelig opmærksomheds-status blev bestemt ved hjælp af en fast regel: hvis nogen module detekterede uopmærksomhed, blev seeren markeret uopmærksom – en tilgang, der prioriterer sensitivitet, og afstemt separat for desktop- og mobile-kontekster.

Tests

Som nævnt tidligere følger testene en ablativ metode, hvor komponenter fjernes, og effekten på resultatet noteres.

Forskellige kategorier af opfattet uopmærksomhed, der er identificeret i studiet.

Blik-modellen identificerede blik-væk-adfærd gennem tre nøgletrin: normalisering af rå blik-estimater, finjustering af output og estimering af skærmstørrelse for desktop-enheder.

Til at forstå betydningen af hver komponent fjernede forfatterne dem individuelt og evaluerede ydelsen på 226 desktop- og 225 mobile-videoer trukket fra to datasæt. Resultaterne, målt med G-mean og F1-score, vises nedenfor:

Resultater, der viser ydelsen af den fulde blik-model, samt versioner med individuelle behandlings-trin fjernet.

I alle tilfælde faldt ydelsen, når et trin blev udeladt. Normalisering viste sig særligt værdifuld på desktops, hvor kamera-placering varierer mere end på mobile enheder.

Studiet vurderede også, hvordan visuelle funktioner forudsagde mobile kamera-orientering: ansigts-placering, hovedholdning og øjne-blik scorede 0,75, 0,74 og 0,60, mens deres kombination nåede 0,91, hvilket, ifølge forfatterne, understreger fordelene ved at integrere multiple signaler.

Tale-modellen, der var trænet på lodret mund-afstand, opnåede en ROC-AUC på 0,97 på det manuelt markerede test-sæt og 0,96 på det større automatisk markerede datasæt, hvilket indikerer en konsekvent ydelse over begge.

Gabning-modellen nåede en ROC-AUC på 96,6 procent ved hjælp af mund-aspekt-forhold alene, hvilket forbedredes til 97,5 procent, når kombineret med handling-enhed-forudsigelser fra AFFDEX 2.0.

Forladelse af skærmen-modellen klassificerede øjeblikke som uopmærksomme, når både AFFDEX 2.0 og SmartEye ikke kunne detektere et ansigt i mere end et sekund. Til at evaluere dette, annoterede forfatterne manuelt alle sådanne ingen-ansigt-hændelser i reel distraktion-datasættet, og identificerede den underliggende årsag til hver aktivering. Tvetydige tilfælde (såsom kamera-forstyrrelse eller video-forvrængning) blev ekskluderet fra analysen.

Som vist i resultattabellen nedenfor skyldtes kun 27 procent af ‘ingen-ansigt’-aktiveringerne, at brugerne fysisk forlod skærmen.

Forskellige årsager, hvorfor et ansigt ikke blev fundet, i visse tilfælde.

Artiklen slutter med en (muligvis ret perfunctorisk) kvalitativ testrunde, vist nedenfor.

Eksempler på output fra opmærksomheds-modellen på desktop- og mobile-enheder, hvor hver række præsenterer eksempler på sande og falske positiver for forskellige distraktions-typer.

Forfatterne skriver:

‘Resultaterne indikerer, at vores model effektivt detekterer forskellige distraktorer i ukontrollerede miljøer. Dog kan den lejlighedsvis producere falske positiver i visse kanten-tilfælde, såsom ekstrem hoved-tilting, mens man fastholder blikket på skærmen, eller visse mund-forstyrrelser, eller meget uklare øjne, eller kraftigt mørklagte ansigtsbilleder. ‘

Konklusion

Selvom resultaterne repræsenterer en målt og meningsfuld fremgang over tidligere arbejde, ligger den dybere værdi af studiet i den glimt, det giver ind i den vedvarende stræben efter at få adgang til seerens interne tilstand. Selvom data blev indsamlet med samtykke, peger metoden mod fremtidige rammer, der kunne udvide sig ud over strukturerede, markedsforsknings-miljøer.

Dette ret paranoidiske slutning understøttes kun af den lukkede, begrænsede og jaloux beskyttede natur af denne særlige gren af forskning.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først publiceret onsdag, 9. april 2025