Poszukiwanie „Sów i Jaszczurów” w Audytorium Reklamodawcy

Ponieważ sektor reklamy online szacowany jest na 740,3 miliarda dolarów amerykańskich w 2023 roku, łatwo zrozumieć, dlaczego firmy reklamowe inwestują znaczne środki w ten konkretny obszar badań nad widzeniem komputerowym.

Chociaż branża jest izolowana i chroniona, okazjonalnie publikuje studia, które sugerują bardziej zaawansowaną pracę własną w rozpoznawaniu twarzy i kierunku wzroku – w tym rozpoznawaniu wieku, kluczowym dla statystyk analitycznych demograficznych:

Szacowanie wieku w kontekście reklamy jest interesujące dla reklamodawców, którzy mogą celować w określoną grupę demograficzną. W tym eksperymentalnym przykładzie automatycznego szacowania wieku twarzy, wiek wykonawcy Boba Dylana jest śledzony na przestrzeni lat. Źródło: https://arxiv.org/pdf/1906.03625

Te studia, które rzadko pojawiają się w publicznych repozytoriach, takich jak Arxiv, wykorzystują uczestników, którzy zostali prawidłowo zrekrutowani jako podstawa do analizy napędzanej przez sztuczną inteligencję, której celem jest określenie, w jakim stopniu i w jaki sposób widz angażuje się w reklamę.

Histogram zorientowanych gradientów (HoG) Dlib jest często używany w systemach estymacji twarzy. Źródło: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Instynkt zwierzęcy

W tym zakresie naturalnie branża reklamowa jest zainteresowana określeniem fałszywych pozytywów (okazji, kiedy system analityczny błędnie interpretuje działania podmiotu) oraz ustaleniem wyraźnych kryteriów, kiedy osoba oglądająca reklamy nie angażuje się w pełni w treść.

Jeśli chodzi o reklamę opartą na ekranie, studia koncentrują się na dwóch problemach w dwóch środowiskach. Środowiskami są „biurko” lub „mobilne”, z których każde ma szczególne cechy, które wymagają specjalnych rozwiązań do śledzenia; a problemy – z punktu widzenia reklamodawcy – reprezentowane są przez zachowanie sowy i jaszczura – tendencję widzów do niezwracania pełnej uwagi na reklamę przed nimi.

Przykłady zachowania sowy i jaszczura w przedmiocie projektu badawczego dotyczącego reklamy. Źródło: https://arxiv.org/pdf/1508.04028

Jeśli odwracasz się od zamierzonej reklamy całą głową, jest to zachowanie sowy; jeśli twoja pozycja głowy jest statyczna, ale twoje oczy błądzą od ekranu, jest to zachowanie jaszczura. W kwestii analityki i testowania nowych reklam w kontrolowanych warunkach, są to istotne działania, które system musi być w stanie przechwytywać.

Nowy artykuł z zakupu Affectiva przez SmartEye zajmuje się tymi kwestiami, oferując architekturę, która wykorzystuje kilka istniejących ram, aby zapewnić połączony i skonsolidowany zestaw funkcji we wszystkich wymaganych warunkach i możliwych reakcjach – i aby móc określić, czy widz jest znudzony, zaangażowany czy w jakiś sposób oddalony od treści, której reklamodawca chce, aby go obejrzał.

Przykłady prawdziwych i fałszywych pozytywów wykrytych przez nowy system uwagi dla różnych sygnałów rozproszenia, wyświetlanych oddzielnie dla urządzeń stacjonarnych i mobilnych. Źródło: https://arxiv.org/pdf/2504.06237

Autorzy stwierdzają*:

‘Ograniczone badania zajmowały się monitorowaniem uwagi podczas reklam online. Chociaż te studia koncentrowały się na szacowaniu położenia głowy lub kierunku wzroku, aby zidentyfikować przypadki rozproszonej uwagi, pomijały one krytyczne parametry, takie jak typ urządzenia (stacjonarne lub mobilne), położenie kamery względem ekranu oraz rozmiar ekranu. Te czynniki znacznie wpływają na wykrywanie uwagi. ‘

‘W tym artykule proponujemy architekturę do wykrywania uwagi, która obejmuje wykrywanie różnych rozpraszaczy, w tym zachowania sowy i jaszczura, ziewania (przez ziewanie i przedłużone zamknięcie oczu) oraz pozostawienie ekranu bez nadzoru. ‘

‘W przeciwieństwie do poprzednich podejść, nasza metoda integruje cechy specyficzne dla urządzenia, takie jak typ urządzenia, położenie kamery, rozmiar ekranu (dla stacjonarnych) i orientacja kamery (dla urządzeń mobilnych), z surową estymacją wzroku, aby poprawić dokładność wykrywania uwagi.’

Nowa praca tytułuje się Monitorowanie uwagi widza podczas reklam online i pochodzi od czterech badaczy z Affectiva.

Metoda i Dane

Głównie ze względu na tajemniczość i zamknięty charakter takich systemów, nowy artykuł nie porównuje podejścia autorów bezpośrednio z rywalami, ale przedstawia swoje wyniki wyłącznie jako studia ablacjne; nie przestrzega również ogólnie formatu literatury z dziedziny widzenia komputerowego. Dlatego też przyjrzymy się badaniu, jak jest ono przedstawione.

Autorzy podkreślają, że tylko ograniczona liczba badań zajmowała się wykrywaniem uwagi specjalnie w kontekście reklam online. W AFFDEX SDK, który oferuje rozpoznawanie twarzy w czasie rzeczywistym, uwaga jest wnioskowana wyłącznie z położenia głowy, z uczestnikami oznaczonymi jako nieuwagi, jeśli kąt głowy przekracza określony próg.

Przykład z AFFDEX SDK, systemu Affectiva, który opiera się na położeniu głowy jako wskaźniku uwagi. Źródło: https://www.youtube.com/watch?v=c2CWb5jHmbY

W współpracy z 2019 roku Automatyczne pomiarowanie uwagi wizualnej do zawartości wideo przy użyciu głębokiego uczenia, zbiór danych około 28 000 uczestników został opatrzony etykietami dla różnych zachowań nieuwagi, w tym odwrócenia wzroku, zamknięcia oczu lub angażowania się w działania niezwiązane, a model CNN-LSTM został przeszkolony do wykrywania uwagi z wyglądu twarzy w czasie.

Z 2019 roku, przykład ilustrujący przewidywane stany uwagi dla widza oglądającego zawartość wideo. Źródło: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Jednak autorzy zauważają, że te wcześniejsze próby nie uwzględniały czynników specyficznych dla urządzenia, takich jak to, czy uczestnik używał urządzenia stacjonarnego czy mobilnego; nie brały również pod uwagę rozmiaru ekranu ani położenia kamery. Dodatkowo, system AFFDEX koncentruje się wyłącznie na identyfikowaniu rozproszenia wzroku i pomija inne źródła rozproszenia, podczas gdy praca z 2019 roku próbuje wykryć szerszy zakres zachowań – ale jej użycie jednej płytkiej sieci CNN może, jak stwierdza artykuł, być niewystarczające do tego zadania.

Autorzy zauważają, że niektóre z najpopularniejszych badań w tej dziedzinie nie są zoptymalizowane do testowania reklam, które mają inne potrzeby w porównaniu z dziedzinami takimi jak prowadzenie pojazdu lub edukacja – gdzie położenie kamery i kalibracja są zwykle ustalone z wyprzedzeniem, w zależności od niekalibrowanych ustawień i działających w ograniczonym zakresie wzroku urządzeń stacjonarnych i mobilnych.

Dlatego opracowali architekturę do wykrywania uwagi widza podczas reklam online, wykorzystując dwie komercyjne zestawy narzędzi: AFFDEX 2.0 i SmartEye SDK.

Przykłady analizy twarzy z AFFDEX 2.0. Źródło: https://arxiv.org/pdf/2202.12059

Te poprzednie prace wyodrębniają cechy niskiego poziomu, takie jak wyrażenia twarzy, położenie głowy i kierunek wzroku. Te cechy są następnie przetwarzane w celu wytworzenia wskaźników wysokiego poziomu, w tym położenia wzroku na ekranie; ziewania; i mówienia.

System identyfikuje cztery typy rozpraszaczy: wzrok poza ekranem; senność; mówienie; i ekran pozostawiony bez nadzoru. Dostosowuje również analizę wzroku w zależności od tego, czy widz używa urządzenia stacjonarnego czy mobilnego.

Zbiory danych: Wzrok

Autorzy wykorzystali cztery zbiory danych, aby napędzić i ocenić system wykrywania uwagi: trzy koncentrujące się indywidualnie na zachowaniu wzroku, mówieniu i ziewaniu; oraz czwarty pochodzący z sesji testowania reklam w środowisku rzeczywistym, zawierający mieszaninę typów rozpraszaczy.

Ze względu na specyficzne wymagania pracy, stworzono zestawy danych dla każdej z tych kategorii. Wszystkie zestawy danych zostały pozyskane z repozytorium własnościowego, zawierającego miliony nagranych sesji uczestników oglądających reklamy w domu lub w miejscu pracy, przy użyciu zestawu internetowego, z uzyskanym zgodnie z zasadami zgody – a ze względu na ograniczenia tych umów, autorzy stwierdzają, że zestawy danych dla nowej pracy nie mogą być udostępnione publicznie.

Aby utworzyć zestaw danych wzroku, uczestnikom kazano śledzić poruszający się punkt na różnych punktach ekranu, w tym na jego krawędziach, a następnie odwrócić wzrok od ekranu w czterech kierunkach (w górę, w dół, w lewo i w prawo) z sekwencją powtarzaną trzy razy. W ten sposób ustalono relację między uchwyceniem a pokryciem:

Zrzuty ekranu pokazujące bodźce wzroku na (a) urządzeniu stacjonarnym i (b) urządzeniu mobilnym. Pierwszy i trzeci klatki wyświetlają instrukcje, aby śledzić poruszający się punkt, podczas gdy drugi i czwarty nakazują uczestnikom odwrócić wzrok od ekranu.

Części poruszającego się punktu zostały oznaczone jako uwagi, a części poza ekranem jako nieuwagi, wytwarzając oznaczony zbiór danych zarówno pozytywnych, jak i negatywnych przykładów.

Każde wideo trwało około 160 sekund, z oddzielnymi wersjami utworzonymi dla platform stacjonarnych i mobilnych, każda z rozdzielczością 1920×1080 i 608×1080, odpowiednio.

Zebrano łącznie 609 filmów, składających się z 322 nagrań stacjonarnych i 287 nagrań mobilnych. Etykiety zostały automatycznie zaaplikowane na podstawie zawartości wideo, a zbiór danych podzielony na 158 próbek szkoleniowych i 451 do testowania.

Zbiory danych: Mówienie

W tym kontekście jednym z kryteriów definiujących „nieuwagę” jest sytuacja, w której osoba mówi przez dłużej niż jedna sekundę (co może być chwilowym komentarzem lub nawet kaszlem).

Ponieważ kontrolowane środowisko nie nagrywa ani nie analizuje audio, mówienie jest wnioskowane przez obserwację wewnętrznego ruchu oszacowanych punktów charakterystycznych twarzy. Dlatego autorzy stworzyli zbiór danych oparty wyłącznie na danych wizualnych, pochodzący z ich repozytorium wewnętrznego, podzielony na dwie części: pierwsza zawierała około 5 500 filmów, z których każdy został ręcznie oznaczony przez trzech anotatorów jako mówiący lub nie mówiący (z których 4 400 zostało wykorzystanych do szkolenia i walidacji, a 1 100 do testowania).

Druga część składała się z 16 000 sesji, które zostały automatycznie oznaczone na podstawie typu sesji: 10 500 obejmowało uczestników, którzy milcząco oglądali reklamy, a 5 500 wyrażało opinie o markach.

Zbiory danych: Ziewanie

Chociaż istnieją pewne zestawy danych związane z wykrywaniem ziewania i zmęczeniem kierowców, autorzy twierdzą, że żaden z nich nie nadaje się do scenariuszy testowania reklam, ponieważ albo zawierają symulowane ziewanie lub zawierają skurcze twarzy, które mogą być mylone z strachem lub innymi, niezwiązanymi z ziewaniem działaniami.

Dlatego autorzy wykorzystali 735 filmów ze swojej kolekcji wewnętrznej, wybierając sesje, które prawdopodobnie zawierały upadek szczęki trwający dłużej niż jedna sekunda. Każde wideo zostało ręcznie oznaczone przez trzech anotatorów jako aktywne lub nieaktywne ziewanie. Tylko 2,6 procent klatek zawierało aktywne ziewanie, co podkreśla nierównowagę klasy, a zbiór danych został podzielony na 670 filmów szkoleniowych i 65 do testowania.

Zbiory danych: Rozproszenie

Zbiór danych rozproszenia również pochodził z repozytorium ad-testowego autorów, gdzie uczestnicy oglądali rzeczywiste reklamy bez przydzielonych zadań. Łącznie 520 sesji (193 na urządzeniach mobilnych i 327 na urządzeniach stacjonarnych) zostało wybranych losowo i ręcznie oznaczonych przez trzech anotatorów jako uwagi lub nieuwagi.

Zachowania nieuwagi obejmowały wzrok poza ekranem, mówienie, senność i ekran pozostawiony bez nadzoru. Sesje obejmowały różne regiony na całym świecie, przy czym nagrania stacjonarne były bardziej powszechne ze względu na elastyczne umieszczenie kamery.

Modele uwagi

Proponowany model uwagi przetwarza cechy wizualne niskiego poziomu, a mianowicie wyrażenia twarzy; położenie głowy; i kierunek wzroku – wyodrębnione za pomocą wcześniej wymienionych AFFDEX 2.0 i SmartEye SDK.

Te cechy są następnie przekształcane w wskaźniki wysokiego poziomu, przy czym każdy rozpraszacz jest obsługiwany przez oddzielny klasyfikator binarny, przeszkolony na własnym zestawie danych do niezależnej optymalizacji i oceny.

Schemat proponowanego systemu monitorowania.

Model wzroku określa, czy widz patrzy na ekran czy odwraca wzrok, przy użyciu skorygowanych współrzędnych wzroku, z oddzielną kalibracją dla urządzeń stacjonarnych i mobilnych. Proces ten ułatwia liniowy Support Vector Machine (SVM), przeszkolony na cechach przestrzennych i czasowych, który obejmuje okno pamięci w celu wygładzania gwałtownych ruchów wzroku.

Aby wykryć mówienie bez audio, system wykorzystywał wycięte obszary ust i 3D-CNN przeszkolony na segmentach konwersacyjnych i niekonwersacyjnych. Etykiety zostały przypisane na podstawie typu sesji, a wygładzanie czasowe zmniejszyło fałszywe pozytywy, które mogą wynikać z krótkich ruchów ust.

Ziewanie zostało wykryte przy użyciu pełnych wycięć twarzy, aby uchwycić szersze ruchy twarzy, z 3D-CNN przeszkolonym na ręcznie oznaczonych klatkach (chociaż zadanie było skomplikowane przez niską częstotliwość ziewania w naturalnym oglądaniu i jego podobieństwo do innych wyrażeń).

Pozostawienie ekranu bez nadzoru zostało zidentyfikowane przez brak twarzy lub ekstremalne położenie głowy, a przewidywania zostały dokonane przez drzewo decyzyjne.

Ostateczny status uwagi został określony przy użyciu ustalonej reguły: jeśli którykolwiek moduł wykrył nieuwagę, widz został oznaczony jako nieuwagi – podejście, które priorytetem jest wrażliwość, dostosowane oddzielnie do kontekstów stacjonarnych i mobilnych.

Testy

Jak wcześniej wspomniano, testy są przeprowadzane metodą ablacyjną, gdzie składniki są usuwane, a efekt na wynik jest odnotowywany.

Różne kategorie postrzeganej nieuwagi zidentyfikowane w badaniu.

Model wzroku identyfikuje zachowania poza ekranem w trzech kluczowych krokach: normalizując surowe szacunki wzroku, dostosowując dane wyjściowe i szacując rozmiar ekranu dla urządzeń stacjonarnych.

Aby zrozumieć znaczenie każdego składnika, autorzy usunęli je indywidualnie i ocenili wydajność na 226 filmach stacjonarnych i 225 filmach mobilnych, pobranych z dwóch zestawów danych. Wyniki, mierzone za pomocą G-mean i F1 scores, są przedstawione poniżej:

Wyniki wskazujące na wydajność pełnego modelu wzroku, obok wersji z poszczególnymi krokami przetwarzania usuniętymi.

W każdym przypadku wydajność spadła, gdy krok został pominięty. Normalizacja okazała się szczególnie cenna na urządzeniach stacjonarnych, gdzie umieszczenie kamery jest bardziej zróżnicowane niż na urządzeniach mobilnych.

Badanie również oceniło, jak cechy wizualne przewidywały orientację kamery na urządzeniach mobilnych: położenie twarzy, położenie głowy i kierunek wzroku uzyskały wyniki 0,75, 0,74 i 0,60, podczas gdy ich połączenie osiągnęło 0,91, co, jak twierdzą autorzy, podkreśla zaletę integrowania wielu sygnałów.

Model mówienia osiągnął ROC-AUC 0,97 na ręcznie oznaczonym zestawie testowym i 0,96 na większym automatycznie oznaczonym zestawie danych, co wskazuje na spójną wydajność w obu przypadkach.

Model ziewania osiągnął ROC-AUC 96,6 procent przy użyciu samej proporcji ust, co poprawiło się do 97,5 procent, gdy połączono ją z przewidywaniami jednostek działania z AFFDEX 2.0.

Model pozostawienia ekranu bez nadzoru klasyfikował momenty jako nieuwagi, gdy zarówno AFFDEX 2.0, jak i SmartEye nie wykryły twarzy przez ponad jedną sekundę. Aby ocenić ważność tego, autorzy ręcznie oznaczyli wszystkie takie zdarzenia braku twarzy w rzeczywistym zestawie danych rozproszenia, identyfikując podstawową przyczynę każdej aktywacji. Niejasne przypadki (takie jak zakrycie kamery lub zniekształcenie wideo) zostały wykluczone z analizy.

Jak wynika z poniższej tabeli wyników, tylko 27 procent aktywacji „braku twarzy” było spowodowanych przez użytkowników, którzy fizycznie opuścili ekran.

Różnorodne powody, dla których twarz nie została znaleziona w pewnych przypadkach.

Artykuł stwierdza:

‘Pomimo że pozostawienie ekranu bez nadzoru stanowiło tylko 27% przypadków wyzwolenia sygnału braku twarzy, zostało ono aktywowane z innych powodów wskazujących na nieuwagę, takich jak uczestnicy patrzący poza ekran z ekstremalnym kątem, wykonujący nadmierne ruchy lub zasłaniający twarz znacząco przedmiotem/ręką.’

W ostatnim z ilościowych testów autorzy ocenili, jak stopniowe dodawanie różnych sygnałów rozproszenia – wzroku poza ekranem (przez wzrok i położenie głowy), senności, mówienia i pozostawienia ekranu bez nadzoru – wpływa na ogólną wydajność ich modelu uwagi.

Testy przeprowadzono na dwóch zestawach danych: rzeczywistym zestawie danych rozproszenia i podzbiór zestawu danych wzroku. Wyniki, mierzone za pomocą G-mean i F1 scores, są przedstawione poniżej:

Wpływ dodawania różnych sygnałów rozproszenia na architekturę.

Z tych wyników artykuł stwierdza:
‘Z wyników można najpierw wnioskować, że integracja wszystkich sygnałów rozproszenia przyczynia się do poprawy wykrywania uwagi.

‘Po drugie, poprawa wykrywania uwagi jest spójna zarówno na urządzeniach stacjonarnych, jak i mobilnych. Trzecio, sesje mobilne w rzeczywistym zestawie danych wykazują znaczne ruchy głowy podczas odwracania wzroku, które są łatwo wykrywalne, co prowadzi do lepszej wydajności na urządzeniach mobilnych w porównaniu z urządzeniami stacjonarnymi. Czwartio, dodanie sygnału senności ma stosunkowo niewielką poprawę w porównaniu z innymi sygnałami, ponieważ jest to zjawisko rzadkie. ‘

‘Wreszcie, sygnał pozostawienia ekranu bez nadzoru ma stosunkowo większą poprawę na urządzeniach mobilnych w porównaniu z urządzeniami stacjonarnymi, ponieważ urządzenia mobilne mogą być łatwo pozostawione bez nadzoru.’

Autorzy również porównali swój model z AFFDEX 1.0, poprzednim systemem używanym w testowaniu reklam – i nawet bieżący model, oparty na położeniu głowy, wypadł lepiej niż AFFDEX 1.0 na obu typach urządzeń:

‘Poprawa ta jest wynikiem uwzględnienia ruchów głowy w obu kierunkach yaw i pitch, a także normalizacji położenia głowy, aby uwzględnić niewielkie zmiany. Wyraźne ruchy głowy w rzeczywistym zestawie danych mobilnych spowodowały, że nasz model oparty na głowie działa podobnie do AFFDEX 1.0.’

Autorzy zamykają artykuł (możliwe, że dość sformalizowanym) okrągłym testem jakościowym, przedstawionym poniżej.

Przykładowe dane wyjściowe z modelu uwagi na urządzeniach stacjonarnych i mobilnych, z każdym wierszem przedstawiającym przykłady prawdziwych i fałszywych pozytywów dla różnych typów rozpraszaczy.

Autorzy stwierdzają:

‘Wyniki wskazują, że nasz model skutecznie wykrywa różne rozpraszacze w niekontrolowanych warunkach. Niemniej jednak może on czasami produkować fałszywe pozytywy w pewnych przypadkach granicznych, takich jak gwałtowne nachylenie głowy podczas utrzymania wzroku na ekranie, niektóre zakrycia ust, nadmiernie rozmyte oczy lub silnie zaciemnione obrazy twarzy. ‘

Wnioski

Chociaż wyniki reprezentują umiarkowany, ale znaczący postęp w stosunku do poprzednich prac, głębsza wartość badania leży w spojrzeniu, które oferuje na trwałą tendencję do dostępu do stanu wewnętrznego widza. Chociaż dane zostały zebrane za zgodą, metodyka wskazuje na przyszłe ramy, które mogą sięgać poza strukturalne, marketingowe środowiska badawcze.

Ten dość paranoiczny wniosek jest tylko wzmocniony przez izolowany, ograniczony i zazdrośnie chroniony charakter tej konkretniej gałęzi badań.

* Moja konwersja cytowań wstawionych przez autorów na hiperłącza.

Pierwotnie opublikowane w środę, 9 kwietnia 2025