Etsitään ’pöllöjä ja liskoja’ mainostajan yleisöstä

Verkkomainonnan ala on arvioitu käyttäneen 740,3 miljardia Yhdysvaltain dollaria vuonna 2023, joten on helppo ymmärtää, miksi mainostusyhtiöt panostavat merkittäviä resursseja tähän tiettyyn tietokoneen näköhavainnon tutkimuksen suuntaan.

Vaikka alan on ominaisuuksiltaan eristäytyvä ja suojeleva, se julkaisee toisinaan tutkimuksia, jotka viittaavat edistyneempiin omiin töihin kasvo- ja silmänseurantatutkimuksessa – mukaan lukien ikäntunnistuksen, joka on keskeinen väestötutkimuslaskelmissa:

Ikäntunnistus villissä mainoskontekstissa on mielenkiintoista mainostajille, jotka voivat kohdistaa tietyn ikäryhmää. Tässä kokeellisessa esimerkissä automaattisesta kasvojen ikäntunnistuksesta seurataan esittäjä Bob Dylanin ikää vuosien varrella. Lähde: https://arxiv.org/pdf/1906.03625

Nämä tutkimukset, joita harvoin julkaistaan julkisissa tietokannoissa, kuten Arxivissa, käyttävät lailliseen tarkoitukseen rekrytoituja osallistujia AI-vetoinen analyysi perustana, jonka tavoitteena on määrittää, kuinka paljon ja millä tavoin katsoja on kiinnostunut mainoksesta.

Dlibin Histogram of Oriented Gradients (HoG) käytetään usein kasvojen arvioinnissa. Lähde: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Eläinten vaisto

Tässä suhteessa mainosala on luonnollisesti kiinnostunut määrittämään väärät positiiviset (tilanteet, joissa analyysijärjestelmä tulkitsi väärin kohteen toimintaa) ja määrittämään selkeät kriteerit siitä, milloin henkilö, joka katsoo heidän mainoksiaan, ei ole täysin kiinnostunut sisällöstä.

Verkkomainonnan osalta tutkimukset keskittyvät yleensä kahteen ongelmaan kahteen ympäristöön. Ympäristöt ovat ’työpöytä’ tai ’mobiili’, joilla kummallakin on omat ominaisuutensa, jotka vaativat räätälöityjä seurantaratkaisuja; ja ongelmat – mainostajan näkökulmasta – edustavat pöllö- ja liskokäyttäytymistä – katsojien taipumusta olla täysin tarkkaavaisia mainoksessa, joka on heidän edessään.

Pöllö- ja liskokäyttäytymisen esimerkit mainosalan tutkimushankkeen kohteena. Lähde: https://arxiv.org/pdf/1508.04028

Jos käännät pääsi kokonaan pois tarkoitettuun mainokseen, tämä on ’pöllökäyttäytyminen’; jos pääsi asento on staattinen, mutta silmäsi vaeltavat pois näytöltä, tämä on ’liskokäyttäytyminen’. Analytiikassa ja uusien mainosten testauksessa nämä ovat tärkeitä toimintoja, joita järjestelmän on kyettävä havaitsemaan.

Uusi tutkimus SmartEyen Affectiva-yrityksestä käsittelee näitä asioita ja tarjoaa arkkitehtuurin, joka hyödyntää useita olemassa olevia kehyksiä yhdistääksesi ja yhdistääksesi kaikki tarvittavat ehdot ja mahdolliset reaktiot – ja pystyykään sanomaan, onko katsoja väsynyt, kiinnostunut tai jollain tavoin etäinen sisällöstä, jonka mainostaja haluaa heidän katsovan.

Erikoisia todellisia ja väärä positiivisia havaittu uuden huomion järjestelmän eri häiriösignaaleille, esitettynä erikseen työpöytä- ja mobiililaitteissa. Lähde: https://arxiv.org/pdf/2504.06237

Tekijät toteavat*:

‘Rajoitettu tutkimus on tutkinut huomion seuraamista verkkomainonnassa. Vaikka nämä tutkimukset keskittyivät pääasiassa arvioimaan pään asentoa tai katse-suuntaa voidakseen tunnistaa katseensuuntaamisen poikkeamat, ne jättävät huomiotta tärkeitä parametreja, kuten laitetyyppi (työpöytä tai mobiili), kameran sijoittelu suhteessa näyttöön ja näytön koko. Nämä tekijät vaikuttavat merkittävästi huomion havaitsemiseen.

‘Tässä tutkimuksessa esitämme huomionhavaintojärjestelmän arkkitehtuurin, joka kattaa eri häiriöiden, mukaan lukien sekä pöllö- että liskokäyttäytyminen, joka liittyy katseesta poispäin, puhumiseen, vaipuvaiseen uneen (nuukaamisen ja pitkäaikaisen silmien sulkemisen kautta) ja ruudun jättämiseen huomioimatta.

‘Toisin kuin aiemmat lähestymistavat, menetelmämme yhdistää laitteistokohtaisia ominaisuuksia, kuten laitetyyppi, kameran sijoittelu, näytön koko (työpöydissä) ja kameran suunta (mobiililaitteissa) raakakuvan arviointiin parantamaan huomionhavaintotarkkuutta.’

Uusi tutkimus on nimeltään Verkkomainonnan aikaisen katsojan huomion seuraaminen, ja se on neljän Affectivan tutkijan työ.

Menetelmä ja data

Pääosin johtuen näiden järjestelmien salamyhkäisyydestä ja suljetusta luonteesta uusi tutkimus ei vertaa tekijöiden lähestymistapaa suoraan kilpailijoiden kanssa, vaan esittää löytönsä ainoastaan ablaatiotutkimuksina; eikä tutkimus noudata yleensä tietokoneen näön kirjallisuuden yleistä muotoa. Siksi tarkastelemme tutkimusta sellaisena kuin se on esitetty.

Tekijät korostavat, että vain rajoitettu määrä tutkimuksia on keskittynyt huomionhavaintoon erityisesti verkkomainonnan kontekstissa. AFFDEX SDK: ssä, joka tarjoaa monen kasvojen tunnistamisen reaaliajassa, huomio voidaan johtaa ainoastaan pään asennosta, ja osallistujat on merkitty huomionpuutteeksi, jos heidän päänsä kulma ylittää määritetyn kynnyksen.

Esimerkki AFFDEX SDK: sta, Affectivan järjestelmästä, joka riippuu pään asennosta huomion osoittimena. Lähde: https://www.youtube.com/watch?v=c2CWb5jHmbY

Vuoden 2019 yhteistyössä Automaattinen visuaalisen huomion mittaaminen videosisällössä syvällä oppimisella, noin 28 000 osallistujan aineisto merkittiin eri huomionpuutteellisille käyttäytymisille, mukaan lukien katse pois, silmien sulkeminen tai osallistuminen ei-liittyviin toimiin, ja CNN-LSTM-malli koulutettiin havainnoimaan huomiota kasvojen ulkonäöstä ajassa.

Vuoden 2019 tutkimuksesta esimerkki, joka havainnollistaa arvioituja huomiotiloja katsojalle, joka katsoo videosisältöä näytöltä. Lähde: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Kuitenkin tekijät huomauttavat, että nämä aiemmat työt eivät ottaneet huomioon laitteistokohtaisia tekijöitä, kuten sitä, käyttikö osallistuja työpöytä- vai mobiililaitetta; eikä ne huomioineet näytön kokoa tai kameran sijoittelua. Lisäksi AFFDEX-järjestelmä keskittyy ainoastaan katseensuuntaamisen poikkeamiin ja jättää huomiotta muut häiriölähteet, kun taas vuoden 2019 työ yrittää havaita laajemman joukon käyttäytymistä – mutta sen käyttäminen yksittäisestä matalasta CNN: stä saattaa, tutkimus toteaa, olla ollut riittämätöntä tähän tehtävään.

Tekijät huomauttavat, että osa suosituimmasta tutkimuksesta tällä alalla ei ole optimoitu mainostestaukseen, jolla on erilaiset tarpeet verrattuna aloihin, kuten ajamiseen tai koulutukseen – joissa kameran sijoittelu ja kalibrointi ovat yleensä kiinni etukäteen, ja joissa toiminta perustuu ei-kalibroituun asetelmiin ja toimii rajoitetun työpöytä- ja mobiililaitteiden katsealueella.

Siksi he ovat kehittäneet arkkitehtuurin katsojan huomion havaitsemiseksi verkkomainonnassa hyödyntäen kahta kaupallista työkalupakettia: AFFDEX 2.0 ja SmartEye SDK.

Esimerkkejä kasvojen analyysistä AFFDEX 2.0: sta. Lähde: https://arxiv.org/pdf/2202.12059

Nämä aiemmat työt poimivat alhaisen tason ominaisuudet, kuten kasvojen ilmeet, pään asento ja katse-suunta. Nämä ominaisuudet käsitellään sitten tuottamaan korkeamman tason osoittimia, mukaan lukien katse-suunta näytöllä; nuukaaminen; ja puhuminen.

Järjestelmä tunnistaa neljä häiriötyyppiä: katse pois ruudusta; vaipuvainen uneen; puhuminen; ja huomioimattomat näytöt. Se myös sovittaa katseanalyysiin sen mukaan, onko katsoja työpöytä- vai mobiililaitteessa.

Tietojoukko: Katse

Tekijät käyttivät neljää tietojoukkoa voimakkaasti ja arvioimaan huomionhavaintojärjestelmää: kolme keskittyi yksinomaan katseeseen, puhumiseen ja nuukaamiseen; ja neljäs, joka poimittiin todellisista mainostestisessioista, sisälsi sekoituksen eri häiriötyyppejä.

Johtuen työn erityisvaatimuksesta luotiin mukautettuja tietojoukkoja kullekin näistä luokista. Kaikki kokoamani tietojoukot perustuivat sisäiseen tietokantaan, joka sisälsi miljoonia tallennettuja istuntoja osallistujista, jotka katsoivat mainoksia koti- tai työympäristössä, verkkopohjaisella asetuksella, tietoisella suostumuksella – ja näiden suostumussopimusten rajoitusten vuoksi tekijät toteavat, että uuden työn tietojoukot eivät voida tehdä julkisesti saataville.

Tietojoukon katse rakentamiseksi osallistujilta pyydettiin seuraamaan liikkuva pistettä eri pisteissä näytöllä, mukaan lukien reunat, ja sitten katsomaan pois näytöltä neljään suuntaan (ylös, alas, vasemmalle ja oikealle) ja toistamaan järjestyksen kolme kertaa. Tällä tavoin vahvistettiin suhde kaappaamisen ja kattavuuden välillä:

Kuvakaappaukset, jotka osoittavat katsevideo-ärsykkeen (a) työpöydällä ja (b) mobiililaitteilla.

Liikkuvan pisteen segmentit merkittiin huomioon, ja pois näytöltä olevat segmentit huomion puutteeksi, tuottaen merkittyjä tietojoukkoja sekä positiivisista että negatiivisista esimerkeistä.

Kunkin videon kesto oli noin 160 sekuntia, ja erilliset versiot luotiin työpöytä- ja mobiilialustoille, kummallakin 1920×1080 ja 608×1080 resoluutiolla.

Kokoelmaan kerättiin yhteensä 609 videota, joista 322 työpöytä- ja 287 mobiilitaltioita. Merkitseminen tehtiin automaattisesti videosisällön perusteella, ja tietojoukko jaettiin 158 koulutusnäytteeseen ja 451 testinäytteeseen.

Tietojoukko: Puhuminen

Tässä kontekstissa yksi kriteereistä, jotka määrittävät ’huomion puutteen’, on tilanne, jossa henkilö puhuu yli yhden sekunnin (joka voi olla hetkellinen kommentti tai jopa yskiminen).

Koska kontrolloitu ympäristö ei tallenna eikä analysoi ääntä, puhumista arvioidaan havainnoimalla sisäisten kasvojen maamerkkien liikkeitä. Siksi tekijät loivat tietojoukon, joka perustui kokonaan visuaaliseen syötteeseen, poimien sen sisäisestä tietokannasta, ja jakoi sen kahteen osaan: ensimmäiseen, joka sisälsi noin 5 500 videota, joista jokainen oli merkitty kolmen annotaattorin toimesta joko puhuvaksi tai ei-puhuvaksi (joista 4 400 käytettiin koulutukseen ja validointiin, ja 1 100 testaamiseen).

Toinen osa koostui 16 000 istunnosta, jotka oli automaattisesti merkitty istuntojen tyypin perusteella: 10 500 esitti osallistujia, jotka katsoivat mainoksia hiljaisesti, ja 5 500 esitti osallistujia, jotka ilmaisivat mielipidettään brändeistä.

Tietojoukko: Nuukaaminen

Vaikka joitakin ’nuukaamisen’ tietojoukkoja on olemassa, kuten YawDD ja Driver Fatigue, tekijät väittävät, että mikään niistä ei sovellu mainostestauskenarioihin, koska ne joko sisältävät simuloituja nuukaamisia tai sisältävät kasvojen vääntöjä, jotka voivat olla sekoitettavissa pelkoon tai muihin, ei-nuukaamiseen liittyviin toimiin.

Siksi tekijät käyttivät 735 videota sisäisestä kokoelmastaan, valitsemalla istuntoja, joissa todennäköisesti esiintyisi leuka putoaminen yli yhden sekunnin ajan. Kunkin videon merkintä tehtiin kolmen annotaattorin toimesta joko aktiiviseksi tai epäaktiiviseksi nuukaamiseksi. Vain 2,6 prosenttia kehyksistä sisälsi aktiivisia nuukaamisia, korostaen luokan epätasapainon, ja tietojoukko jaettiin 670 koulutusvideoksi ja 65 testivideoksi.

Tietojoukko: Häiriö

Häiriö tietojoukko poimittiin myös tekijöiden mainostestaus-tietokannasta, jossa osallistujat olivat katsoneet todellisia mainoksia ilman määrättyjä tehtäviä. Yhteensä 520 istuntoa (193 mobiilissa ja 327 työpöydässä) valittiin satunnaisesti ja merkittiin kolmen annotaattorin toimesta joko huomioon tai huomion puutteeksi.

Huomion puutteen käyttäytyminen käsitti katse pois ruudusta, puhuminen, vaipuvainen uneen ja huomioimattomat näytöt. Istunnot kattoivat monia alueita ympäri maailmaa, työpöytäennustukset olivat yleisempiä johtuen joustavasta web-kameran sijoittelusta.

Huomion mallit

Ehdotettu huomion malli prosessoi alhaisen tason visuaalisia ominaisuuksia, nimittäin kasvojen ilmeet; pään asento; ja katse-suunta – poimittu AFFDEX 2.0: sta ja SmartEye SDK: sta.

Nämä muunnetaan korkeamman tason osoittimiksi, joista jokainen häiriö kohdellaan erillään koulutetulla binäärisellä luokittelijalla, joka on koulutettu omassa tietojoukossaan riippumattomaan optimointiin ja arviointiin.

Ehdotetun seurantajärjestelmän skeema.

Katse malli määrittää, katsooko katsoja ruutua vai ei, käyttäen normalisoituja katse-koordinaatteja, joissa on erillinen kalibrointi työpöytä- ja mobiililaitteille. Tätä prosessia auttaa lineaarinen tuki vektoria (SVM), joka on koulutettu avaruudellisilla ja aikaisilla ominaisuuksilla, ja joka sisältää muisti-ikkunan sileämään nopeita katse-liikkeitä.

Puhuminen ilman ääntä havaittiin käyttäen leikattuja suun alueita ja 3D-CNN: ää, joka on koulutettu sekä keskustelu- että ei-keskusteluvideosegmenteillä. Merkitseminen tehtiin istunnon tyypin perusteella, ja aikaisen sileämisen vähentäminen vähensi väärät positiiviset, jotka voivat johtua lyhyistä suun liikkeistä.

Nuukaaminen havaittiin käyttäen täysiä kasvojen leikkauksia, jotka pyrkivät kaappaamaan laajempaa kasvojen liikettä, ja 3D-CNN: ää, joka on koulutettu manuaalisesti merkityille kehyksille (vaikka tehtävä oli hankalampi nuukaamisen matalan taajuuden vuoksi luonnollisessa katselussa ja sen samankaltaisuuden kanssa muiden ilmeiden).

Näytön jättäminen huomioimatta tunnistettiin puuttuvan kasvojen tai äärimmäisen pään asennon perusteella, ja ennustettiin päätöspuun avulla.

Lopullinen huomion tila määritettiin kiinteällä säännöllä: jos mikä tahansa moduli havaitsee huomion puutteen, katsoja merkittiin huomion puutteeksi – lähestymistapa, joka priorisoi herkkyyttä, ja joka on säätetty erikseen työpöytä- ja mobiiliympäristöissä.

Testit

Kuten aiemmin mainittiin, testit seuraavat ablaatiomenetelmää, jossa komponentteja poistetaan ja huomioidaan vaikutus lopputulokseen.

Eri luokat havaittuja huomion puutteen havaintoja tutkimuksessa.

Katse malli tunnisti pois ruudusta käyttäen kolmea avainta: normalisoiden raakakatse-arviot, hienosäätäen tulosta ja arvioimalla näytön kokoa työpöydällä.

Jotta voidaan ymmärtää kunkin komponentin merkitystä, tekijät poistivat ne yksitellen ja arvioivat suorituskyvyn 226 työpöydän ja 225 mobiilivideota, jotka poimittiin kahdesta tietojoukosta. Tulokset, mitattuna G-keskiarvon ja F1-lukeman avulla, on esitetty alla:

Tulokset, jotka osoittavat täydellisen katse-mallin suorituskyvyn, rinnakkain versioiden kanssa, joissa on poistettu yksittäisiä prosessointivaiheita.

Jokaisessa tapauksessa suorituskyky heikkeni, kun vaihe poistettiin. Normalisointi osoittautui erityisen arvokkaaksi työpöydillä, joilla kameran sijoittelu vaihtelee enemmän kuin mobiililaitteilla.

Tutkimus arvioi myös, miten visuaaliset ominaisuudet ennustivat mobiilikameran suuntaa: kasvojen sijainti, pään asento ja silmien katse-suunta saivat 0,75, 0,74 ja 0,60, kun taas niiden yhdistelmä saavutti 0,91, korostaen – tekijöiden mukaan – useiden vihjeiden yhdistämisen etua.

Puhuminen malli, joka oli koulutettu pystysuoran huulirajan etäisyydellä, saavutti ROC-AUC 0,97 manuaalisesti merkityssä testijoukossa ja 0,96 suuremmassa automaattisesti merkityssä tietojoukossa, osoittaen vakaata suorituskykyä molemmissa.

Nuukaaminen malli saavutti ROC-AUC 96,6 prosenttia yksinomaan suun suhteen, mikä parani 97,5 prosenttiin yhdistämällä toimintayksikön ennusteita AFFDEX 2.0: sta.

Näytön jättäminen huomioimatta malli luokitteli hetket huomion puutteeksi, kun sekä AFFDEX 2.0 että SmartEye eivät havainneet kasvoja yli yhden sekunnin ajan. Jotta voidaan arvioida tämän validiutta, tekijät merkittivät manuaalisesti kaikki tällaiset ei-kasvo-aktiviteetit todellisen häiriön tietojoukossa, tunnistamalla kunkin aktivaation perustavanlaatuinen syy. Epäselvät tapaukset (kuten kameran esto tai videon vääristymä) poistettiin analyysistä.

Kuten tulokset taulukossa alla osoittavat, vain 27 prosenttia ’ei-kasvo’ -aktiviteetteja johtui käyttäjien fyysisestä poistumisesta ruudulta.

Moninaiset saadut syyt, miksi kasvoja ei löydy tietyissä tapauksissa.

Tutkimus toteaa:

‘Vaikka huomioimattomat näytöt muodostivat vain 27 prosenttia tapauksia, jotka laukaisivat ei-kasvo-signaalin, se laukesi myös muista syistä, jotka osoittavat huomion puutteen, kuten osallistujat, jotka katsoivat pois ruudusta äärimmäisellä kulmalla, tekivät liikaa liikettä tai peittivät kasvonsa merkittävästi esineellä/kädellä.’

Viimeisessä kvantitatiivisessa testissä tekijät arvioivat, miten eri häiriösignaaleja lisääminen vaikutti heidän huomion mallinsa yleiseen suorituskykyyn.

Testaus tehtiin kahdella tietojoukolla: todellisen häiriön tietojoukolla ja katse tietojoukon testialijoukolla. G-keskiarvo ja F1-lukema käytettiin suorituskyvyn mittarina (vaikka vaipuvainen uneen ja puhuminen jätettiin pois katse tietojoukon analyysistä heidän rajoitettu merkityksensä vuoksi tässä kontekstissa).

Kuten alla osoitetaan, huomion havaitseminen parani jatkuvasti, kun lisättiin eri häiriötyyppejä, katse pois ruudusta tarjosi vahvimman perusviivan, osoittaen, että se on yleisin häiriö.

Eri häiriösignaaleja lisäämisen vaikutus arkkitehtuuriin.

Näistä tuloksista tutkimus toteaa:

‘Voimme ensinnäkin johtaa, että kaikkien häiriösignaaleiden integrointi edistää huomion havaitsemista.

‘Toiseksi, huomion havaitsemisen parantuminen on johdonmukaista sekä työpöytä- että mobiililaitteilla. Kolmanneksi, mobiililaitteiden todelliset istunnot näyttävät merkittäviä pään liikkeitä, kun katsoja katsoo pois, mikä on helppo havaita, johtaa korkeampaan suorituskykyyn mobiililaitteilla verrattuna työpöytälaiteisiin. Neljänneksi, drowsiness-signaalin lisääminen on suhteellisen vähäistä verrattuna muihin signaaleihin, koska se on harvinaista.

‘Lopulta, huomioimattoman näytön signaali on suhteellisen suurempi parannus mobiililaitteilla verrattuna työpöytälaitteisiin, koska mobiililaitteet voidaan jättää helposti huomioimatta.’

Tekijät vertasivat myös malliaan AFFDEX 1.0: aan, aiempaan järjestelmään, jota käytetään mainostestauksessa – ja jopa nykyisen mallin pään perusteella tapahtuva katse-havainnointi ylitti AFFDEX 1.0: n molemmilla laitteilla:

‘Tämä parannus on seurausta siitä, että otimme huomioon pään liikkeet sekä yaw- että pitch-suunnassa, sekä normalisoimme pään asennon huomioon ottaen vähäisiä muutoksia. Mobiililaitteiden voimakkaat pään liikkeet todellisessa mobiiliaineistossa ovat aiheuttaneet päämallin suorittavan samalla tavalla kuin AFFDEX 1.0.’

Tekijät päättävät tutkimuksensa (ehkä hieman epävirallisella) laadullisella testikierroksella, joka on esitetty alla.

Esimerkkejä huomion mallin tuloksista työpöytä- ja mobiililaitteilla, joissa kunkin rivin esimerkkejä osoittavat eri häiriötyyppien todellisia ja väärä positiivisia tuloksia.

Tekijät toteavat:

‘Tulokset osoittavat, että mallimme havaitsee tehokkaasti eri häiriöitä epäohjatuissa olosuhteissa. Kuitenkin se voi toisinaan tuottaa väärä positiivisia joissakin reunatapauksissa, kuten voimakkaassa pään kallistuksessa, jossa katse säilyy näytöllä, joissakin suun peittämisissä, liian sumuisissa silmäkuissa tai voimakkaasti tummennetuissa kasvoissa. ‘

Johtopäätös

Vaikka tulokset edustavat mitattua, mutta merkittävää edistystä aiempaan työhön verrattuna, tutkimuksen syvempi arvo piilee siinä, miten se antaa vihjeen katsojan sisäisen tilan pääsyyn. Vaikka data kerättiin suostumuksella, menetelmä osoittaa tulevia kehyksiä, jotka voivat laajentua strukturoiduista, markkinatutkimuksen asetelmista.

Tämä melko paranoinen johtopäätös vahvistetaan vain tämän tietyn tutkimussuunnan sulkeutuneen, rajoitetun ja tarkkaan suojatun luonteen kautta.

* Minun muunnos tekijöiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran keskiviikkona, 9. huhtikuuta 2025