Шукаємо «Сов і Ящірок» в аудиторії рекламодавця

Оскільки онлайн-рекламна галузь, як оцінюється, витратила 740,3 мільярда доларів США у 2023 році, легко зрозуміти, чому рекламні компанії вкладають значні ресурси в цей конкретний напрямок досліджень комп’ютерного зору.

Хоча галузь досить закрита і захищена, вона іноді публікує дослідження, які свідчать про більш просунуту власну роботу в сфері розпізнавання обличчя та напрямку погляду – включаючи розпізнавання віку, яке є важливим для демографічної статистики:

Оцінка віку в контексті реклами є важливою для рекламодавців, які можуть націлюватися на конкретну демографічну групу. У цьому експериментальному прикладі автоматичної оцінки віку обличчя трекується вік виконавця Боба Ділана протягом років. Джерело: https://arxiv.org/pdf/1906.03625

Ці дослідження, які рідко з’являються в публічних репозиторіях, таких як Arxiv, використовують легітимно набрані учасників як основу для аналізу, який спрямований на визначення ступеня та способу, у яких глядач взаємодіє з рекламою.

Dlib’s Histogram of Oriented Gradients (HoG) часто використовується в системах оцінки обличчя. Джерело: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Тваринний інстинкт

У цьому контексті природно, що рекламна галузь зацікавлена у визначенні помилкових позитивних результатів (коли аналітична система неправильно інтерпретує дії суб’єкта) та встановленні чітких критеріїв для визначення, коли людина, яка дивиться їхні рекламні ролики, не повністю взаємодіє з контентом.

Що стосується реклами на основі екрана, дослідження зазвичай зосереджуються на двох проблемах у двох середовищах. Середовища – це “настільний комп’ютер” або “мобільний пристрій”, кожне з яких має особливі характеристики, які потребують спеціальних рішень для відстеження; і проблеми – з точки зору рекламодавця – представлені поведінкою “сови” і “ящірки” – тенденцією глядачів не звертати повну увагу на рекламу, яка знаходиться перед ними.

Приклади поведінки “Сови” і “Ящірки” в суб’єкта рекламного дослідження. Джерело: https://arxiv.org/pdf/1508.04028

Якщо ви дивитеся геть від реклами цілою головою, це поведінка “сови”; якщо ваша голова залишається нерухомою, а очі блукають геть від екрана, це поведінка “ящірки”. У контексті аналітики та тестування нових рекламних роликів у контрольованих умовах ці дії є важливими для системи, щоб вона могла їх виявити.

Нова робота від SmartEye’s Affectiva пропонує архітектуру, яка використовує кілька існуючих фреймворків, щоб надати об’єднаний і з’єднаний набір функцій по всіх необхідних умовах і можливих реакціях – і щоб визначити, чи є глядач нудьгуючим, зацікавленим або в якійсь мірі віддаленим від контенту, який рекламодавець хоче, щоб вони дивилися.

Приклади справжніх і помилкових позитивних результатів, виявлених новою системою уваги для різних сигналів відволікання, показаних окремо для настільних і мобільних пристроїв. Джерело: https://arxiv.org/pdf/2504.06237

Автори заявляють*:

‘Обмежене дослідження займалося моніторингом уваги під час онлайн-рекламних роликів. Хоча ці дослідження зосереджувалися на оцінці напрямку погляду для визначення випадків відволікання, вони не враховували критичні параметри, такі як тип пристрою (настільний комп’ютер або мобільний пристрій), розміщення камери відносно екрана та розмір екрана. Ці фактори суттєво впливають на виявлення уваги. ‘

‘У цій роботі ми пропонуємо архітектуру для виявлення уваги, яка охоплює виявлення різних відволікань, включаючи поведінку “сови” і “ящірки” – погляд геть від екрана, сонливість (через зевання і тривале закриття очей) та залишення екрана без уваги. ‘

‘На відміну від попередніх підходів, наш метод інтегрує властивості пристрою, такі як тип пристрою, розміщення камери, розмір екрана (для настільних комп’ютерів) та орієнтація камери (для мобільних пристроїв), з оцінкою напрямку погляду для підвищення точності виявлення уваги.’

Нова робота названа Моніторинг уваги глядача під час онлайн-рекламних роликів і виконала чотири дослідники з Affectiva.

Метод і дані

Головним чином через секретність і закритий характер таких систем, нова робота не порівнює підхід авторів безпосередньо з конкурентами, а радше представляє свої результати виключно як дослідження абляції; жодна з робіт не слідує загальному формату літератури комп’ютерного зору. Тому ми розглянемо дослідження, як воно представлено.

Автори підкреслюють, що тільки обмежена кількість досліджень займалася виявленням уваги конкретно в контексті онлайн-рекламних роликів. У AFFDEX SDK, який пропонує реальний час розпізнавання обличчя, увага інферується виключно з напрямку голови, з учасниками, позначеними як неуважні, якщо кут голови перевищує певний поріг.

Приклад з AFFDEX SDK, системи Affectiva, яка використовує напрямок голови як індикатор уваги. Джерело: https://www.youtube.com/watch?v=c2CWb5jHmbY

У 2019 році Автоматичне вимірювання візуальної уваги до відеоконтенту за допомогою глибокого навчання, набір даних з близько 28 000 учасників був анотований для різних поведінок, які свідчать про відсутність уваги, включаючи погляд геть, закриття очей або зайняття іншими діяльностями, і модель CNN-LSTM була навчена для виявлення уваги з обличчя протягом часу.

З 2019 року робота, приклад, який ілюструє передбачені стани уваги для глядача, який дивиться відеоконтент. Джерело: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Однак автори відзначають, що ці попередні роботи не враховували властивості пристрою, такі як тип пристрою (настільний комп’ютер або мобільний пристрій); ні вони не розглядали розмір екрана або розміщення камери. Крім того, система AFFDEX зосереджується лише на виявленні відволікання погляду, і не розглядає інші джерела відволікання, тоді як робота 2019 року намагається виявити ширший набір поведінок – але використання однієї неглибокої CNN може, як зазначено в роботі, бути недостатнім для цього завдання.

Автори відзначають, що деякі з найбільш популярних досліджень в цій галузі не оптимізовані для тестування рекламних роликів, яке має інші потреби порівняно з доменами, такими як водіння чи освіта – де розміщення камери і калібрування зазвичай фіксовані заздалегідь, і оперують некаліброваними налаштуваннями, і працюють в межах обмеженого діапазону погляду настільних і мобільних пристроїв.

Отже вони розробили архітектуру для виявлення уваги глядача під час онлайн-рекламних роликів, використовуючи два комерційні інструменти: AFFDEX 2.0 і SmartEye SDK.

Приклади аналізу обличчя з AFFDEX 2.0. Джерело: https://arxiv.org/pdf/2202.12059

Ці попередні роботи витягують низькорівневі функції, такі як вирази обличчя, напрямок голови і напрямок погляду. Ці функції потім обробляються для отримання вищих індикаторів, включаючи напрямок погляду на екрані; зевання; і розмову.

Система визначає чотири типи відволікань: погляд геть від екрана; сонливість; розмова; і неуважність до екрана. Вона також коригує аналіз погляду залежно від того, чи знаходиться глядач на настільному комп’ютері чи мобільному пристрої.

Набори даних: Погляд

Автори використали чотири набори даних для підтримки і оцінки системи виявлення уваги: три, які зосереджувалися окремо на поведінці погляду, розмові і зеванні; і четвертий, який був отриманий з реальних сесій тестування рекламних роликів, які містили змішані типи відволікань.

Через специфічні вимоги роботи, були створені спеціальні набори даних для кожної з цих категорій. Усі набори даних були отримані з власного репозиторію, який містить мільйони записаних сесій учасників, які дивилися рекламні ролики в домашніх або робочих умовах, з веб-налаштуванням, з інформованим згодом – і через обмеження цих угод, автори заявляють, що набори даних для нової роботи не можуть бути зроблені публічно доступними.

Для створення набору даних погляду учасникам було запропоновано слідкувати за рухомою крапкою по різних точках на екрані, включаючи його краї, а потім дивитися геть від екрана в чотирьох напрямках (вгору, вниз, ліворуч і праворуч) з повторенням послідовності тричі. У цьому спосіб була встановлена залежність між захопленням і покриттям:

Знімки, які показують стимул відео погляду на (а) настільному комп’ютері і (б) мобільному пристрої. Перший і третій кадри відображають інструкції слідувати за рухомою крапкою, тоді як другий і четвертий кадри запрошують учасників дивитися геть від екрана.

Сегменти рухомої крапки були позначені як уважні, а сегменти геть від екрана були позначені як неуважні, що дало набір даних з позначеними прикладами і протилежними прикладами.

Кожне відео тривало приблизно 160 секунд, з окремими версіями для настільних і мобільних платформ, кожна з роздільною здатністю 1920×1080 і 608×1080 відповідно.

Було зібрано загалом 609 відео, що складаються з 322 відео для настільних комп’ютерів і 287 відео для мобільних пристроїв. Позначення були застосовані автоматично на основі вмісту відео, а набір даних розділений на 158 навчальних прикладів і 451 тестовий приклад.

Набори даних: Розмова

У цьому контексті одним з критеріїв, які визначають “неуважність”, є розмова тривалістю понад одну секунду (що може бути моментальною заувагою, або навіть кашлем).

Оскільки контрольоване середовище не записує і не аналізує аудіо, розмова інферується шляхом спостереження за внутрішнім рухом оцінки орієнтації обличчя. Тому для виявлення розмови без аудіо автори створили набір даних, заснований цілком на візуальному вводі, отриманий з їхнього внутрішнього репозиторію, і розділений на дві частини: перша частина містила близько 5 500 відео, кожне з яких було ручно позначено трьома анотаторами як розмова або нерозмова (з них 4 400 були використані для навчання і валідації, а 1 100 для тестування).

Друга частина містила 16 000 сесій, автоматично позначених на основі типу сесії: 10 500 сесій містили учасників, які мовчазно дивилися рекламні ролики, а 5 500 сесій містили учасників, які висловлювали свої думки про бренди.

Набори даних: Зевання

Хоча існують деякі набори даних про зевання, такі як YawDD і Driver Fatigue, автори стверджують, що жоден з них не підходить для сценаріїв тестування рекламних роликів, оскільки вони або містять симульовані зевання, або містять вирази обличчя, які можуть бути сплутані з страхом або іншими, не-зевними діями.

Отже автори використали 735 відео з їхньої внутрішньої колекції, вибравши сесії, які, ймовірно, містять опускання щелепи тривалістю понад одну секунду. Кожне відео було ручно позначено трьома анотаторами як активне або неактивне зевання. Лише 2,6% кадрів містили активне зевання, підкреслюючи дисбаланс класів, і набір даних був розділений на 670 навчальних відео і 65 тестових відео.

Набори даних: Відволікання

Набір даних відволікання також був отриманий з репозиторію авторів, де учасники дивилися справжні рекламні ролики без призначених завдань. Було випадково вибрано 520 сесій (193 на мобільних пристроях і 327 на настільних комп’ютерах) і ручно позначено трьома анотаторами як уважні або неуважні.

Неуважна поведінка включала погляд геть від екрана, розмова, сонливість і неуважність до екрана. Сесії охоплювали різні регіони світу, з більш поширеними записами на настільних комп’ютерах через гнучке розміщення веб-камери.

Моделі уваги

Пропонована модель уваги обробляє низькорівневі візуальні функції, а саме вирази обличчя; напрямок голови; і напрямок погляду – витягнуті через згадані вище AFFDEX 2.0 і SmartEye SDK.

Ці функції потім перетворюються у вищі індикатори, з кожним відволіканням, обробленим окремим бінарним класифікатором, навченим на власному наборі даних для незалежної оптимізації і оцінки.

Схема пропоновної системи моніторингу.

Модель погляду визначає, чи дивиться глядач на екран чи геть від нього, використовуючи нормалізовані координати погляду, з окремою калібруванням для настільних і мобільних пристроїв. Цьому процесу допомагає лінійна машина опорних векторів (SVM), навчена на просторових і часових функціях, яка включає вікно пам’яті для згладжування швидких рухів погляду.

Для виявлення розмови без аудіо система використовувала обрізані регіони рота і 3D-CNN, навчений на розмовних і нерозмовних відео-сегментах. Позначення були призначені на основі типу сесії, з тимчасовим згладжуванням, яке знижує помилкові позитиви, які можуть виникнути через короткі рухи рота.

Зевання виявлялося за допомогою повних знімків обличчя, щоб захопити ширші рухи обличчя, з 3D-CNN, навченим на ручно позначених кадрах (хоча завдання було ускладнено низькою частотою зевання в природному перегляді, і його схожістю з іншими виразами).

Неуважність до екрана визначалася через відсутність обличчя або екстремального напрямку голови, з прогнозами, зробленими деревом рішень.

Остатній стан уваги визначався за допомогою фіксованого правила: якщо будь-який модуль виявляв неуважність, глядач позначався як неуважний – підхід, який优 tiênує чутливість, і налаштовується окремо для настільних і мобільних контекстів.

Тести

Як згадувалося раніше, тести проводяться методом абляції, де компоненти видаляються, і їх вплив на результат відзначається.

Різні категорії сприйманої неуваги, виявлені в дослідженні.

Модель погляду визначила поведінку геть від екрана через три ключові кроки: нормалізацію сирої оцінки погляду, тонке налаштування виводу, і оцінку розміру екрана для настільних пристроїв.

Для розуміння важливості кожного компоненту автори видалили їх окремо і оцінили продуктивність на 226 відео для настільних комп’ютерів і 225 відео для мобільних пристроїв, отриманих з двох наборів даних. Результати, виміряні за допомогою G-mean і F1 балів, показані нижче:

Результати, які показують продуктивність повної моделі погляду, поряд з версіями з окремими кроками обробки, видаленими.

У кожному випадку продуктивність знижувалася, коли крок був видалений. Нормалізація виявилася особливо цінною на настільних комп’ютерах, де розміщення камери варіюється більше, ніж на мобільних пристроях.

Дослідження також оцінило, як візуальні функції передбачали орієнтацію камери на мобільних пристроях: положення обличчя, напрямок голови і напрямок погляду мали оцінки 0,75, 0,74 і 0,60 відповідно, тоді як їх поєднання досягло 0,91, підкреслюючи, як заявляють автори, перевагу інтеграції кількох ознак.

Модель розмови, навчена на вертикальній відстані губ, досягла ROC-AUC 0,97 на ручно позначеному тестовому наборі, і 0,96 на більшому автоматично позначеному наборі даних, показуючи стабільну продуктивність на обох.

Модель зевання досягла ROC-AUC 96,6% за допомогою тільки співвідношення рота, яке покращилось до 97,5%, коли було поєднано з прогнозами одиниць дії з AFFDEX 2.0.

Модель неуважності до екрана класифікувала моменти як неуважні, коли і AFFDEX 2.0, і SmartEye не виявили обличчя протягом більш ніж однієї секунди. Для оцінки валідності цього автори ручно позначили всі такі події без обличчя в наборі даних реальної відволікання, визначивши основну причину кожної активації. Невизначені випадки (такі як заслінення камери або відео-відхилення) були виключені з аналізу.

Як показано в таблиці результатів нижче, лише 27% активацій без обличчя були спричинені користувачами, які фізично залишили екран.

Різноманітні причини, чому обличчя не було виявлено, в деяких випадках.

Папера заявляє:

‘Незважаючи на те, що неуважність до екрана становила лише 27% випадків, які спровокували сигнал без обличчя, він був активований з інших причин, які свідчать про неуважність, таких як учасники, які дивилися геть від екрана під екстремальним кутом, робили надмірні рухи, або закривали своє обличчя об’єктом/ручкою.’

У останньому з кількісних тестів автори оцінили, як поступове додавання різних сигналів відволікання – погляду геть від екрана (через напрямок голови і погляду), сонливості, розмови і неуваги до екрана – вплинуло на загальну продуктивність їх моделі уваги.

Тестування проводилось на двох наборах даних: наборі даних реальної відволікання і тестовому піднаборі набору даних погляду. Бали G-mean і F1 були використані для вимірювання продуктивності (хоча сонливість і розмова були виключені з аналізу набору даних погляду через їх обмежену актуальність у цьому контексті).

Як показано нижче, виявлення уваги покращувалося послідовно при додаванні різних типів відволікань, з поглядом геть від екрана як найбільш поширеним відволіканням, яке забезпечувало найсильніший базовий рівень.

Ефект додавання різних сигналів відволікання до архітектури.

З цих результатів папера заявляє:

‘З результатів ми можемо зробити висновок, що інтеграція всіх сигналів відволікання сприяє покращенню виявлення уваги.

‘Друга, покращення виявлення уваги є послідовним як для настільних, так і для мобільних пристроїв. Третя, мобільні сесії в реальному наборі даних показують значні рухи голови при погляді геть, які легко виявляються, що призводить до вищої продуктивності для мобільних пристроїв порівняно з настільними комп’ютерами. Четверта, додавання сигналу сонливості має відносно незначне покращення порівняно з іншими сигналами, оскільки воно зазвичай рідко трапляється. ‘

‘Нарешті, сигнал неуваги до екрана має відносно більше покращення на мобільних пристроях порівняно з настільними комп’ютерами, оскільки мобільні пристрої можуть легко залишатися без уваги.’

Автори також порівняли свою модель з AFFDEX 1.0, попередньою системою, використовуваною в тестуванні рекламних роликів – і навіть поточна модель з виявленням погляду на основі голови перевершує AFFDEX 1.0 на обох типах пристроїв:

‘Це покращення є результатом інтеграції рухів голови в обох напрямках, а також нормалізації напрямку голови для обліку незначних змін. Видатні рухи голови в реальному мобільному наборі даних призвели до того, що наша модель голови працює подібно до AFFDEX 1.0.’

Автори завершують паперу (можливо, досить формальним) кваліфікаційним раундом тестів, показаним нижче.

Приклади виведення моделі уваги на настільних і мобільних пристроях, з кожним рядком, який показує приклади справжніх і помилкових позитивних результатів для різних типів відволікання.

Автори заявляють:

‘Результати показують, що наша модель ефективно виявляє різні відволікання в неконтрольованих умовах. Однак вона може іноді виробляти помилкові позитиви в певних крайніх випадках, таких як сильне нахил голови при збереженні погляду на екрані, деякі закриття рота або надмірно розмиті очі, або сильно затемнені зображення обличчя. ‘

Висновок

Хоча результати представляють виміряний, але значимий крок вперед порівняно з попередньою роботою, глибша цінність дослідження полягає в тому, що воно пропонує погляд на постійну тенденцію до доступу до внутрішнього стану глядача. Хоча дані були зібрані з згоди, методологія вказує на майбутні рамки, які можуть вийти за межі структурованих, ринкових досліджень.

Цей досить параноїдальний висновок підкріплюється закритим, обмеженим і ревно охоронюваним характером цього конкретного напрямку досліджень.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.

Перша публікація – середа, 9 квітня 2025 року