À la recherche de « hiboux et lézards » dans l'audience d'un annonceur

Étant donné que le secteur de la publicité en ligne est estimé ayant dépensé 740.3 milliards de dollars US en 2023, il est facile de comprendre pourquoi les sociétés de publicité investissent des ressources considérables dans ce domaine particulier de la recherche en vision par ordinateur.

Bien qu'insulaire et protectrice, l'industrie occasionnellement publie des études qui suggèrent des travaux propriétaires plus avancés dans la reconnaissance faciale et oculaire, notamment reconnaissance de l'âge, au cœur des statistiques d’analyse démographique :

L'estimation de l'âge dans un contexte publicitaire en pleine nature intéresse les annonceurs susceptibles de cibler une tranche d'âge particulière. Dans cet exemple expérimental d'estimation automatique de l'âge facial, l'âge de l'artiste Bob Dylan est suivi au fil des ans. Source : https://arxiv.org/pdf/1906.03625

Ces études, qui apparaissent rarement dans des référentiels publics tels qu’Arxiv, utilisent des participants recrutés légitimement comme base d’une analyse pilotée par l’IA qui vise à déterminer dans quelle mesure et de quelle manière le spectateur s’engage avec une publicité.

L'histogramme des gradients orientés (HoG) de Dlib est souvent utilisé dans les systèmes d'estimation faciale. Source : https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Instinct animal

À cet égard, l’industrie publicitaire s’intéresse naturellement à la détermination des faux positifs (occasions où un système analytique interprète mal les actions d’un sujet) et à l’établissement de critères clairs pour déterminer quand la personne qui regarde ses publicités n’est pas pleinement engagée avec le contenu.

En ce qui concerne la publicité sur écran, les études se concentrent généralement sur deux problématiques dans deux environnements : l'environnement « ordinateur » et l'environnement « mobile », chacun présentant des caractéristiques particulières nécessitant des solutions de suivi sur mesure. Du point de vue de l'annonceur, les problématiques sont représentées par comportement du hibou et comportement du lézard – la tendance des téléspectateurs à ne pas prêter toute leur attention à une publicité qui se trouve devant eux.

Exemples de comportement de « hibou » et de « lézard » dans un sujet d'un projet de recherche publicitaire. Source : https://arxiv.org/pdf/1508.04028

Si vous cherchez et à partir de la publicité prévue avec toute votre tête, c'est un comportement de « hibou » ; si votre pose de tête est statique mais que vos yeux sont errant Vu de l'écran, il s'agit d'un comportement de « lézard ». En termes d'analyse et de test de nouvelles publicités dans des conditions contrôlées, ces actions sont essentielles pour qu'un système puisse les capturer.

Un nouveau document issu de l'acquisition d'Affectiva par SmartEye aborde ces problèmes, en proposant une architecture qui exploite plusieurs cadres existants pour fournir un ensemble de fonctionnalités combinées et concaténées couvrant toutes les conditions requises et les réactions possibles - et pour être en mesure de dire si un spectateur s'ennuie, est engagé ou, d'une certaine manière, éloigné du contenu que l'annonceur souhaite qu'il regarde.

Exemples de vrais et faux positifs détectés par le nouveau système d'attention pour divers signaux de distraction, présentés séparément pour les ordinateurs de bureau et les appareils mobiles. Source : https://arxiv.org/pdf/2504.06237

Les auteurs précisent* :

»Limité Une étude s'est penchée sur le suivi de l'attention lors des publicités en ligne. Si ces études se concentraient sur l'estimation de la posture de la tête ou de la direction du regard pour identifier les cas de détournement du regard, elles négligeaient des paramètres critiques tels que le type d'appareil (ordinateur ou mobile), le positionnement de la caméra par rapport à l'écran et la taille de l'écran. Ces facteurs influencent considérablement la détection de l'attention.

« Dans cet article, nous proposons une architecture de détection de l'attention qui englobe la détection de divers distracteurs, notamment le comportement du hibou et du lézard consistant à regarder hors de l'écran, à parler, à somnoler (par le bâillement et la fermeture prolongée des yeux) et à laisser l'écran sans surveillance.

« Contrairement aux approches précédentes, notre méthode intègre des fonctionnalités spécifiques à l'appareil telles que le type d'appareil, le placement de la caméra, la taille de l'écran (pour les ordinateurs de bureau) et l'orientation de la caméra (pour les appareils mobiles) avec l'estimation brute du regard pour améliorer la précision de la détection de l'attention. »

Les nouveau travail est intitulé Suivi de l'attention des spectateurs pendant les publicités en ligne, et provient de quatre chercheurs d'Affectiva.

Méthode et données

En grande partie en raison du caractère confidentiel et fermé de ces systèmes, ce nouvel article ne compare pas directement l'approche des auteurs à celle de leurs concurrents, mais présente ses résultats exclusivement sous forme d'études d'ablation ; il ne respecte pas non plus le format habituel de la littérature sur la vision par ordinateur. Par conséquent, nous examinerons la recherche telle qu'elle est présentée.

Les auteurs soulignent que seul un nombre limité d'études ont abordé la détection de l'attention spécifiquement dans le contexte des publicités en ligne. Kit de développement logiciel (SDK) AFFDEX, qui offre une reconnaissance multi-visage en temps réel, l'attention est déduite uniquement de la posture de la tête, les participants étant qualifiés d'inattentifs si l'angle de leur tête dépasse un seuil défini.

Un exemple du SDK AFFDEX, un système Affectiva qui s'appuie sur la pose de la tête comme indicateur d'attention. Source : https://www.youtube.com/watch?v=c2CWb5jHmbY

Dans le 2019 coopération Mesure automatique de l'attention visuelle au contenu vidéo à l'aide du Deep Learning, un ensemble de données d'environ 28,000 XNUMX participants a été annoté pour divers comportements d'inattention, notamment regarder au loin, fermer les yeux, ou s'engager dans activités non liées, et un modèle CNN-LSTM formé pour détecter l'attention à partir de l'apparence du visage au fil du temps.

Extrait de l'article de 2019, un exemple illustrant les états d'attention prédits pour un spectateur regardant du contenu vidéo. Source : https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Cependant, les auteurs observent que ces efforts antérieurs ne tenaient pas compte des facteurs spécifiques à l'appareil, comme le fait que le participant utilise un ordinateur de bureau ou un appareil mobile ; ils n'ont pas non plus pris en compte la taille de l'écran ou le positionnement de la caméra. De plus, le système AFFDEX se concentre uniquement sur l'identification de la diversion du regard et omet les autres sources de distraction, tandis que les travaux de 2019 tentent de détecter un ensemble plus large de comportements, mais leur utilisation d'un seul modèle superficiel CNN Selon le journal, ces mesures auraient pu être inadéquates pour cette tâche.

Les auteurs observent que certaines des recherches les plus populaires dans ce domaine ne sont pas optimisées pour les tests publicitaires, qui ont des besoins différents de ceux de domaines tels que la conduite ou l'éducation - où le placement et l'étalonnage de la caméra sont généralement fixés à l'avance, s'appuyant plutôt sur des configurations non calibrées et fonctionnant dans la portée de regard limitée des ordinateurs de bureau et des appareils mobiles.

Ils ont donc conçu une architecture permettant de détecter l’attention des spectateurs lors des publicités en ligne, en s’appuyant sur deux boîtes à outils commerciales : AFFDEX 2.0 et Kit de développement logiciel (SDK) SmartEye.

Exemples d'analyse faciale d'AFFDEX 2.0. Source : https://arxiv.org/pdf/2202.12059

Ces travaux antérieurs extraient des données de bas niveau Caractéristiques telles que les expressions faciales, la posture de la tête et la direction du regard. Ces caractéristiques sont ensuite traitées pour produire des indicateurs de niveau supérieur, notamment la position du regard sur l'écran, le bâillement et la parole.

Le système identifie quatre types de distraction : regard hors écran; somnolence,; Et écrans sans surveillanceIl ajuste également l'analyse du regard selon que le spectateur se trouve sur un ordinateur de bureau ou un appareil mobile.

Ensembles de données : Gaze

Les auteurs ont utilisé quatre ensembles de données pour alimenter et évaluer le système de détection de l'attention : trois se concentrant individuellement sur le comportement du regard, la parole et le bâillement ; et un quatrième tiré de sessions de tests publicitaires réelles contenant un mélange de types de distraction.

En raison des exigences spécifiques du travail, des ensembles de données personnalisés ont été créés pour chacune de ces catégories. Tous les ensembles de données sélectionnés proviennent d'un référentiel propriétaire contenant des millions de sessions enregistrées de participants visionnant des publicités à domicile ou au travail, via une configuration web et avec un consentement éclairé. Compte tenu des limites de ces accords de consentement, les auteurs précisent que les ensembles de données de ce nouveau travail ne peuvent être rendus publics.

Pour construire le regard Dans l'ensemble de données, les participants devaient suivre un point en mouvement sur différents points de l'écran, y compris ses bords, puis détourner le regard de l'écran dans quatre directions (haut, bas, gauche et droite), la séquence étant répétée trois fois. La relation entre capture et couverture a ainsi été établie :

Captures d'écran montrant le stimulus vidéo du regard sur (a) un ordinateur et (b) un appareil mobile. Les première et troisième images affichent des instructions pour suivre un point en mouvement, tandis que les deuxième et quatrième invitent les participants à détourner le regard de l'écran.

Les segments de points mobiles ont été étiquetés comme attentif, et les segments hors écran comme inattentif, produisant un ensemble de données étiquetées d'exemples positifs et négatifs.

Chaque vidéo durait environ 160 secondes, avec des versions distinctes créées pour les plates-formes de bureau et mobiles, chacune avec des résolutions de 1920 × 1080 et 608 × 1080, respectivement.

Au total, 609 vidéos ont été collectées, dont 322 enregistrées sur ordinateur et 287 enregistrées sur mobile. Les étiquettes ont été appliquées automatiquement en fonction du contenu vidéo et de l'ensemble de données. scission en 158 échantillons d'entraînement et 451 pour les tests.

Ensembles de données : Parler

Dans ce contexte, l’un des critères définissant « l’inattention » est lorsqu’une personne parle pour plus d'une seconde (ce qui pourrait être un commentaire momentané, ou même une toux).

Étant donné que l'environnement contrôlé n'enregistre ni n'analyse l'audio, la parole est déduite par l'observation du mouvement interne des repères faciaux estimés. Par conséquent, pour détecter sans audio, les auteurs ont créé un ensemble de données basé entièrement sur des entrées visuelles, tirées de leur référentiel interne, et divisé en deux parties : la première contenait environ 5,500 4,400 vidéos, chacune étiquetée manuellement par trois annotateurs comme parlant ou non parlant (parmi celles-ci, 1,100 XNUMX ont été utilisées pour la formation et la validation, et XNUMX XNUMX pour les tests).

La deuxième comprenait 16,000 10,500 sessions automatiquement étiquetées en fonction du type de session : 5,500 XNUMX présentaient des participants regardant silencieusement des publicités et XNUMX XNUMX montraient des participants exprimant leurs opinions sur des marques.

Ensembles de données : bâillements

Bien qu'il existe certains ensembles de données « béants », notamment YawDD et Fatigue du conducteur, les auteurs affirment qu'aucun d'entre eux ne convient aux scénarios de test publicitaire, car ils présentent soit simulé bâillements ou contiennent des contorsions faciales qui pourraient être confondues avec peur, ou d’autres actions autres que le bâillement.

Les auteurs ont donc utilisé 735 vidéos de leur collection interne, en choisissant des sessions susceptibles de contenir un bouche bée d'une durée supérieure à une seconde. Chaque vidéo a été étiquetée manuellement par trois annotateurs comme montrant infection or bâillements inactifs. Seulement 2.6 % des images contenaient des bâillements actifs, soulignant le déséquilibre des classes, et l'ensemble de données a été divisé en 670 vidéos de formation et 65 vidéos de test.

Ensembles de données : Distraction

Les distraction L'ensemble de données a également été extrait du référentiel de tests publicitaires des auteurs, où les participants avaient visionné des publicités réelles sans aucune tâche assignée. Au total, 520 sessions (193 sur mobile et 327 sur ordinateur) ont été sélectionnées aléatoirement et étiquetées manuellement par trois annotateurs comme suit : attentif or inattentif.

Comportement inattentif inclus regard hors écran, , somnolence écrans sans surveillanceLes sessions s'étendent sur diverses régions du monde, les enregistrements sur ordinateur étant plus courants, en raison du placement flexible de la webcam.

Modèles attentionnés

Le modèle d'attention proposé traite les caractéristiques visuelles de bas niveau, à savoir les expressions faciales, la pose de la tête et la direction du regard, extraites via l'AFFDEX 2.0 et le SDK SmartEye susmentionnés.

Ceux-ci sont ensuite convertis en indicateurs de haut niveau, chaque distracteur étant traité par un classificateur binaire distinct formé sur son propre ensemble de données pour une optimisation et une évaluation indépendantes.

Schéma du système de surveillance proposé.

Les regard Le modèle détermine si le spectateur regarde l'écran ou non, à l'aide de coordonnées de regard normalisées, avec un calibrage distinct pour les ordinateurs de bureau et les appareils mobiles. Ce processus est facilité par une approche linéaire. Soutenir la machine vectorielle (SVM), formé sur des caractéristiques spatiales et temporelles, qui intègre un fenêtre de mémoire pour lisser les changements rapides de regard.

Détecter parler sans audioLe système utilisait des zones buccales recadrées et un CNN 3D entraîné sur des segments vidéo conversationnels et non conversationnels. Les étiquettes étaient attribuées en fonction du type de session, le lissage temporel réduisant les faux positifs pouvant résulter de brefs mouvements de la bouche.

Béant a été détecté à l'aide de recadrages d'images du visage entier, pour capturer un mouvement facial plus large, avec un 3D-CNN formé sur des images étiquetées manuellement (bien que la tâche ait été compliquée par la faible fréquence du bâillement dans la visualisation naturelle et par sa similitude avec d'autres expressions).

Abandon d'écran a été identifié par l'absence de visage ou de posture extrême de la tête, avec des prédictions faites par un arbre de décision.

Statut d'attention final a été déterminé à l'aide d'une règle fixe : si un module détectait une inattention, le spectateur était marqué inattentif – une approche privilégiant la sensibilité et adaptée séparément aux contextes de bureau et mobiles.

Tests

Comme mentionné précédemment, les tests suivent une méthode ablative, où les composants sont retirés et l’effet sur le résultat noté.

Différentes catégories d’inattention perçue identifiées dans l’étude.

Le modèle de regard a identifié le comportement hors écran à travers trois étapes clés : normalisation des estimations brutes du regard, réglage fin de la sortie et estimation de la taille de l'écran pour les appareils de bureau.

Pour comprendre l'importance de chaque composant, les auteurs les ont analysés individuellement et ont évalué les performances de 226 vidéos pour ordinateur et 225 vidéos pour mobile, tirées de deux ensembles de données. Résultats, mesurés par G-moyenne et F1 les scores sont présentés ci-dessous :

Résultats indiquant les performances du modèle de regard complet, ainsi que les versions avec des étapes de traitement individuelles supprimées.

Dans tous les cas, les performances ont diminué lorsqu'une étape était omise. La normalisation s'est avérée particulièrement utile sur les ordinateurs de bureau, où le positionnement de la caméra varie davantage que sur les appareils mobiles.

L'étude a également évalué la manière dont les caractéristiques visuelles prédisaient l'orientation de la caméra mobile : l'emplacement du visage, la pose de la tête et le regard ont obtenu des scores de 0.75, 0.74 et 0.60, tandis que leur combinaison atteignait 0.91, soulignant - selon les auteurs - l'avantage d'intégrer plusieurs indices.

Les modèle, formé sur la distance verticale des lèvres, a obtenu un ROC-AUC de 0.97 sur l'ensemble de tests étiqueté manuellement et de 0.96 sur l'ensemble de données étiqueté automatiquement plus grand, indiquant des performances cohérentes dans les deux cas.

Les bâillement Le modèle a atteint un ROC-AUC de 96.6 pour cent en utilisant uniquement le rapport d'aspect de la bouche, qui s'est amélioré à 97.5 pour cent lorsqu'il est combiné avec unité d'action prévisions de l'AFFDEX 2.0.

Le modèle d'écran sans surveillance a classé les moments comme inattentif Lorsque ni AFFDEX 2.0 ni SmartEye n'ont détecté de visage pendant plus d'une seconde. Pour évaluer la validité de cette hypothèse, les auteurs ont annoté manuellement tous ces événements sans visage dans le vraie distraction Ensemble de données identifiant la cause sous-jacente de chaque activation. Les cas ambigus (tels qu'une obstruction de la caméra ou une distorsion vidéo) ont été exclus de l'analyse.

Comme le montre le tableau des résultats ci-dessous, seulement 27 % des activations « sans visage » étaient dues au fait que les utilisateurs quittaient physiquement l'écran.

Diverses raisons ont été avancées pour expliquer pourquoi un visage n'a pas été retrouvé, dans certains cas.

Le papier déclare:

« Bien que les écrans sans surveillance ne constituent que 27 % des cas déclenchant le signal d'absence de visage, celui-ci a été activé pour d'autres raisons indiquant une inattention, comme le fait que les participants regardaient hors de l'écran avec un angle extrême, faisaient des mouvements excessifs ou cachaient leur visage de manière significative avec un objet/une main. »

Dans le dernier des tests quantitatifs, les auteurs ont évalué comment l’ajout progressif de différents signaux de distraction – le regard hors écran (via le regard et la posture de la tête), la somnolence, la parole et les écrans sans surveillance – affectait la performance globale de leur modèle d’attention.

Les tests ont été effectués sur deux ensembles de données : vraie distraction ensemble de données et un sous-ensemble de test du regard ensemble de données. Les scores G-mean et F1 ont été utilisés pour mesurer les performances (bien que la somnolence et la parole aient été exclues de l'analyse de l'ensemble de données du regard, en raison de leur pertinence limitée dans ce contexte).

Comme indiqué ci-dessous, la détection de l’attention s’est améliorée de manière constante à mesure que davantage de types de distraction ont été ajoutés, avec regard hors écran, le distracteur le plus courant, fournissant la base de référence la plus solide.

L'effet de l'ajout de divers signaux de distraction à l'architecture.

Parmi ces résultats, l'article indique :

« D’après les résultats, nous pouvons d’abord conclure que l’intégration de tous les signaux de distraction contribue à une meilleure détection de l’attention.

Deuxièmement, l'amélioration de la détection de l'attention est constante sur les ordinateurs de bureau et les appareils mobiles. Troisièmement, les sessions mobiles de l'ensemble de données réelles montrent des mouvements de tête importants lors du détournement du regard, facilement détectables, ce qui améliore les performances des appareils mobiles par rapport aux ordinateurs de bureau. Quatrièmement, l'ajout du signal de somnolence présente une amélioration relativement légère par rapport aux autres signaux, car il est généralement rare.

« Enfin, le signal d'écran sans surveillance présente une amélioration relativement plus importante sur les appareils mobiles par rapport aux ordinateurs de bureau, car les appareils mobiles peuvent facilement être laissés sans surveillance. »

Les auteurs ont également comparé leur modèle à AFFDEX 1.0, un système antérieur utilisé dans les tests publicitaires – et même la détection du regard basée sur la tête du modèle actuel a surpassé AFFDEX 1.0 sur les deux types d'appareils :

« Cette amélioration résulte de l'intégration des mouvements de la tête dans les directions de lacet et de tangage, ainsi que de la normalisation de la posture de la tête pour tenir compte des changements mineurs. Les mouvements prononcés de la tête dans les données mobiles réelles ont permis à notre modèle de tête d'atteindre des performances similaires à celles d'AFFDEX 1.0. »

Les auteurs concluent l’article par une série de tests qualitatifs (peut-être assez superficiels), présentés ci-dessous.

Exemples de résultats du modèle d'attention sur les ordinateurs de bureau et les appareils mobiles, chaque ligne présentant des exemples de vrais et de faux positifs pour différents types de distraction.

Les auteurs déclarent:

« Les résultats indiquent que notre modèle détecte efficacement divers distracteurs dans des environnements non contrôlés. Cependant, il peut parfois produire des faux positifs dans certains cas extrêmes, comme une forte inclinaison de la tête tout en maintenant le regard fixé sur l'écran, certaines occlusions de la bouche, des yeux excessivement flous ou des images faciales fortement assombries. »

Conclusion

Si les résultats représentent une avancée mesurée mais significative par rapport aux travaux antérieurs, la valeur ajoutée de l'étude réside dans l'aperçu qu'elle offre du désir persistant d'accéder à l'état intérieur du spectateur. Bien que les données aient été recueillies avec le consentement du spectateur, la méthodologie ouvre la voie à des cadres futurs qui pourraient dépasser le cadre structuré des études de marché.

Cette conclusion plutôt paranoïaque n’est renforcée que par la nature cloîtrée, contrainte et jalousement protégée de ce domaine particulier de recherche.

* Ma conversion des citations en ligne des auteurs en hyperliens.

Première publication le mercredi 9 avril 2025