Procurando por ‘Corujas e Lagartos’ no Público de um Anunciante

Desde que o setor de publicidade online é estimado em ter gasto $740,3 bilhões de dólares em 2023, é fácil entender por que as empresas de publicidade investem recursos consideráveis nessa particular área de pesquisa de visão computacional.

Embora seja uma indústria fechada e protegida, ela ocasionalmente publica estudos que sugerem trabalhos mais avançados e proprietários em reconhecimento facial e de olhar – incluindo reconhecimento de idade, central para estatísticas de análise demográfica:

Estimar a idade em um contexto de publicidade in-the-wild é de interesse para anunciantes que podem estar visando uma demografia específica. Neste exemplo experimental de estimativa automática de idade facial, a idade do performer Bob Dylan é rastreada ao longo dos anos. Fonte: https://arxiv.org/pdf/1906.03625

Esses estudos, que raramente aparecem em repositórios públicos como o Arxiv, usam participantes recrutados de forma legítima como base para análise impulsionada por IA que visa determinar até que ponto, e de que forma, o espectador está engajado com um anúncio.

O Histograma de Oriented Gradients (HoG) do Dlib é frequentemente usado em sistemas de estimativa facial. Fonte: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Instinto Animal

Nesse sentido, naturalmente, a indústria de publicidade está interessada em determinar falsos positivos (ocasiões em que um sistema analítico interpreta mal as ações de um sujeito) e em estabelecer critérios claros para quando a pessoa que assiste aos comerciais não está totalmente engajada com o conteúdo.

Quanto à publicidade baseada em tela, os estudos tendem a se concentrar em dois problemas em dois ambientes. Os ambientes são ‘desktop’ ou ‘móvel’, cada um com características particulares que precisam de soluções de rastreamento personalizadas; e os problemas – do ponto de vista do anunciante – são representados por comportamento de coruja e lagarto – a tendência dos espectadores de não prestar atenção total a um anúncio que está diante deles.

Exemplos de comportamento de ‘Coruja’ e ‘Lagarto’ em um sujeito de um projeto de pesquisa de publicidade. Fonte: https://arxiv.org/pdf/1508.04028

Se você está olhando para longe do anúncio pretendido com a cabeça toda, isso é ‘comportamento de coruja’; se a pose da cabeça é estática, mas os olhos estão vagando para longe da tela, isso é ‘comportamento de lagarto’. Em termos de análise e teste de novos anúncios em condições controladas, essas são ações essenciais para um sistema capturar.

Um novo artigo da aquisição da Affectiva pela SmartEye aborda essas questões, oferecendo uma arquitetura que aproveita vários frameworks existentes para fornecer um conjunto de recursos combinados e concatenados em todas as condições e reações necessárias – e para ser capaz de dizer se um espectador está entediado, engajado ou de alguma forma remoto do conteúdo que o anunciante deseja que ele assista.

Exemplos de verdadeiros e falsos positivos detectados pelo novo sistema de atenção para vários sinais de distração, mostrados separadamente para dispositivos de desktop e móvel. Fonte: https://arxiv.org/pdf/2504.06237

Os autores afirmam*:

‘Limitada pesquisa se aprofundou em monitorar a atenção durante anúncios online. Embora esses estudos se concentrassem em estimar a pose da cabeça ou a direção do olhar para identificar instâncias de olhar desviado, eles desprezam parâmetros críticos, como tipo de dispositivo (desktop ou móvel), posicionamento da câmera em relação à tela e tamanho da tela. Esses fatores influenciam significativamente a detecção de atenção. ‘

‘Neste artigo, propomos uma arquitetura para detecção de atenção que abrange a detecção de vários distraídos, incluindo tanto o comportamento de coruja e lagarto de olhar para fora da tela, fala, sonolência (por meio de bocejos e fechamento prolongado dos olhos) e tela desatendida. ‘

‘Ao contrário das abordagens anteriores, nosso método integra recursos específicos do dispositivo, como tipo de dispositivo, posicionamento da câmera, tamanho da tela (para desktops) e orientação da câmera (para dispositivos móveis), com a estimativa bruta do olhar para melhorar a precisão da detecção de atenção.’

O novo trabalho é intitulado Monitorando a Atenção do Espectador Durante Anúncios Online, e vem de quatro pesquisadores da Affectiva.

Método e Dados

Em grande parte devido à natureza secreta e de código fechado desses sistemas, o novo artigo não compara a abordagem dos autores diretamente com rivais, mas apresenta seus resultados exclusivamente como estudos de ablação; nem o artigo adere, em geral, ao formato usual da literatura de Visão Computacional. Portanto, vamos examinar a pesquisa como ela é apresentada.

Os autores enfatizam que apenas um número limitado de estudos abordou a detecção de atenção especificamente no contexto de anúncios online. No AFFDEX SDK, que oferece reconhecimento facial em tempo real, a atenção é inferida apenas pela pose da cabeça, com participantes rotulados como inatentos se o ângulo da cabeça ultrapassar um limiar definido.

Um exemplo do AFFDEX SDK, um sistema da Affectiva que se baseia na pose da cabeça como indicador de atenção. Fonte: https://www.youtube.com/watch?v=c2CWb5jHmbY

No estudo de 2019 Medição Automática de Atenção Visual ao Conteúdo de Vídeo Usando Aprendizado Profundo, um conjunto de dados de cerca de 28.000 participantes foi anotado para vários comportamentos inatentos, incluindo olhar para longe, fechar os olhos ou engajar-se em atividades não relacionadas, e um modelo CNN-LSTM foi treinado para detectar atenção a partir da aparência facial ao longo do tempo.

Do artigo de 2019, um exemplo ilustrando estados de atenção previstos para um espectador assistindo a conteúdo de vídeo. Fonte: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

No entanto, os autores observam que esses esforços anteriores não levaram em conta fatores específicos do dispositivo, como se o participante estava usando um desktop ou dispositivo móvel; nem consideraram o tamanho da tela ou o posicionamento da câmera. Além disso, o sistema AFFDEX se concentra apenas em identificar a desviação do olhar e omite outras fontes de distração, enquanto o trabalho de 2019 tenta detectar um conjunto mais amplo de comportamentos – mas o uso de uma única rede neural convolucional (CNN) rasa pode, segundo o artigo, ter sido inadequado para essa tarefa.

Os autores observam que algumas das pesquisas mais populares nessa linha não são otimizadas para testes de anúncios, que têm necessidades diferentes em comparação com domínios como direção ou educação – onde o posicionamento e a calibração da câmera são geralmente fixados com antecedência, em vez de confiar em configurações não calibradas, e operam dentro do alcance limitado de dispositivos de desktop e móvel.

Portanto, eles desenvolveram uma arquitetura para detectar a atenção do espectador durante anúncios online, aproveitando dois kits de ferramentas comerciais: AFFDEX 2.0 e SmartEye SDK.

Exemplos de análise facial do AFFDEX 2.0. Fonte: https://arxiv.org/pdf/2202.12059

Esses trabalhos anteriores extraem recursos de baixo nível, como expressões faciais, pose da cabeça e direção do olhar. Esses recursos são então processados para produzir indicadores de alto nível, incluindo a posição do olhar na tela; bocejos; e fala.

O sistema identifica quatro tipos de distração: olhar para fora da tela; sonolência; fala; e tela desatendida. Ele também ajusta a análise do olhar de acordo com se o espectador está em um desktop ou dispositivo móvel.

Conjuntos de Dados: Olhar

Os autores usaram quatro conjuntos de dados para alimentar e avaliar o sistema de detecção de atenção: três se concentrando individualmente no comportamento do olhar, fala e bocejo; e um quarto derivado de sessões de teste de anúncios reais contendo uma mistura de tipos de distração.

Devido aos requisitos específicos do trabalho, conjuntos de dados personalizados foram criados para cada uma dessas categorias. Todos os conjuntos de dados curados foram extraídos de um repositório proprietário que contém milhões de sessões gravadas de participantes assistindo anúncios em ambientes de casa ou trabalho, usando um conjunto baseado na web, com consentimento informado – e devido às limitações desses acordos de consentimento, os autores afirmam que os conjuntos de dados para o novo trabalho não podem ser tornados publicamente disponíveis.

Para construir o conjunto de dados de olhar, os participantes foram solicitados a seguir um ponto se movendo em vários pontos da tela, incluindo suas bordas, e então a olhar para longe da tela em quatro direções (para cima, para baixo, para a esquerda e para a direita) com a sequência repetida três vezes. Dessa forma, a relação entre captura e cobertura foi estabelecida:

Capturas de tela mostrando o estímulo de vídeo de olhar em (a) desktop e (b) dispositivos móveis. Os primeiros e terceiros quadros exibem instruções para seguir um ponto se movendo, enquanto os segundos e quartos prompts os participantes a olhar para longe da tela.

Os segmentos do ponto se movendo foram rotulados como atentos, e os segmentos fora da tela como inatentos, produzindo um conjunto de dados rotulado de ambos os exemplos positivos e negativos.

Cada vídeo durou aproximadamente 160 segundos, com versões separadas criadas para plataformas de desktop e móvel, cada uma com resoluções de 1920×1080 e 608×1080, respectivamente.

Um total de 609 vídeos foi coletado, compreendendo 322 gravações de desktop e 287 gravações de móvel. Rótulos foram aplicados automaticamente com base no conteúdo do vídeo, e o conjunto de dados dividido em 158 amostras de treinamento e 451 para teste.

Conjuntos de Dados: Fala

Nesse contexto, um dos critérios que definem ‘inatenção’ é quando uma pessoa fala por mais de um segundo (o que poderia ser um comentário momentâneo ou até mesmo uma tosse).

Como o ambiente controlado não grava ou analisa áudio, a fala é inferida observando o movimento interno de marcos faciais estimados. Portanto, para detectar fala sem áudio, os autores criaram um conjunto de dados baseado inteiramente em entrada visual, extraído de seu repositório interno, e dividido em duas partes: a primeira contém aproximadamente 5.500 vídeos, cada um rotulado manualmente por três anotadores como falando ou não falando (desses, 4.400 foram usados para treinamento e validação, e 1.100 para teste).

A segunda parte compreende 16.000 sessões rotuladas automaticamente com base no tipo de sessão: 10.500 recursos de participantes assistindo anúncios em silêncio, e 5.500 mostram participantes expressando opiniões sobre marcas.

Conjuntos de Dados: Bocejo

Embora alguns conjuntos de dados de bocejo existam, incluindo YawDD e Driver Fatigue, os autores afirmam que nenhum é adequado para cenários de teste de anúncios, pois eles ou apresentam bocejos simulados ou contêm contorções faciais que poderiam ser confundidas com medo ou outras ações não relacionadas ao bocejo.

Portanto, os autores usaram 735 vídeos de sua coleção interna, escolhendo sessões que provavelmente conteriam um abertura da mandíbula durando mais de um segundo. Cada vídeo foi rotulado manualmente por três anotadores como mostrando bocejo ativo ou bocejo inativo. Apenas 2,6% dos quadros continham bocejos ativos, realçando o desequilíbrio de classes, e o conjunto de dados foi dividido em 670 vídeos de treinamento e 65 para teste.

Conjuntos de Dados: Distração

O conjunto de dados de distração também foi extraído do repositório de teste de anúncios dos autores, onde os participantes assistiram a anúncios reais sem tarefas designadas. Um total de 520 sessões (193 em ambientes móveis e 327 em ambientes de desktop) foi selecionado aleatoriamente e rotulado manualmente por três anotadores como atentos ou inatentos.

Comportamentos inatentos incluíam olhar para fora da tela, fala, sonolência e tela desatendida. As sessões abrangem regiões diversas em todo o mundo, com gravações de desktop mais comuns devido ao posicionamento flexível da webcam.

Modelos de Atenção

O modelo de atenção proposto processa recursos visuais de baixo nível, nomeadamente expressões faciais; pose da cabeça; e direção do olhar – extraídos por meio dos mencionados AFFDEX 2.0 e SmartEye SDK.

Esses são então convertidos em indicadores de alto nível, com cada distraído tratado por um classificador binário separado treinado em seu próprio conjunto de dados para otimização e avaliação independentes.

Esquema para o sistema de monitoramento proposto.

O modelo de olhar determina se o espectador está olhando para ou longe da tela usando coordenadas de olhar normalizadas, com calibração separada para dispositivos de desktop e móvel. Auxiliando esse processo está uma máquina de vetores de suporte (SVM) linear, treinada em recursos espaciais e temporais, que incorpora uma janela de memória para suavizar mudanças rápidas de olhar.

Para detectar fala sem áudio, o sistema usou regiões da boca recortadas e uma 3D-CNN treinada em segmentos de vídeo conversacionais e não conversacionais. Rótulos foram atribuídos com base no tipo de sessão, com suavização temporal reduzindo os falsos positivos que podem resultar de movimentos breves da boca.

Bocejo foi detectado usando recortes de imagem de face completa, para capturar movimento facial mais amplo, com uma 3D-CNN treinada em quadros manualmente rotulados (embora a tarefa tenha sido complicada pela baixa frequência do bocejo em visualização natural e por sua semelhança com outras expressões).

Tela desatendida foi identificada pela ausência de uma face ou pose de cabeça extrema, com previsões feitas por uma árvore de decisão.

Estado de atenção final foi determinado usando uma regra fixa: se qualquer módulo detectasse inatenção, o espectador era marcado como inatento – uma abordagem que prioriza sensibilidade, e ajustada separadamente para contextos de desktop e móvel.

Testes

Como mencionado anteriormente, os testes seguem um método ablativo, onde componentes são removidos e o efeito no resultado é observado.

Diferentes categorias de inatenção percebida identificadas no estudo.

O modelo de olhar identificou comportamento fora da tela por meio de três etapas principais: normalizando as estimativas brutas do olhar, ajustando a saída e estimando o tamanho da tela para dispositivos de desktop.

Para entender a importância de cada componente, os autores removeram-nos individualmente e avaliaram o desempenho em 226 vídeos de desktop e 225 vídeos de móvel extraídos de dois conjuntos de dados. Os resultados, medidos por G-mean e F1 scores, são mostrados abaixo:

Resultados indicando o desempenho do modelo de olhar completo, ao lado de versões com etapas de processamento individuais removidas.

Em todos os casos, o desempenho declinou quando uma etapa foi omitida. A normalização provou ser especialmente valiosa em desktops, onde o posicionamento da câmera varia mais do que em dispositivos móveis.

O estudo também avaliou como os recursos visuais previram a orientação da câmera móvel: localização da face, pose da cabeça e direção do olhar obtiveram 0,75, 0,74 e 0,60, enquanto a combinação deles alcançou 0,91, destacando – segundo os autores – a vantagem de integrar várias pistas.

O modelo de fala, treinado na distância vertical dos lábios, alcançou uma ROC-AUC de 0,97 no conjunto de teste rotulado manualmente, e 0,96 no conjunto de dados maior rotulado automaticamente, indicando desempenho consistente em ambos.

O modelo de bocejo alcançou uma ROC-AUC de 96,6% usando apenas a razão de aspecto da boca, o que melhorou para 97,5% quando combinado com previsões de unidades de ação do AFFDEX 2.0.

O modelo de tela desatendida classificou momentos como inatentos quando tanto o AFFDEX 2.0 quanto o SmartEye falharam em detectar uma face por mais de um segundo. Para avaliar a validade disso, os autores anotaram manualmente todos os eventos de “sem face” no conjunto de dados de distração real, identificando a causa subjacente de cada ativação. Casos ambíguos (como obstrução da câmera ou distorção de vídeo) foram excluídos da análise.

Como mostrado na tabela de resultados abaixo, apenas 27% das ativações de “sem face” foram devidas a usuários que fisicamente deixaram a tela.

Razões diversas obtidas para não encontrar uma face, em certas instâncias.

O artigo afirma:

‘Apesar de telas desatendidas constituírem apenas 27% das instâncias que acionam o sinal de sem face, ele foi acionado por outras razões indicativas de inatenção, como participantes olhando para fora da tela com um ângulo extremo, fazendo movimento excessivo ou ocultando significativamente a face com um objeto/mão.’

No último dos testes quantitativos, os autores avaliaram como a adição progressiva de diferentes sinais de distração – olhar para fora da tela (por meio do olhar e da pose da cabeça), sonolência, fala e telas desatendidas – afetou o desempenho geral do modelo de atenção.

Os testes foram realizados em dois conjuntos de dados: o conjunto de dados de distração real e um subconjunto de teste do conjunto de dados de olhar. As pontuações G-mean e F1 foram usadas para medir o desempenho (embora sonolência e fala tenham sido excluídas da análise do conjunto de dados de olhar, devido à sua limitada relevância nesse contexto).

Como mostrado abaixo, a detecção de atenção melhorou consistentemente à medida que mais tipos de distração foram adicionados, com olhar para fora da tela, o distraído mais comum, fornecendo a base mais forte.

O efeito de adicionar diferentes sinais de distração à arquitetura.

Sobre esses resultados, o artigo afirma:

‘Podemos concluir, em primeiro lugar, que a integração de todos os sinais de distração contribui para uma detecção de atenção aprimorada.

‘Em segundo lugar, a melhoria na detecção de atenção é consistente em ambos os dispositivos de desktop e móvel. Terceiro, as sessões móveis no conjunto de dados real mostram movimentos significativos de cabeça ao olhar para longe, que são facilmente detectados, levando a um desempenho melhor para dispositivos móveis em comparação com desktops. Quarto, adicionar o sinal de sonolência tem uma melhoria relativamente leve em comparação com outros sinais, pois é raro acontecer. ‘

‘Finalmente, o sinal de tela desatendida tem uma melhoria relativamente maior em dispositivos móveis em comparação com desktops, pois dispositivos móveis podem ser facilmente deixados desatendidos.’

Os autores também compararam seu modelo com o AFFDEX 1.0, um sistema anterior usado em testes de anúncios – e mesmo o modelo atual de detecção de olhar baseado na cabeça superou o AFFDEX 1.0 em ambos os tipos de dispositivos:

‘Essa melhoria é resultado da incorporação de movimentos de cabeça em ambas as direções de yaw e pitch, bem como da normalização da pose da cabeça para contabilizar mudanças menores. Os movimentos significativos de cabeça no conjunto de dados móvel real fizeram com que nosso modelo de cabeça se saísse similarmente ao AFFDEX 1.0.’

Os autores fecham o artigo com uma rodada de teste qualitativo (talvez um pouco perfunctória), mostrada abaixo.

Saídas de exemplo do modelo de atenção em dispositivos de desktop e móvel, com cada linha apresentando exemplos de verdadeiros e falsos positivos para diferentes tipos de distração.

Os autores afirmam:

‘Os resultados indicam que nosso modelo detecta efetivamente vários distraídos em ambientes não controlados. No entanto, ele pode ocasionalmente produzir falsos positivos em certos casos de borda, como inclinação severa da cabeça enquanto mantém o olhar na tela, algumas oclusões da boca, olhos excessivamente turvos ou imagens faciais fortemente obscurecidas. ‘

Conclusão

Embora os resultados representem um avanço medido, mas significativo, sobre trabalhos anteriores, o valor mais profundo do estudo reside no vislumbre que oferece sobre a persistente busca por acessar o estado interno do espectador. Embora os dados tenham sido coletados com consentimento, a metodologia aponta para futuros quadros que poderiam estender-se além de configurações de pesquisa de mercado estruturadas.

Essa conclusão um tanto paranoica é reforçada pela natureza fechada, restrita e protegida com ciúme dessa particular linha de pesquisa.

* Minha conversão das citações em linha dos autores em links.

Publicado pela primeira vez na quarta-feira, 9 de abril de 2025