A Inteligência Artificial Ajuda Falantes Nervosos a ‘Ler o Ambiente’ Durante Videoconferências

Em 2013, uma pesquisa sobre fobias comuns determinou que a perspectiva de falar em público era pior do que a perspectiva da morte para a maioria dos respondentes. A síndrome é conhecida como glossofobia.

A migração impulsionada pela COVID de reuniões “presenciais” para conferências online em plataformas como Zoom e Google Spaces, surpreendentemente, não melhorou a situação. Quando a reunião contém um grande número de participantes, nossas habilidades naturais de avaliação de ameaças são prejudicadas pelas linhas e ícones de baixa resolução dos participantes e pela dificuldade em ler sinais visuais sutis de expressão facial e linguagem corporal. O Skype, por exemplo, foi considerado uma plataforma ruim para transmitir pistas não verbais.

Os efeitos no desempenho da fala pública da percepção de interesse e responsividade são bem documentados agora e intuitivamente óbvios para a maioria de nós. A resposta opaca do público pode causar hesitação nos falantes e fazê-los recorrer a discurso de enchimento, sem saber se seus argumentos estão encontrando concordância, desprezo ou desinteresse, muitas vezes tornando a experiência desconfortável tanto para o falante quanto para os ouvintes.

Pressionados pelo inesperado deslocamento em direção a videoconferências online inspirado pelas restrições e precauções da COVID, o problema é, sem dúvida, piorando, e vários esquemas de feedback de audiência foram sugeridos nas comunidades de visão computacional e pesquisa de afeto nos últimos dois anos.

Soluções Focadas em Hardware

Muitos desses, no entanto, envolvem equipamentos adicionais ou software complexo que podem levantar questões de privacidade ou logísticas – abordagens de alto custo ou de recursos limitados que precedem a pandemia. Em 2001, o MIT propôs o Galvactivator, um dispositivo portado na mão que infere o estado emocional do participante da audiência, testado durante um simpósio de um dia.

Do ano 2001, o Galvactivator do MIT, que media a resposta de condutividade da pele em uma tentativa de entender o sentimento e o engajamento da audiência. Fonte: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Muita energia acadêmica também foi dedicada à possível implantação de ‘clickers’ como um Sistema de Resposta da Audiência (ARS), uma medida para aumentar a participação ativa das audiências (o que automaticamente aumenta o engajamento, pois força o visualizador a assumir o papel de um nó de feedback ativo), mas que também foi imaginado como um meio de encorajamento do falante.

Outras tentativas de ‘conectar’ o falante e a audiência incluíram monitoramento de frequência cardíaca, o uso de equipamentos complexos portados no corpo para aproveitar a eletroencefalografia, ‘medidores de aplausos’, reconhecimento de emoção baseado em visão computacional para trabalhadores de mesa, e o uso de emoticons enviados pela audiência durante a oração do falante.

Do ano 2017, o EngageMeter, um projeto de pesquisa acadêmica conjunto da LMU Munique e da Universidade de Stuttgart. Fonte: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Como uma sub-busca da área lucrativa de análise de audiência, o setor privado tomou um interesse particular em estimação e rastreamento de olhar – sistemas onde cada membro da audiência (que pode, por sua vez, eventualmente ter que falar), é submetido a rastreamento ocular como um índice de engajamento e aprovação.

Todos esses métodos são bastante de alta fricção. Muitos deles exigem hardware personalizado, ambientes de laboratório, frameworks de software especializados e personalizados, e assinatura de APIs comerciais caras – ou qualquer combinação desses fatores restritivos.

Portanto, o desenvolvimento de sistemas minimalistas baseados em pouco mais do que ferramentas comuns para videoconferência se tornou de interesse nos últimos 18 meses.

Relatando a Aprovação da Audiência Discretamente

Com esse objetivo, uma nova colaboração de pesquisa entre a Universidade de Tóquio e a Universidade Carnegie Mellon oferece um sistema novo que pode se conectar a ferramentas padrão de videoconferência (como o Zoom) usando apenas um site habilitado para webcam em que o software de estimação de olhar e pose leve está em execução. Dessa forma, até mesmo a necessidade de plugins de navegador local é evitada.

Os acenos e a atenção estimada do usuário são traduzidos em dados representativos que são visualizados de volta ao falante, permitindo um ‘teste de litmus’ ao vivo da extensão com que o conteúdo está engajando a audiência – e também, pelo menos, um indicador vago de períodos de discurso onde o falante pode estar perdendo o interesse da audiência.

Com CalmResponses, a atenção e o aceno do usuário são adicionados a um pool de feedback da audiência e traduzidos em uma representação visual que pode beneficiar o falante. Veja o vídeo incorporado no final do artigo para mais detalhes e exemplos. Fonte: https://www.youtube.com/watch?v=J_PhB4FCzk0

Em muitas situações acadêmicas, como aulas online, os alunos podem ser inteiramente invisíveis para o falante, desde que não tenham ativado suas câmeras devido à consciência sobre seu ambiente ou aparência atual. CalmResponses pode abordar esse obstáculo espinhoso para o feedback do falante, relatando o que sabe sobre como o falante está olhando para o conteúdo, e se está acenando, sem necessidade de o visualizador ativar sua câmera.

O artigo é intitulado CalmResponses: Exibindo Reações Coletivas da Audiência em Comunicação Remota, e é um trabalho conjunto entre dois pesquisadores da UoT e um da Carnegie Mellon.

Os autores oferecem uma demonstração ao vivo na web e lançaram o código-fonte no GitHub.

A Estrutura CalmResponses

O interesse de CalmResponses em acenos, em vez de outras disposições possíveis da cabeça, é baseado em pesquisas (algumas delas datando da era de Darwin) que indicam que mais de 80% de todos os movimentos da cabeça dos ouvintes são compostos por acenos (mesmo quando estão expressando desacordo). Ao mesmo tempo, os movimentos do olhar foram mostrados em vários estudos para ser um índice confiável de interesse ou engajamento.

CalmResponses é implementado com HTML, CSS e JavaScript, e compreende três subsistemas: um cliente de audiência, um cliente de falante e um servidor. O cliente de audiência passa dados de olhar ou movimento da cabeça do usuário da webcam via WebSockets sobre a plataforma de aplicativos em nuvem Heroku.

Aceno da audiência visualizado à direita em um movimento animado sob CalmResponses. Nesse caso, a visualização do movimento está disponível não apenas para o falante, mas para toda a audiência. Fonte: https://arxiv.org/pdf/2204.02308.pdf

Para a seção de rastreamento de olhar do projeto, os pesquisadores usaram WebGazer, um framework de rastreamento de olhar baseado em JavaScript leve e que pode ser executado com baixa latência diretamente a partir de um site (veja o link acima para a implementação baseada na web dos pesquisadores).

Como a necessidade de implementação simples e reconhecimento de resposta agregada bruta supera a necessidade de alta precisão na estimação de olhar e pose, os dados de pose de entrada são suavizados de acordo com os valores médios antes de serem considerados para a estimativa de resposta geral.

A ação de aceno é avaliada por meio da biblioteca JavaScript clmtrackr, que ajusta modelos faciais a faces detectadas em imagens ou vídeos por meio de deslocamento de referência regularizado. Para fins de economia e baixa latência, apenas a marca detectada para o nariz é ativamente monitorada na implementação dos autores, pois isso é suficiente para rastrear ações de aceno.

O movimento da posição da ponta do nariz do usuário cria um rastro que contribui para o pool de resposta da audiência relacionado ao aceno, visualizado de forma agregada para todos os participantes.

Mapa de Calor

Enquanto a atividade de aceno é representada por pontos dinâmicos em movimento (veja imagens acima e vídeo no final), a atenção visual é relatada em termos de um mapa de calor que mostra ao falante e à audiência onde o foco geral de atenção está localizado na tela de apresentação compartilhada ou no ambiente de videoconferência.

Todos os participantes podem ver onde a atenção geral do usuário está focada. O artigo não menciona se essa funcionalidade está disponível quando o usuário pode ver uma ‘galeria’ de outros participantes, o que poderia revelar um foco enganoso em um participante específico, por várias razões.

Testes

Dois ambientes de teste foram formulados para CalmResponses na forma de um estudo de ablação tácito, usando três conjuntos variados de circunstâncias: no ‘Condicionamento B’ (base), os autores replicaram uma aula online típica, onde a maioria dos alunos mantém suas câmeras web desligadas, e o falante não tem a capacidade de ver os rostos da audiência; no ‘Condicionamento CR-E’, o falante podia ver o feedback de olhar (mapas de calor); no ‘Condicionamento CR-N’, o falante podia ver tanto o aceno quanto a atividade de olhar da audiência.

O primeiro cenário experimental consistiu no condicionamento B e no condicionamento CR-E; o segundo consistiu no condicionamento B e no condicionamento CR-N. O feedback foi obtido de ambos os falantes e da audiência.

Em cada experimento, três fatores foram avaliados: avaliação objetiva e subjetiva da apresentação (incluindo um questionário de auto-relato do falante sobre como a apresentação foi); o número de eventos de ‘discurso de enchimento’, indicativo de insegurança e hesitação momentânea; e comentários qualitativos. Esses critérios são comuns estimadores de qualidade da fala e ansiedade do falante.

O pool de teste consistia em 38 pessoas com idades entre 19 e 44 anos, composto por 29 homens e nove mulheres com uma idade média de 24,7 anos, todos japoneses ou chineses e fluentes em japonês. Eles foram divididos aleatoriamente em cinco grupos de 6 a 7 participantes, e nenhum dos sujeitos se conhecia pessoalmente.

Os testes foram realizados no Zoom, com cinco falantes dando apresentações no primeiro experimento e seis no segundo.

Condições de enchimento marcadas como caixas laranja. Em geral, o conteúdo de enchimento caiu em proporção razoável ao aumento do feedback da audiência do sistema.

Os pesquisadores observam que o enchimento de um falante diminuiu notavelmente, e que no ‘Condicionamento CR-N’, o falante raramente pronunciou frases de enchimento. Veja o artigo para os resultados muito detalhados e granulares relatados; no entanto, os resultados mais marcantes foram na avaliação subjetiva dos falantes e participantes da audiência.

Comentários da audiência incluíram:

‘Eu senti que estava envolvido nas apresentações’, [AN2], ‘Eu não sabia se as falas dos falantes foram melhoradas, mas senti um senso de unidade com os movimentos de cabeça dos outros’. [AN6]

‘Eu não sabia se as falas dos falantes foram melhoradas, mas senti um senso de unidade com os movimentos de cabeça dos outros’.

Os pesquisadores observam que o sistema introduz um novo tipo de pausa artificial na apresentação do falante, pois o falante está inclinado a se referir ao sistema visual para avaliar o feedback da audiência antes de prosseguir.

Eles também observam um tipo de ‘efeito de jaleco branco’, difícil de evitar em circunstâncias experimentais, onde alguns participantes se sentiram constrangidos pelas possíveis implicações de segurança de serem monitorados por dados biométricos.

Conclusão

Uma vantagem notável em um sistema como este é que todas as tecnologias auxiliares não padrão necessárias para essa abordagem desaparecem completamente após o uso. Não há plugins de navegador residuais para serem desinstalados, ou para levantar dúvidas na mente dos participantes sobre se devem permanecer em seus respectivos sistemas; e não há necessidade de orientar os usuários pelo processo de instalação (embora o framework baseado na web exija um ou dois minutos de calibração inicial pelo usuário), ou de navegar a possibilidade de os usuários não terem permissões adequadas para instalar software local, incluindo add-ons e extensões baseados em navegador.

Embora as movimentações faciais e oculares avaliadas não sejam tão precisas quanto poderiam ser em circunstâncias em que frameworks de aprendizado de máquina locais dedicados (como a série YOLO) poderiam ser usados, essa abordagem quase sem atrito para a avaliação da audiência fornece precisão adequada para análise de atitude e postura em cenários típicos de videoconferência. Acima de tudo, é muito barato.

Confira o vídeo do projeto associado abaixo para mais detalhes e exemplos.

Publicado pela primeira vez em 11 de abril de 2022.