L’IA aide les orateurs nerveux à « lire la salle » lors de vidéoconférences

En 2013, un sondage sur les phobies courantes a déterminé que la perspective de parler en public était pire que la perspective de la mort pour la majorité des répondants. Le syndrome est connu sous le nom de glossophobie.

La migration vers les réunions en ligne sur des plateformes telles que Zoom et Google Spaces, due à la COVID, n’a pas amélioré la situation. Lorsqu’une réunion compte un grand nombre de participants, nos capacités naturelles d’évaluation des menaces sont altérées par les rangées et les icônes de participants à basse résolution, ainsi que par la difficulté de lire les signaux visuels subtils des expressions faciales et du langage corporel. Skype, par exemple, s’est avéré être une mauvaise plateforme pour transmettre les indices non verbaux.

Les effets sur la performance de la parole publique de l’intérêt et de la réactivité perçus sont bien documentés à ce jour et sont intuitivement évidents pour la plupart d’entre nous. Une réponse opaque du public peut causer aux orateurs des hésitations et les amener à recourir à des discours de remplissage, sans savoir si leurs arguments rencontrent l’accord, le mépris ou l’indifférence, ce qui peut rendre l’expérience inconfortable à la fois pour l’orateur et son public.

Sous la pression du déplacement inattendu vers la vidéoconférence en ligne inspiré par les restrictions et les précautions liées à la COVID, le problème est sans doute en train de s’aggraver, et plusieurs schémas de rétroaction du public ont été suggérés dans les communautés de recherche en vision par ordinateur et en affect ces dernières années.

Solutions axées sur le matériel

La plupart de ces solutions, cependant, impliquent un équipement supplémentaire ou des logiciels complexes qui peuvent soulever des problèmes de confidentialité ou de logistique – des approches coûteuses ou autrement contraintes par les ressources qui précèdent la pandémie. En 2001, le MIT a proposé le Galvactivator, un dispositif porté à la main qui infère l’état émotionnel du participant au public, testé lors d’un symposium d’une journée.

Du MIT en 2001, le Galvactivator, qui mesurait la réponse de conductivité cutanée dans une tentative de comprendre le sentiment et l’engagement du public. Source: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Une grande partie de l’énergie académique a également été consacrée à la mise en œuvre possible de “clickers” en tant que système de rétroaction du public (ARS), une mesure pour augmenter la participation active des publics (ce qui augmente automatiquement l’engagement, puisque cela force le spectateur à jouer le rôle d’un nœud de rétroaction actif), mais qui a également été envisagée comme un moyen d’encouragement de l’orateur.

D’autres tentatives pour “connecter” l’orateur et le public ont inclus la surveillance de la fréquence cardiaque, l’utilisation d’équipements complexes portés par le corps pour exploiter l’électroencéphalographie, des “mètres d’applaudissements”, la reconnaissance des émotions basée sur la vision par ordinateur pour les travailleurs assis, et l’utilisation d’émoticônes envoyées par le public pendant la présentation de l’orateur.

De 2017, l’EngageMeter, un projet de recherche académique conjoint de l’Université Ludwig Maximilian de Munich et de l’Université de Stuttgart. Source: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

En tant que sous-domaine du domaine lucratif de l’analyse du public, le secteur privé a pris un intérêt particulier pour l’estimation et le suivi du regard – des systèmes où chaque membre du public (qui peut à son tour devoir parler), est soumis à un suivi oculaire en tant qu’indice d’engagement et d’approbation.

Toutes ces méthodes sont assez conflictuelles. Beaucoup d’entre elles nécessitent un matériel sur mesure, des environnements de laboratoire, des logiciels spécialisés et personnalisés, et une souscription à des API commerciales coûteuses – ou une combinaison de ces facteurs restrictifs.

Par conséquent, le développement de systèmes minimalistes basés sur peu plus que des outils courants pour la vidéoconférence est devenu intéressant au cours des 18 derniers mois.

Signaler discrètement l’approbation du public

À cette fin, une nouvelle collaboration de recherche entre l’Université de Tokyo et l’Université Carnegie Mellon propose un système novateur qui peut être greffé sur des outils standard de vidéoconférence (tels que Zoom) en utilisant uniquement un site Web équipé d’une webcam sur lequel un logiciel d’estimation de regard et de pose léger est en cours d’exécution. De cette façon, même le besoin de plugins de navigateur local est évité.

Les hochements de tête et l’attention estimée de l’utilisateur sont traduits en données représentatives qui sont visualisées à nouveau pour l’orateur, permettant un “test de ph” en direct de la mesure dans laquelle le contenu engage le public – et également au moins un vague indicateur des périodes de discours où l’orateur peut perdre l’intérêt du public.

Avec CalmResponses, l’attention et les hochements de tête de l’utilisateur sont ajoutés à un pool de rétroaction du public et traduits en une représentation visuelle qui peut bénéficier à l’orateur. Voir la vidéo intégrée à la fin de l’article pour plus de détails et d’exemples. Source: https://www.youtube.com/watch?v=J_PhB4FCzk0

Dans de nombreuses situations académiques, telles que les cours en ligne, les étudiants peuvent être entièrement invisibles pour l’orateur, puisqu’ils n’ont pas activé leurs caméras en raison de leur conscience de leur environnement ou de leur apparence actuelle. CalmResponses peut répondre à cet obstacle épineux de rétroaction de l’orateur en signalant ce qu’il sait sur la façon dont l’orateur regarde le contenu, et s’il hoche la tête, sans qu’il soit nécessaire pour le spectateur d’activer sa caméra.

Le document est intitulé CalmResponses: afficher les réactions collectives du public dans la communication à distance, et est un travail conjoint entre deux chercheurs de l’UoT et un de Carnegie Mellon.

Les auteurs offrent une démonstration Web en direct et ont publié le code source sur GitHub.

Le cadre de CalmResponses

L’intérêt de CalmResponses pour les hochements de tête, par opposition à d’autres dispositions possibles de la tête, est basé sur des recherches (certaines remontant à l’époque de Darwin) qui indiquent que plus de 80 % de tous les mouvements de tête des auditeurs sont composés de hochements de tête (même lorsqu’ils expriment leur désaccord). Dans le même temps, les mouvements des yeux ont été montrés sur de nombreuses études pour être un indice fiable de l’intérêt ou de l’engagement.

CalmResponses est mis en œuvre avec HTML, CSS et JavaScript, et se compose de trois sous-systèmes: un client pour le public, un client pour l’orateur et un serveur. Le client pour le public transmet les données de regard ou de mouvement de tête de l’utilisateur via WebSockets sur la plateforme d’application cloud Heroku.

Hochements de tête du public visualisés à droite dans un mouvement animé sous CalmResponses. Dans ce cas, la visualisation du mouvement est disponible non seulement pour l’orateur, mais pour tout le public. Source: https://arxiv.org/pdf/2204.02308.pdf

Pour la section de suivi des yeux du projet, les chercheurs ont utilisé WebGazer, un cadre de suivi des yeux léger et basé sur JavaScript qui peut fonctionner avec une faible latence directement à partir d’un site Web (voir le lien ci-dessus pour la mise en œuvre Web des chercheurs).

Étant donné que le besoin d’une mise en œuvre simple et d’une reconnaissance de réponse globale l’emporte sur le besoin d’une grande précision dans l’estimation de la pose et du regard, les données de pose d’entrée sont lissées selon les valeurs moyennes avant d’être prises en compte pour l’estimation de la réponse globale.

L’action de hochements de tête est évaluée via la bibliothèque JavaScript clmtrackr, qui ajuste les modèles faciaux aux visages détectés dans les images ou les vidéos via regularized landmark mean-shift. À des fins d’économie et de faible latence, seul le repère détecté pour le nez est activement surveillé dans la mise en œuvre des auteurs, puisque cela suffit pour suivre les actions de hochements de tête.

Le mouvement de la position de la pointe du nez de l’utilisateur crée un sillage qui contribue au pool de rétroaction du public lié aux hochements de tête, visualisé de manière agrégée pour tous les participants.

Carte de chaleur

Alors que l’activité de hochements de tête est représentée par des points mobiles dynamiques (voir les images ci-dessus et la vidéo à la fin), l’attention visuelle est signalée en termes de carte de chaleur qui montre à l’orateur et au public où se trouve le lieu général de l’attention sur l’écran de présentation partagé ou l’environnement de vidéoconférence.

Tous les participants peuvent voir où se trouve l’attention générale de l’utilisateur. Le document ne mentionne pas si cette fonctionnalité est disponible lorsque l’utilisateur peut voir une ‘galerie’ d’autres participants, ce qui pourrait révéler une focalisation spécieuse sur un participant particulier, pour diverses raisons.

Tests

Deux environnements de test ont été créés pour CalmResponses sous la forme d’une étude d’ablation tacite, en utilisant trois ensembles de circonstances variés: dans la “Condition B” (de base), les auteurs ont reproduit une conférence en ligne typique pour les étudiants, où la majorité des étudiants gardent leurs caméras éteintes et l’orateur n’a pas la possibilité de voir les visages du public; dans la “Condition CR-E”, l’orateur pouvait voir la rétroaction du regard (cartes de chaleur); dans la “Condition CR-N”, l’orateur pouvait voir à la fois l’activité de hochements de tête et de regard du public.

Le premier scénario expérimental comprenait la condition B et la condition CR-E; le deuxième comprenait la condition B et la condition CR-N. Des rétroactions ont été obtenues à la fois de l’orateur et du public.

Dans chaque expérience, trois facteurs ont été évalués: l’évaluation objective et subjective de la présentation (y compris un questionnaire auto-déclaré par l’orateur concernant ses sentiments sur la façon dont la présentation s’est déroulée); le nombre d’événements de “discours de remplissage”, indicatif d’insécurité et de prévarication momentanées; et des commentaires qualitatifs. Ces critères sont communs estimateurs de la qualité de la parole et de l’anxiété de l’orateur.

Le bassin de tests était composé de 38 personnes âgées de 19 à 44 ans, comprenant 29 hommes et neuf femmes avec un âge moyen de 24,7 ans, tous japonais ou chinois, et tous fluent en japonais. Ils ont été répartis de manière aléatoire en cinq groupes de 6 à 7 participants, et aucun des sujets ne se connaissait personnellement.

Les tests ont été menés sur Zoom, avec cinq orateurs faisant des présentations dans la première expérience et six dans la deuxième.

Conditions de remplissage marquées de boîtes orange. En général, le contenu de remplissage a diminué dans une proportion raisonnable à l’augmentation de la rétroaction du public du système.

Les chercheurs notent qu’un orateur a vu ses remplissages diminuer de manière notable, et que dans la “Condition CR-N”, l’orateur a rarement prononcé des phrases de remplissage. Voir le document pour les résultats très détaillés et granulaires signalés; cependant, les résultats les plus marqués étaient dans l’évaluation subjective des orateurs et des participants du public.

Des commentaires du public comprennent:

‘J’ai senti que j’étais impliqué dans les présentations” [AN2], “Je ne savais pas si les discours des orateurs étaient améliorés, mais j’ai senti un sentiment d’unité à partir de la visualisation des mouvements de tête des autres.’ [AN6]

‘Je ne savais pas si les discours des orateurs étaient améliorés, mais j’ai senti un sentiment d’unité à partir de la visualisation des mouvements de tête des autres.’

Les chercheurs notent que le système introduit une nouvelle sorte de pause artificielle dans la présentation de l’orateur, puisque l’orateur est enclin à se référer au système visuel pour évaluer la rétroaction du public avant de poursuivre.

Ils notent également un effet de “blouse blanche”, difficile à éviter dans les circonstances expérimentales, où certains participants se sont sentis contraints par les implications de sécurité possibles d’être surveillés pour des données biométriques.

Conclusion

Un avantage notable dans un système comme celui-ci est que toutes les technologies annexes non standard nécessaires pour une telle approche disparaissent complètement après leur utilisation. Il n’y a pas de plugins de navigateur résiduels à désinstaller, ou pour jeter des doutes dans l’esprit des participants quant à savoir s’ils devraient rester sur leurs systèmes respectifs; et il n’y a pas besoin de guider les utilisateurs à travers le processus d’installation (bien que le cadre Web nécessite une minute ou deux de calibration initiale par l’utilisateur), ou de naviguer dans la possibilité pour les utilisateurs de ne pas avoir les autorisations nécessaires pour installer des logiciels locaux, y compris les extensions et les add-ons basés sur le navigateur.

Bien que les mouvements faciaux et oculaires évalués ne soient pas aussi précis qu’ils pourraient l’être dans des circonstances où des cadres d’apprentissage automatique locaux dédiés (tels que la série YOLO) pourraient être utilisés, cette approche presque sans friction de l’évaluation du public fournit une précision suffisante pour l’analyse de l’attitude et de la position générales dans des scénarios de vidéoconférence typiques. Par-dessus tout, c’est très peu coûteux.

Consultez la vidéo de projet associée ci-dessous pour plus de détails et d’exemples.

Publié pour la première fois le 11 avril 2022.