AI hjælper nervøse talere med at ‘læse rummet’ under videokonferencer

I 2013 fastslog en meningsmåling om almindelige fobier, at udsigten til offentligt tale var værre end udsigten til døden for de fleste respondenter. Syndromet er kendt som glossofobi.

Covid-19-epidemien har ført til en overgang fra “ansigt til ansigt”-møder til online Zoom-konferencer på platforme som Zoom og Google Spaces, men dette har overraskende nok ikke forbedret situationen. Når mødet indeholder et stort antal deltagere, er vores naturlige trusselsvurderingsfærdigheder hæmmet af de lavopløselige rækker og ikoner af deltagere, og vanskeligheden ved at læse subtile visuelle signaler af ansigtsudtryk og kropssprog. Skype er for eksempel blevet fundet at være en dårlig platform for at formidle non-verbale signaler.

Effekterne af offentligt talepræstation af opfattet interesse og respons er velkendte og intuitivt åbenlyse for de fleste af os. Uigennemsigtig publikumsrespons kan få talere til at tøve og falde tilbage til fyldord, uden at vide, om deres argumenter møder med enighed, foragt eller uinteresse, ofte medfører en ubehagelig oplevelse for både taleren og lytterne.

Under pres fra den uventede skift mod online videokonferencer inspireret af Covid-19-begrænsninger og forsigtighed, er problemet sandsynligvis blevet værre, og en række forsøg på at forbedre publikumsfeedback er blevet foreslået i computer vision og affect forskningsfællesskaber over de sidste par år.

Hardware-fokuserede løsninger

De fleste af disse løsninger indebærer dog ekstra udstyr eller kompleks software, der kan rejse privatlivs- eller logistiske problemer – relativt højomkostning eller anden ressourcebegrænset tilgangsstil, der forudgår pandemien. I 2001 foreslog MIT Galvactivator, en håndbåret enhed, der sluttede den emotionelle tilstand af publikummedlemmet, testet under en daglang symposium.

Fra 2001, MIT’s Galvactivator, der målte hudkonduktivitetssvar i et forsøg på at forstå publikumsstemning og engagement. Kilde: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

En stor del af akademisk energi er også blevet brugt på den mulige udrulning af ‘klikke’ som et Publikumsrespons System (ARS), en måde at øge aktiv deltagelse af publikum (hvad der automatisk øger engagement, da det tvinger seeren ind i rollen som en aktiv feedback-knob), men som også er blevet forestillet som en måde at opmuntre talere på.

Andre forsøg på at “forbinde” taler og publikum har inkluderet hjertefrekvensmåling, brug af kompleks kropbåret udstyr til at udnytte elektroencefalografi, ’tiljublingsmål’, computer-vision-baseret emotionerkendelse til kontorarbejdere, og brug af publikumssendte emotikoner under talerens tale.

Fra 2017, EngageMeter, et fælles akademisk forskningsprojekt fra LMU München og Universitetet i Stuttgart. Kilde: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Som en under-tilgang til det lukrative område af publikumsanalyse, har den private sektor taget en særlig interesse i blikkestimation og -sporings-systemer – systemer, hvor hvert publikumsmedlem (der måske selv skal tale), er underlagt okulær sporings som en indeks for engagement og godkendelse.

Alle disse metoder er ret højfrictions. Mange af dem kræver specialudstyr, laboratoriemiljøer, specialiseret og tilpasset software-rammer, og abonnement på dyre kommercielle API’er – eller en kombination af disse begrænsende faktorer.

Derfor er udviklingen af minimalistiske systemer baseret på lidt mere end almindelige værktøjer til videokonferencer blevet interessant over de sidste 18 måneder.

Rapportering af publikums godkendelse diskret

I denne forbindelse tilbyder et nyt forsknings-samarbejde mellem Universitetet i Tokyo og Carnegie Mellon University et nyt system, der kan hænge på standard videokonferencetools (såsom Zoom) ved hjælp af en webkamera-aktiveret website, hvor let gaze- og pose-estimeringssoftware kører. På denne måde undgås også behovet for lokale browser-plugins.

Brugerens nik og estimerede øjne-opsigt bliver oversat til repræsentative data, der visualiseres tilbage til taleren, og giver en “live”-litmus-test for, i hvilken udstrækning indholdet engagerer publikum – og også mindst en vag indikator for perioder af diskurs, hvor taleren kan tabe publikums interesse.

Med CalmResponses bliver brugerens opmærksomhed og nik tilføjet til en pulje af publikumsfeedback og oversat til en visuel repræsentation, der kan gavne taleren. Se det indlejrede video nedenfor for mere detaljer og eksempler. Kilde: https://www.youtube.com/watch?v=J_PhB4FCzk0

I mange akademiske situationer, såsom online-forelæsninger, kan studenterne være helt usynlige for taleren, da de ikke har slået deres kameraer til på grund af selvbevidsthed om deres baggrund eller nuværende udseende. CalmResponses kan imødegå dette ellers tornefulde hindring for talerfeedback ved at rapportere, hvad den ved om, hvordan taleren ser på indholdet, og om de nikker, uden nogen behov for seeren at aktivere deres kamera.

Artiklen er titlen CalmResponses: Displaying Collective Audience Reactions in Remote Communication, og er et fællesarbejde mellem to forskere fra UoT og en fra Carnegie Mellon.

Forfatterne tilbyder en live web-baseret demo og har udgivet kildekoden på GitHub.

CalmResponses-rammeværket

CalmResponses’ interesse for nik, modsat andre mulige dispositioner af hovedet, er baseret på forskning (noget af det tilbage til Darwins tid) der indikerer, at mere end 80% af alle lytteres hovedbevægelser består af nik (selv når de udtrykker uenighed). Samtidig er øjnebevægelser blevet vist over mange studier at være en pålidelig indeks for interesse eller engagement.

CalmResponses er implementeret med HTML, CSS og JavaScript og består af tre undersystemer: et publikums-klient, en taler-klient og en server. Publikums-klienten sender øjne- eller hovedbevægelsesdata fra brugerens webkamera via WebSockets over cloud-applikationsplatformen Heroku.

Publikums nik visualiseret til højre i en animeret bevægelse under CalmResponses. I dette tilfælde er bevægelsesvisualiseringen tilgængelig ikke kun for taleren, men for hele publikum. Kilde: https://arxiv.org/pdf/2204.02308.pdf

For øjne-sporsnings-delen af projektet brugte forskerne WebGazer, en letvægts-, JavaScript-baseret browser-baseret øjne-sporsnings-ramme, der kan køre med lav forsinkelse direkte fra en website (se link ovenfor for forskernes egen web-baserede implementering).

Da behovet for enkel implementation og ru, samlet respons-genkendelse vejer tungere end behovet for høj nøjagtighed i gaze- og pose-estimering, glattes input-pose-data efter gennemsnitsværdier, før det overvejes for den samlede respons-estimering.

Nik-bevægelsen vurderes via JavaScript-biblioteket clmtrackr, der passer facial-modeller til detekterede ansigter i billeder eller videoer gennem regulariseret landmark mean-shift. For formål af økonomi og lav-forsinkelse overvåges kun det detekterede landmark for næsen aktivt i forfatternes implementation, da dette er nok til at spore nik-bevægelser.

Bevægelsen af brugerens næse-tip-position skaber en sti, der bidrager til puljen af publikumsrespons relateret til nik, visualiseret på en samlet måde for alle deltagere.

Varmekort

Mens nik-bevægelsen repræsenteres af dynamiske bevægelser (se billeder ovenfor og video nedenfor), rapporteres visuel opmærksomhed i form af et varmekort, der viser taleren og publikum, hvor den generelle locus af opmærksomhed er fokuseret på den delte præsentationsskærm eller videokonference-miljø.

Alle deltagere kan se, hvor den generelle bruger-opmærksomhed er fokuseret. Artiklen nævner ikke, om denne funktionalitet er tilgængelig, når brugeren kan se en ‘galleri’ af andre deltagere, hvilket kunne afsløre falsk fokus på en bestemt deltagere, af forskellige årsager.

Tests

To test-miljøer blev formuleret for CalmResponses i form af en under-tilgangs-studie, med tre varierede sæt af omstændigheder: i ‘Betingelse B’ (baseline), genskabte forfatterne en typisk online-student-forelæsning, hvor de fleste studenter holder deres webkameraer slukket, og taleren har ingen mulighed for at se publikums ansigter; i ‘Betingelse CR-E’, kunne taleren se gaze-feedback (varmekort); i ‘Betingelse CR-N’, kunne taleren se både nik- og gaze-aktivitet fra publikum.

Den første eksperimentelle scenario bestod af betingelse B og betingelse CR-E; den anden bestod af betingelse B og betingelse CR-N. Feedback blev erhvervet fra både talere og publikum.

I hvert eksperiment blev tre faktorer vurderet: objektiv og subjektiv vurdering af præsentationen (herunder en selv-rapporteret spørgeskema fra taleren om deres følelse om, hvordan præsentationen gik); antallet af begivenheder af ‘fyldord’-tale, der indikerer midlertidig usikkerhed og tøven; og kvalitative kommentarer. Disse kriterier er almindelige estimatorer af talekvalitet og taler-angst.

Test-pullen bestod af 38 personer i alderen 19-44, bestående af 29 mænd og ni kvinder med en gennemsnitsalder på 24,7, alle japanske eller kinesiske, og alle flydende i japansk. De blev tilfældigt delt i fem grupper på 6-7 deltagere, og ingen af subjekterne kendte hinanden personligt.

Testene blev gennemført på Zoom, med fem talere, der gav præsentationer i det første eksperiment og seks i det andet.

Fyldord-betingelser markeret som orange bokse. I almindelighed faldt fyldord-indhold i rimelig proportion til øget publikumsfeedback fra systemet.

Forskerne bemærker, at en talers fyldord reducerede betydeligt, og at i ‘Betingelse CR-N’, taleren sjældent udtalte fyldord-fraser. Se artiklen for de meget detaljerede og granulerede resultater, der blev rapporteret; dog var de mest markante resultater i subjektiv vurdering fra talere og publikumsdeltagere.

Kommentarer fra publikum inkluderede:

‘Jeg følte, at jeg var involveret i præsentationerne” [AN2], “Jeg var ikke sikker på, om talernes taler var forbedret, men jeg følte en følelse af enhed fra andres hovedbevægelses-visualisering.’ [AN6]

‘Jeg var ikke sikker på, om talernes taler var forbedret, men jeg følte en følelse af enhed fra andres hovedbevægelses-visualisering.’

Forskerne bemærker, at systemet introducerer en ny type kunstig pause i talerens præsentation, da taleren er tilbøjelig til at henvisere til det visuelle system for at vurdere publikumsfeedback, før de går videre.

De bemærker også en slags ‘hvid kittel-effekt’, der er svær at undgå i eksperimentelle omstændigheder, hvor nogle deltagere følte sig begrænsede af de mulige sikkerhedsimplikationer af at blive overvåget for biometriske data.

Konklusion

En bemærkelsesværdig fordel i et system som dette er, at alle de ikke-standard adjunct-teknologier, der kræves til denne tilgang, forsvinder helt efter deres brug. Der er ingen resterende browser-plugins, der skal afinstalleres, eller som kan rejse tvivl i deltagernes sind om, hvorvidt de skal forblive på deres respektive systemer; og der er ingen behov for at guide brugere gennem installationsprocessen (selvom web-baseret ramme kræver en minut eller to af initial kalibrering fra brugeren), eller for at navigere muligheden for, at brugere ikke har tilstrækkelige tilladelser til at installere lokal software, herunder browser-baserede tilføjelser og udvidelser.

Selv om de vurderede ansigts- og øjnebevægelser ikke er så præcise, som de kunne være i omstændigheder, hvor dedikeret lokale maskinlærings-rammer (såsom YOLO-serien) kunne bruges, giver denne næsten friktionsløse tilgang til publikums-vurdering en tilstrækkelig nøjagtighed for bred sentiment- og holdningsanalyse i typiske videokonference-scenarier. Over alt andet er det meget billigt.

Se det associerede projekt-video nedenfor for yderligere detaljer og eksempler.

Offentliggjort første gang 11. april 2022.