AI hjelper nervøse talere å ‘lese rommet’ under videokonferanser

I 2013 ble det gjennomført en undersøkelse om vanlige fobier, og det ble funnet at frykten for å tale offentlig var verre enn frykten for døden for de fleste respondentene. Syndromet er kjent som glossofobi.

Den COVID-drevne overgangen fra møter ansikt til ansikt til online Zoom-konferanser på plattformer som Zoom og Google Spaces har, overraskende nok, ikke forbedret situasjonen. Når møtet inneholder et stort antall deltakere, er våre naturlige trusselvurderingsferdigheter hemmet av de lavoppløste radene og ikonene til deltakerne, og vanskeligheten med å lese subtile visuelle signaler fra ansiktsuttrykk og kroppsspråk. Skype, for eksempel, har blitt funnet å være en dårlig plattform for å overføre ikke-verbale signaler.

Effektene av offentlig taleprestasjon på oppfattet interesse og respons er godt dokumentert nå, og intuitivt åpenbart for de fleste av oss. Uklar publikumsrespons kan få talerne til å nøle og falle tilbake til fyllord, uvitende om hvorvidt deres argumenter møter med enighet, forakt eller likegyldighet, ofte gjør det til en ubehagelig opplevelse for både taleren og lytterne.

Under press fra den uventede skiftet mot online videokonferanser inspirert av COVID-restriksjoner og forsiktighetsmessige tiltak, er problemet arguabelt blir verre, og en rekke forbedringsmessige publikumsresponsordninger har blitt foreslått i datavisjon og affektforskningsmiljøer over de siste to årene.

Maskinvare-fokuserte løsninger

De fleste av disse, imidlertid, involverer ekstra utstyr eller kompleks programvare som kan reise privatlivs- eller logistiske problemer – relativt høykostnads- eller ressursbegrensede tilnærmingssmetter som forutgår pandemien. I 2001 foreslo MIT Galvactivator, en håndbårent enhet som antar den emosjonelle tilstanden til publikum, testet under en daglang symposium.

Fra 2001, MITs Galvactivator, som målte hudledningssvar i et forsøk på å forstå publikums holdning og engasjement. Kilde: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

En stor del akademisk energi har også blitt viet til den mulige utplasseringen av ‘klikkere’ som et Publikumsresponsystem (ARS), en måte å øke aktiv deltakelse fra publikum (som automatisk øker engasjement, siden det tvinger seeren inn i rollen som en aktiv tilbakemeldingsenhet), men som også har blitt forestilt som en måte å oppmuntre talere.

Andre forsøk på å ‘koble’ taler og publikum har inkludert hjertefrekvensovervåking, bruk av kompleks kroppsbårent utstyr for å utnytte elektroencefalografi, ‘applausmål’, datavisjonsbasert emosjonskjennelse for arbeidstagere, og bruk av publikumssendte emotikoner under talerens tale.

Fra 2017, EngageMeter, et felles akademisk forskningsprosjekt fra LMU München og Universitetet i Stuttgart. Kilde: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Som en under-etasje av det lukrative området publikumsanalyse, har den private sektoren tatt en spesiell interesse i blikkestimering og -sporingsystemer – systemer hvor hver publikummedlem (som kan i sin tur til slutt måtte tale), er underlagt okulær sporings som en indeks for engasjement og godkjenning.

Alle disse metodene er ganske høy-friksjons. Mange av dem krever spesialutstyr, laboratoriemiljøer, spesialisert og tilpasset programvare-rammeverk, og abonnement på dyre kommersielle API-er – eller noen kombinasjon av disse begrensede faktorene.

Derfor har utviklingen av minimalistiske systemer basert på lite mer enn vanlige verktøy for videokonferanser blitt av interesse over de siste 18 månedene.

Rapportering av publikums godkjenning diskret

Til dette formålet, tilbyr et nytt forskningsprosjekt mellom Universitetet i Tokyo og Carnegie Mellon University et nytt system som kan koble seg til standard videokonferanseringsverktøy (slik som Zoom) ved å bruke bare en webkamera-aktivert nettside hvor lett gaze- og pose-estimeringsprogramvare kjører. På denne måten unngås også behovet for lokale nettleser-tillegg.

Brukerens nikking og estimerte øye-oppmerksomhet oversettes til representative data som visualiseres tilbake til taleren, og tillater en ‘live’ litmus-test av omfanget av hvilken grad innholdet engasjerer publikum – og også minst en vag indikator for perioder av diskurs hvor taleren kan tape publikums interesse.

Med CalmResponses, legges brukerens oppmerksomhet og nikking til en pool av publikumsrespons og oversettes til en visuell representasjon som kan benefits taleren. Se innlemmet video på slutten av artikkelen for mer detalj og eksempler. Kilde: https://www.youtube.com/watch?v=J_PhB4FCzk0

I mange akademiske situasjoner, som online forelesninger, kan studentene være helt usynlige for taleren, siden de ikke har aktivert kameraene sine på grunn av selvbevissthet om bakgrunnen eller nåværende utseende. CalmResponses kan håndtere denne ellers tornefulle hindring for taler-tilbakemelding ved å rapportere hva det vet om hvordan taleren ser på innholdet, og hvis de nikker, uten noen behov for seeren å aktivere kameraet.

Papiret heter CalmResponses: Displaying Collective Audience Reactions in Remote Communication, og er et fellesarbeid mellom to forskere fra UoT og en fra Carnegie Mellon.

Forfatterne tilbyr en live web-basert demo, og har sluppet kildekoden på GitHub.

CalmResponses-rammeverket

CalmResponses’ interesse for nikking, i motsetning til andre mulige disposer av hodet, er basert på forskning (noen av det som daterer tilbake til Darwins æra) som indikerer at mer enn 80% av alle lytteres hodebevegelser består av nikking (selv når de uttrykker uenighet). Samtidig har øyebevegelser blitt vist over mange studier å være en pålitelig indeks for interesse eller engasjement.

CalmResponses er implementert med HTML, CSS og JavaScript, og består av tre undersystemer: et publikums-klient, en taler-klient og en server. Publikums-klienten sender øye-gaze eller hodebevegelsesdata fra brukerens webkamera via WebSockets over sky-applikasjonsplattformen Heroku.

Publikums nikking visualisert på høyre side i en animert bevegelse under CalmResponses. I dette tilfellet er bevegelsesvisualiseringen tilgjengelig ikke bare for taleren, men for hele publikum. Kilde: https://arxiv.org/pdf/2204.02308.pdf

For øye-sporing-delen av prosjektet, brukte forskerne WebGazer, et lettvekts-, JavaScript-basert nettleser-basert øye-sporing-rammeverk som kan kjøre med lav forsinkelse direkte fra en nettside (se link ovenfor for forskernes eget web-baserte implementering).

Siden behovet for enkel implementering og grov, aggregert respons-gjenkjenning overstiger behovet for høy nøyaktighet i gaze- og pose-estimering, glattes inndata-pose-data etter gjennomsnittsverdier før det blir vurdert for den overordnede respons-estimeringen.

Nikke-handlingen vurderes via JavaScript-biblioteket clmtrackr, som passer ansiktsmodeller til detekterte ansikter i bilder eller videoer gjennom regularisert landmark mean-shift. For formål av økonomi og lav-forsinkelse, overvåkes bare det detekterte landmerket for nesen aktivt, siden dette er nok til å spore nikke-bevegelser.

Bevegelsen av brukerens nesepekeposisjon skaper en spor som bidrar til puljen av publikumsrespons relatert til nikking, visualisert på en aggregert måte for alle deltakere.

Varmekart

Mens nikke-aktiviteten representeres av dynamiske bevegelser (se bilder ovenfor og video på slutten), rapporteres visuell oppmerksomhet i form av et varmekart som viser taleren og publikum hvor den generelle lokus av oppmerksomhet er fokusert på den delte presentasjonsskjermbildet eller videokonferanse-miljøet.

Alle deltakere kan se hvor generell bruker-oppmerksomhet er fokusert. Papiret nevner ikke om denne funksjonaliteten er tilgjengelig når brukeren kan se en ‘galleri’ av andre deltakere, som kunne avsløre feilaktig fokus på en bestemt deltaker, av ulike årsaker.

Tester

To test-miljøer ble formulert for CalmResponses i form av en underforstått ablasjon-studie, med tre varierende sett av omstendigheter: i ‘Betingelse B’ (basis), repliserte forfatterne en typisk online student-forelesning, hvor de fleste studenter holder webkameraene sine avslått, og taleren har ingen mulighet til å se ansiktene til publikum; i ‘Betingelse CR-E’, kunne taleren se gaze-tilbakemelding (varmekart); i ‘Betingelse CR-N’, kunne taleren se både nikke- og gaze-aktivitet fra publikum.

Den første eksperimentelle scenariet bestod av betingelse B og betingelse CR-E; det andre eksperimentelle scenariet bestod av betingelse B og betingelse CR-N. Tilbakemelding ble innhentet fra både talere og publikum.

I hvert eksperiment, ble tre faktorer evaluert: objektiv og subjektiv evaluering av presentasjonen (inkludert en selv-rapportert spørsmål fra taleren om hvordan presentasjonen gikk); antall hendelser av ‘fyllord’-tale, som indikerer midlertidig usikkerhet og tøven; og kvalitative kommentarer. Disse kriteriene er vanlige estimater av talekvalitet og taler-angst.

Test-puljen bestod av 38 personer i alderen 19-44, bestående av 29 menn og ni kvinner med en gjennomsnittsalder på 24,7, alle japanske eller kinesiske, og alle flytende i japansk. De ble tilfeldig delt inn i fem grupper på 6-7 deltakere, og ingen av subjektene kjente hverandre personlig.

Testene ble gjennomført på Zoom, med fem talere som ga presentasjoner i det første eksperimentet og seks i det andre.

Fyllord-betingelser merket som oransje bokser. Generelt falt fyllord-innhold i rimelig proporsjon til økt publikums-tilbakemelding fra systemet.

Forskerne noterer at en talers fyllord reducerte betydelig, og at i ‘Betingelse CR-N’, sjelden taleren uttalte fyllord-fraser. Se papiret for de meget detaljerte og granulerte resultater som rapporteres; imidlertid var de mest markerte resultater i subjektiv evaluering fra talere og publikum-deltakere.

Kommentarer fra publikum inkluderte:

‘Jeg følte at jeg var involvert i presentasjonene” [AN2], “Jeg var ikke sikker på om talernes taler var forbedret, men jeg følte en følelse av enhet fra andres hodebevegelser-visualisering.’ [AN6]

‘Jeg var ikke sikker på om talernes taler var forbedret, men jeg følte en følelse av enhet fra andres hodebevegelser-visualisering.’

Forskerne noterer at systemet introduserer en ny type kunstig pause i talerens presentasjon, siden taleren er tilbøyelig til å referere til det visuelle systemet for å vurdere publikums-tilbakemelding før de går videre.

De noterer også en type ‘hvit-kåt-effekt’, vanskelig å unngå i eksperimentelle omstendigheter, hvor noen deltakere følte seg begrensede av mulige sikkerhetsimplikasjoner ved å bli overvåket for biometriske data.

Konklusjon

En merkbart fordel med et slikt system er at alle de ikke-standard-tilleggs-teknologier som trengs for en slik tilnærming forsvinner helt etter at de er brukt. Det er ingen resterende nettleser-tillegg som må avinstalleres, eller som kan gi tvil i deltakernes sinn om hvorvidt de skal forblø på deres respektive systemer; og det er ingen behov for å guide brukerne gjennom prosessen med å installere, eller å navigere muligheten for at brukerne ikke har tilstrekkelig tillatelser til å installere lokal programvare, inkludert nettleser-baserte tillegg og utvidelser.

Selv om de evaluerte ansikts- og øyebevegelsene ikke er like nøyaktige som de kunne være i omstendigheter hvor dedikerte lokale maskinlærings-rammeverk (slik som YOLO-serien) kunne brukes, gir denne nesten friksjonsløse tilnærmingen til publikums-vurdering en tilstrekkelig nøyaktighet for bred holdnings- og innstilling-analyse i typiske videokonferanse-scenarier. Over alt annet, er det veldig billig.

Se den tilknyttede prosjekt-videoen nedenfor for mer detalj og eksempler.

Først publisert 11. april 2022.