AI hjälper nervösa talare att “läsa rummet” under videokonferenser

År 2013 fastställdes i en undersökning om vanliga fobier att utsikten till offentligt tal var värre än utsikten till döden för majoriteten av respondenterna. Syndromet kallas glossofobi.

Covid-19-utbrottets övergång från “personliga” möten till online-zoomkonferenser på plattformar som Zoom och Google Spaces har, överraskande nog, inte förbättrat situationen. När mötet innehåller ett stort antal deltagare, försvåras vår naturliga hotbedömningsförmåga av de lågupplösta raderna och ikonerna för deltagare, samt svårigheten att läsa subtila visuella signaler av ansiktsuttryck och kroppsspråk. Skype, till exempel, har visat sig vara en dålig plattform för att förmedla icke-verbala signaler.

Effekterna på offentligt tal av upplevd intresse och respons är väl dokumenterade och intuitivt uppenbara för de flesta av oss. Ogenomskinlig publikrespons kan orsaka att talare tvekar och faller tillbaka till fyllnadsord, omedvetna om huruvida deras argument möter överensstämmelse, förakt eller ointresse, ofta skapar en obekväm upplevelse för både talare och deras lyssnare.

Under press från den oväntade skiftet mot online-videokonferenser, inspirerat av Covid-19-restriktioner och försiktighetsåtgärder, är problemet förmodligen värre, och flera lösningar för publikåterkoppling har föreslagits i datorseende- och affektforskningsgemenskaperna under de senaste åren.

Maskinvarubaserade lösningar

De flesta av dessa involverar dock extra utrustning eller komplex programvara som kan skapa sekretess- eller logistikproblem – relativt högkostnads- eller resursbegränsade tillvägagångssätt som föregår pandemin. År 2001 föreslog MIT Galvactivatorn, en handburen enhet som härleder den emotionella tillståndet hos publikdeltagaren, testad under en heldags symposium.

Från 2001, MIT:s Galvactivator, som mätte hudledningsrespons för att förstå publikens inställning och engagemang. Källa: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Mycket akademisk energi har också ägnats åt den möjliga distributionen av “klickare” som ett Publikresponsystem (ARS), ett mått för att öka aktivt deltagande från publiken (vilket automatiskt ökar engagemanget, eftersom det tvingar tittaren in i rollen som en aktiv återkopplingsnod), men som också har föreställts som ett sätt att uppmuntra talare.

Andra försök att “koppla” talare och publik har inkluderat hjärtfrekvensmätning, användning av komplex kroppsburen utrustning för att utnyttja elektroencefalografi, “heja-mätare”, datorseende-baserad känslerekognition för skrivbordsarbetare, och användning av publik-skickade emotikoner under talarens tal.

Från 2017, EngageMeter, ett gemensamt akademiskt forskningsprojekt från LMU München och Universitetet i Stuttgart. Källa: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Som en undergrupp till det lukrativa området publikanalys, har den privata sektorn tagit ett särskilt intresse för blickestimering och spårning – system där varje publikmedlem (som i sin tur kan tala), utsätts för okulär spårning som en index för engagemang och godkännande.

Alla dessa metoder är ganska hög friktion. Många av dem kräver specialutrustning, laboratoriemiljöer, specialgjorda och anpassade programvaruramar, och prenumeration på dyra kommersiella API:er – eller någon kombination av dessa begränsande faktorer.

Därför har utvecklingen av minimalistiska system baserade på lite mer än vanliga verktyg för videokonferenser blivit av intresse under de senaste 18 månaderna.

Rapportera publikens godkännande diskret

I detta syfte erbjuder ett nytt forskningssamarbete mellan Universitetet i Tokyo och Carnegie Mellon University ett nytt system som kan åka på standardverktyg för videokonferenser (såsom Zoom) med hjälp av endast en webbkameraaktiverad webbplats där lätt gaze- och posestimeringsprogramvara körs. På detta sätt undviks även behovet av lokala webbläsartillägg.

Användarens nickningar och uppskattade ögonuppmärksamhet översätts till representativ data som visualiseras tillbaka till talaren, vilket möjliggör en “live” lakmusprov på den utsträckning till vilken innehållet engagerar publiken – och även en vag indikator på diskursperioder där talaren kan förlora publikens intresse.

Med CalmResponses läggs användarens uppmärksamhet och nickningar till en pool av publikåterkoppling och översätts till en visuell representation som kan gynna talaren. Se den inbäddade videon i slutet av artikeln för mer information och exempel. Källa: https://www.youtube.com/watch?v=J_PhB4FCzk0

I många akademiska situationer, såsom online-föreläsningar, kan studenter vara helt osynliga för talaren, eftersom de inte har aktiverat sina webbkameror på grund av självmedvetenhet om sin bakgrund eller nuvarande utseende. CalmResponses kan hantera detta annars törnhänta hinder för talaråterkoppling genom att rapportera vad de vet om hur talaren ser på innehållet, och om de nickar, utan något behov för tittaren att aktivera sin kamera.

Artikeln heter CalmResponses: Visning av kollektiva publikreaktioner i fjärrkommunikation, och är ett gemensamt arbete mellan två forskare från UoT och en från Carnegie Mellon.

Författarna erbjuder en live webbaserad demo och har släppt källkoden på GitHub.

CalmResponses-ramverket

CalmResponses intresse för nickningar, i stället för andra möjliga dispositioner av huvudet, baseras på forskning (en del av den går tillbaka till Darwins era) som visar att mer än 80% av alla lyssnares huvudrörelser består av nickningar (även när de uttrycker oenighet). Samtidigt har ögonrörelser visat sig vara en tillförlitlig index för intresse eller engagemang i många studier över.

CalmResponses implementeras med HTML, CSS och JavaScript, och består av tre subsystem: en publikklient, en talarklient och en server. Publikklienten skickar ögonblick eller huvudrörelsedata från användarens webbkamera via WebSockets över molntjänstplattformen Heroku.

Publikens nickningar visualiseras på höger sida i en animerad rörelse under CalmResponses. I detta fall är rörelsevisualiseringen tillgänglig inte bara för talaren, utan för hela publiken. Källa: https://arxiv.org/pdf/2204.02308.pdf

För ögonspårningsdelen av projektet använde forskarna WebGazer, ett lätt, JavaScript-baserat webbläsar-baserat ögonspårningssystem som kan köras med låg latens direkt från en webbplats (se länk ovan för forskarnas egen webbaserade implementering).

Eftersom behovet av enkel implementering och grov, sammansatt responsigenkänning väger tyngre än behovet av hög noggrannhet i gaze- och posestimering, smoojas indata-pose-data enligt medelvärden innan de övervägs för den övergripande responsigenkänningen.

Nickningsaktionen utvärderas via JavaScript-biblioteket clmtrackr, som passar ansiktsmodeller till upptäckta ansikten i bilder eller videor genom regulariserad landmark mean-shift. För ändamål av ekonomi och låg latens övervakas endast det upptäckta landmärket för näsan aktivt i författarnas implementering, eftersom detta räcker för att spåra nickningsrörelser.

Rörelsen av användarens nästipposition skapar en bana som bidrar till poolen av publikrespons relaterad till nickningar, visualiserad på ett sammansatt sätt för alla deltagare.

Värmekarta

Medan nickningsaktiviteten representeras av dynamiska rörliga punkter (se bilder ovan och video i slutet), rapporteras visuell uppmärksamhet i form av en värmekarta som visar talaren och publiken var den allmänna fokusen för uppmärksamhet är fokuserad på den delade presentations-skärmen eller videokonferensmiljön.

Alla deltagare kan se var den allmänna användaruppmärksamheten är fokuserad. Artikeln nämner inte om denna funktion är tillgänglig när användaren kan se en “galleri” av andra deltagare, som kunde avslöja falsk fokus på en specifik deltagare, av olika skäl.

Tester

Två testmiljöer formulerades för CalmResponses i form av en tyst ablationsstudie, med tre varierade uppsättningar av omständigheter: i “Villkor B” (baslinje), replikerade författarna en typisk online-studentföreläsning, där majoriteten av studenterna håller sina webbkameror avstängda, och talaren har ingen möjlighet att se publikens ansikten; i “Villkor CR-E”, kunde talaren se gaze-återkoppling (värmekartor); i “Villkor CR-N”, kunde talaren se både nicknings- och gaze-aktivitet från publiken.

Den första experimentella scenariot bestod av villkor B och villkor CR-E; det andra bestod av villkor B och villkor CR-N. Återkoppling erhölls från både talare och publik.

I varje experiment utvärderades tre faktorer: objektiv och subjektiv utvärdering av presentationen (inklusive en självrapporterad enkät från talaren om hur presentationen gick); antalet “fyllnads”-tal, som indikerar tillfällig osäkerhet och tvekan; och kvalitativa kommentarer. Dessa kriterier är vanliga estimatorer av talet och talarens ångest.

Testpoolen bestod av 38 personer i åldrarna 19-44, bestående av 29 män och nio kvinnor med en genomsnittsålder på 24,7, alla japanska eller kinesiska, och alla flytande i japanska. De delades slumpmässigt in i fem grupper om 6-7 deltagare, och ingen av deltagarna kände varandra personligen.

Testerna genomfördes på Zoom, med fem talare som höll presentationer i det första experimentet och sex i det andra.

Fyllnadsförhållanden markerade som orange rutor. I allmänhet föll fyllnadsinnehåll i rimlig proportion till ökad publikåterkoppling från systemet.

Forskarna noterar att en talares fyllnadsord minskade betydligt, och att i “Villkor CR-N”, sällan uttalade talaren fyllnadsfraser. Se artikeln för de mycket detaljerade och granulära resultaten som rapporteras; dock var de mest markerade resultaten i subjektiv utvärdering från talare och publikdeltagare.

Kommentarer från publiken inkluderade:

‘Jag kände att jag var involverad i presentationerna” [AN2], “Jag var inte säker på att talarnas tal förbättrades, men jag kände en känsla av enhet från andras huvudrörelsevisualisering.’ [AN6]

‘Jag var inte säker på att talarnas tal förbättrades, men jag kände en känsla av enhet från andras huvudrörelsevisualisering.’

Forskarna noterar att systemet introducerar en ny typ av artificiell paus i talarens presentation, eftersom talaren är benägen att hänvisa till det visuella systemet för att utvärdera publikåterkoppling innan de fortsätter vidare.

De noterar också en typ av “vit rock-effekt”, svår att undvika i experimentella omständigheter, där vissa deltagare kände sig begränsade av de möjliga säkerhetsimplikationerna av att övervakas för biometrisk data.

Slutsats

En anmärkningsvärd fördel med ett system som detta är att alla icke-standardiserade tilläggsteknologier som behövs för detta tillvägagångssätt försvinner helt efter att de har använts. Det finns inga kvarvarande webbläsartillägg att avinstallera, eller som kan väcka tvivel i deltagarnas sinnen om huruvida de ska förbli på sina respektive system; och det finns inget behov av att vägleda användare genom processen att installera, eller att navigera möjligheten att användare inte har tillräckliga behörigheter för att installera lokalt programvara, inklusive webbläsarbaserade tillägg och utvidgningar.

Även om de utvärderade ansikts- och ögonrörelserna inte är så exakta som de kan vara i omständigheter där dedikerade lokala maskinlärningsramar (såsom YOLO-serien) kan användas, ger detta nästan friktionsfria tillvägagångssätt för publikutvärdering tillräcklig noggrannhet för bred sentiment- och ståndpunktsanalys i typiska videokonferensscenarier. Ovan allt annat är det mycket billigt.

Titta på den associerade projektvideon nedan för mer information och exempel.

Publicerad första gången den 11 april 2022.