AI helpt nerveuze sprekers om ‘de kamer te lezen’ tijdens videoconferenties

In 2013 werd door een peiling over veelvoorkomende fobieën vastgesteld dat het vooruitzicht van openbare spreken erger was dan de vooruitzicht van de dood voor de meerderheid van de respondenten. Het syndroom wordt glossophobia genoemd.

De door COVID-gedreven migratie van ‘in persoon’ bijeenkomsten naar online zoom-conferenties op platforms zoals Zoom en Google Spaces heeft, verrassend genoeg, de situatie niet verbeterd. Waar de bijeenkomst een groot aantal deelnemers bevat, worden onze natuurlijke bedreigingsbeoordelingsvaardigheden verstoord door de lage resolutie rijen en pictogrammen van deelnemers en de moeilijkheid om subtiele visuele signalen van gezichtsuitdrukking en lichaamstaal te lezen. Skype, bijvoorbeeld, is gebleken een slecht platform te zijn voor het overbrengen van non-verbale signalen.

De effecten van de prestaties van openbare spreken op waargenomen interesse en respons zijn inmiddels goed gedocumenteerd en intuïtief duidelijk voor de meesten van ons. Ondoorzichtige respons van het publiek kan ertoe leiden dat sprekers aarzelen en terugvallen op vulwoord, zich niet bewust van of hun argumenten overeenkomen met instemming, minachting of desinteresse, wat vaak leidt tot een ongemakkelijke ervaring voor zowel de spreker als de luisteraars.

Onder druk van de onverwachte verschuiving naar online videoconferencing, geïnspireerd door COVID-beperkingen en voorzorgsmaatregelen, wordt het probleem mogelijk nog erger, en zijn verschillende verlichtende publieksfeedbackschemata voorgesteld in de computerzicht- en affectonderzoeksgemeenschappen in de afgelopen paar jaar.

Hardware-georiënteerde oplossingen

De meeste van deze oplossingen vereisen echter extra apparatuur of complexe software die privacy- of logistieke problemen kan opleveren – relatief hoge kosten of anderszins resource-beperkte benaderingsstijlen die voorafgaand aan de pandemie zijn ontwikkeld. In 2001 stelde MIT de Galvactivator voor, een op de hand gedragen apparaat dat de emotionele toestand van de deelnemer aan het publiek afleidt, getest tijdens een daglange symposium.

Van 2001, MIT’s Galvactivator, die de huidgeleidingsrespons van de deelnemer aan het publiek probeerde te begrijpen. Bron: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Er is ook veel academische energie gestoken in de mogelijke inzet van ‘clickers’ als een Audience Response System (ARS), een maatregel om de actieve deelname van het publiek te vergroten (wat automatisch de betrokkenheid verhoogt, omdat het de kijker dwingt tot de rol van een actief feedbackknooppunt), maar die ook is bedoeld als een middel om de spreker aan te moedigen.

Andere pogingen om ‘verbinding’ te maken tussen spreker en publiek hebben onder andere hartslagmeting omvat, het gebruik van complexe lichaamsgebonden apparatuur om electroencefalografie te benutten, ‘applausmeters’, computerzicht-gebaseerde emotieherkenning voor werknemers aan een bureau, en het gebruik van door het publiek verzonden emoticons tijdens de toespraak van de spreker.

Van 2017, de EngageMeter, een gezamenlijk academisch onderzoeksproject van LMU München en de Universiteit van Stuttgart. Bron: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Als een sub-poging van het lucratieve gebied van publieksanalyse, heeft de private sector een bijzonder belangstelling voor blikschattings- en -volgsystemen – systemen waarin elk publiekslid (dat op zijn beurt uiteindelijk moet spreken), onderworpen wordt aan oculaire tracking als een index van betrokkenheid en goedkeuring.

Al deze methoden zijn vrijwel hoogfrictioneel. Veel ervan vereisen maatwerkapparatuur, laboratoriumomgevingen, gespecialiseerde en op maat gemaakte softwarekaders, en abonnementen op dure commerciële API’s – of een combinatie van deze beperkende factoren.

Daarom is de ontwikkeling van minimalistische systemen gebaseerd op weinig meer dan gewone tools voor videoconferencing het afgelopen jaar en een half interessant geworden.

Publieks goedkeuring discreet melden

Daartoe biedt een nieuwe onderzoeks samenwerking tussen de Universiteit van Tokio en de Carnegie Mellon Universiteit een nieuw systeem dat kan meeliften op standaard videoconferencingtools (zoals Zoom) met behulp van alleen een web-cam-geactiveerde website waarop lichtgewicht blik- en houdingschattingsoftware draait. Op deze manier wordt zelfs het nodig hebben van lokale browserplug-ins vermeden.

De knikjes en geschatte oogafstand van de gebruiker worden vertaald in representatieve gegevens die worden visualiseerd voor de spreker, waardoor een ‘live’ lakmoesproef mogelijk is van de mate waarin de inhoud het publiek boeit – en ook minstens een vage indicator van perioden van discours waarin de spreker het publieksinteresse kan verliezen.

Met CalmResponses wordt de aandacht en het knikken van de gebruiker toegevoegd aan een pool van publieksfeedback en vertaald in een visuele weergave die de spreker kan helpen. Zie de ingesloten video aan het einde van het artikel voor meer details en voorbeelden. Bron: https://www.youtube.com/watch?v=J_PhB4FCzk0

In veel academische situaties, zoals online colleges, kunnen studenten volledig onzichtbaar zijn voor de spreker, omdat ze hun camera’s niet hebben ingeschakeld vanwege zelfbewustzijn over hun achtergrond of huidige uiterlijk. CalmResponses kan dit obstakel voor sprekersfeedback aanpakken door te melden wat het weet over hoe de spreker naar de inhoud kijkt, en of ze knikken, zonder dat de kijker zijn camera hoeft in te schakelen.

Het artikel heet CalmResponses: Het weergeven van collectieve publieksreacties in remote communicatie en is een gezamenlijk werk van twee onderzoekers van UoT en een van Carnegie Mellon.

De auteurs bieden een live web-based demo aan en hebben de broncode op GitHub vrijgegeven.

Het CalmResponses-kader

CalmResponses’ interesse in knikken, in tegenstelling tot andere mogelijke houdingen van het hoofd, is gebaseerd op onderzoek (een deel ervan dateert uit de tijd van Darwin) dat aangeeft dat meer dan 80% van alle luisteraars’ hoofdbewegingen bestaan uit knikken (zelfs wanneer ze oneens zijn). Tegelijkertijd is aangetoond dat oogbewegingen over vele studies een betrouwbare index van interesse of betrokkenheid zijn.

CalmResponses is geïmplementeerd met HTML, CSS en JavaScript en bestaat uit drie subsystemen: een publieksclient, een sprekersclient en een server. De publieksclient verzendt oogafstand- of hoofdbewegingsgegevens van de gebruiker via WebSockets naar de cloudtoepassingsplatform Heroku.

Het knikken van het publiek wordt visualiseerd op de rechterkant in een geanimeerde beweging onder CalmResponses. In dit geval is de visualisatie van de beweging niet alleen beschikbaar voor de spreker, maar ook voor het hele publiek. Bron: https://arxiv.org/pdf/2204.02308.pdf

Voor het oogtrackingsgedeelte van het project gebruikten de onderzoekers WebGazer, een lichtgewicht, JavaScript-gebaseerd browsergebaseerd oogtrackingskader dat met lage latentie rechtstreeks vanaf een website kan draaien (zie link boven voor de eigen webgebaseerde implementatie van de onderzoekers).

Aangezien de behoefte aan eenvoudige implementatie en ruwe, geaggregeerde responsherkenning zwaarder weegt dan de behoefte aan hoge nauwkeurigheid in blik- en houdingschatting, wordt de invoerhoudingsgegevens gesmooth volgens gemiddelde waarden voordat deze worden overwogen voor de algehele responschatting.

De knikactie wordt geëvalueerd via de JavaScript-bibliotheek clmtrackr, die gezichtsmodellen past op gedetecteerde gezichten in afbeeldingen of video’s via geregelde landmark mean-shift. Voor doeleinden van economie en lage latentie wordt alleen het gedetecteerde landmark voor de neus actief gemonitord in de implementatie van de auteurs, aangezien dit voldoende is om knikacties te volgen.

De beweging van de neus van de gebruiker creëert een spoor dat bijdraagt aan de pool van publieksreacties met betrekking tot knikken, visualiseert in een geaggregeerde manier voor alle deelnemers.

Hittekaart

Terwijl de knikactiviteit wordt weergegeven door dynamische bewegende stippen (zie afbeeldingen hierboven en video aan het einde), wordt de visuele aandacht gerapporteerd in termen van een hittekaart die de spreker en het publiek laat zien waar de algemene locus van aandacht is gefocust op het gedeelde presentatiescherm of videoconferentie-omgeving.

Alle deelnemers kunnen zien waar de algemene gebruikersaandacht is gefocust. Het artikel vermeldt niet of deze functionaliteit beschikbaar is wanneer de gebruiker een ‘galerij’ van andere deelnemers kan zien, wat specieuze focus op een bepaalde deelnemer kan onthullen om verschillende redenen.

Tests

Twee testomgevingen werden geformuleerd voor CalmResponses in de vorm van een impliciete ablatiestudie, met drie verschillende sets van omstandigheden: in ‘Conditiestand B’ (basis), repliceerden de auteurs een typische online studentenlezing, waarbij de meeste studenten hun webcams uitschakelden en de spreker geen mogelijkheid had om de gezichten van het publiek te zien; in ‘Conditiestand CR-E’, kon de spreker blikfeedback (hittekaarten) zien; in ‘Conditiestand CR-N’, kon de spreker zowel de knik- als de blikactiviteit van het publiek zien.

Het eerste experiment bestond uit conditiestand B en conditiestand CR-E; het tweede bestond uit conditiestand B en conditiestand CR-N. Feedback werd verkregen van zowel de sprekers als het publiek.

In elk experiment werden drie factoren geëvalueerd: objectieve en subjectieve evaluatie van de presentatie (inclusief een zelfgerapporteerde enquête van de spreker over zijn gevoelens over hoe de presentatie verliep); het aantal gebeurtenissen van ‘vulwoord’, indicatief voor momenteel onzekerheid en aarzeling; en kwalitatieve opmerkingen. Deze criteria zijn gemeenschappelijke schattingen van de kwaliteit van de toespraak en de angst van de spreker.

De testpool bestond uit 38 personen in de leeftijd van 19-44, bestaande uit 29 mannen en 9 vrouwen met een gemiddelde leeftijd van 24,7, allemaal Japans of Chinees, en allemaal vloeiend in het Japans. Zij werden willekeurig verdeeld in vijf groepen van 6-7 deelnemers, en geen van de onderwerpen kende elkaar persoonlijk.

De tests werden uitgevoerd op Zoom, met vijf sprekers die presentaties gaven in het eerste experiment en zes in het tweede.

Vulvoorwaarden gemarkeerd als oranje dozen. Over het algemeen viel de vulinhoud in redelijke verhouding tot toegenomen publieksfeedback van het systeem.

De onderzoekers merken op dat één spreker zijn vulwoorden aanzienlijk reduceerde, en dat in ‘Conditiestand CR-N’ de spreker zelden vulwoorden uitsprak. Zie het artikel voor de zeer gedetailleerde en granulaire resultaten die worden gerapporteerd; echter, de meest opvallende resultaten waren in de subjectieve evaluatie van de sprekers en deelnemers van het publiek.

Opmerkingen van het publiek omvatten:

‘Ik voelde me betrokken bij de presentaties’, [AN2], ‘Ik was niet zeker of de toespraken van de sprekers waren verbeterd, maar ik voelde een gevoel van eenheid van de visualisatie van de hoofdbewegingen van anderen.’ [AN6]

‘Ik was niet zeker of de toespraken van de sprekers waren verbeterd, maar ik voelde een gevoel van eenheid van de visualisatie van de hoofdbewegingen van anderen.’

De onderzoekers merken op dat het systeem een nieuwe soort kunstmatige pauze introduceert in de presentatie van de spreker, omdat de spreker geneigd is om naar het visuele systeem te verwijzen om publieksfeedback te beoordelen voordat hij verdergaat.

Ze merken ook op een soort ‘witte jas-effect’, moeilijk te vermijden in experimentele omstandigheden, waarbij sommige deelnemers zich beperkt voelden door de mogelijke beveiligingsimplicaties van het worden gemonitord voor biometrische gegevens.

Conclusie

Een opvallend voordeel van een dergelijk systeem is dat alle niet-standaard aanvullende technologieën die nodig zijn voor een dergelijke aanpak volledig verdwijnen na hun gebruik. Er zijn geen resterende browserplug-ins die moeten worden verwijderd, of die twijfels kunnen zaaien in de gedachten van deelnemers over of ze moeten blijven op hun respectieve systemen; en er is geen behoefte om gebruikers door het proces van installatie te leiden (hoewel het webgebaseerde kader een minuut of twee aanvankelijke kalibratie van de gebruiker vereist), of om de mogelijkheid te navigeren dat gebruikers geen adequate machtigingen hebben om lokale software te installeren, inclusief browsergebaseerde add-ons en extensies.

Hoewel de geëvalueerde gezichts- en oogbewegingen niet zo nauwkeurig zijn als ze zouden kunnen zijn in omstandigheden waarin lokale machine learning-kaders (zoals de YOLO-serie) zouden kunnen worden gebruikt, biedt deze bijna wrijvingsloze benadering van publieksbeoordeling voldoende nauwkeurigheid voor brede sentiment- en houdingsanalyse in typische videoconferentiescenario’s. Bovenal is het heel goedkoop.

Bekijk de bijbehorende projectvideo hieronder voor meer details en voorbeelden.

Voor het eerst gepubliceerd op 11 april 2022.