L’AI aiuta gli oratori nervosi a ‘leggere la stanza’ durante le videoconferenze

Nel 2013, un sondaggio sulle fobie comuni ha determinato che la prospettiva di parlare in pubblico era peggiore della prospettiva della morte per la maggior parte dei rispondenti. La sindrome è conosciuta come glossofobia.

La migrazione verso le riunioni online su piattaforme come Zoom e Google Spaces, a causa del COVID, non ha migliorato la situazione. Quando la riunione contiene un gran numero di partecipanti, le nostre naturali capacità di valutazione della minaccia sono compromesse dalle righe e dagli iconi di bassa risoluzione dei partecipanti e dalla difficoltà di leggere i segnali visivi sottili delle espressioni facciali e del linguaggio del corpo. Ad esempio, Skype è stato trovato essere una piattaforma povera per la trasmissione di segnali non verbali.

Gli effetti sulla performance di parlare in pubblico della percezione dell’interesse e della risposta sono ben documentati e intuitivamente ovvi per la maggior parte di noi. Una risposta opaca del pubblico può causare agli oratori di esitare e ricorrere a discorsi di riempimento, all’oscuro di是否 i loro argomenti stanno incontrando l’accordo, il disprezzo o l’indifferenza, spesso rendendo l’esperienza scomoda sia per l’oratore che per gli ascoltatori.

Sotto la pressione dell’imprevista spinta verso le videoconferenze online ispirata dalle restrizioni e dalle precauzioni del COVID, il problema è arguamente peggiorato, e sono stati suggeriti diversi schemi di feedback del pubblico nelle comunità di ricerca sulla visione computerizzata e sull’affect negli ultimi due anni.

Soluzioni orientate all’hardware

La maggior parte di questi, tuttavia, coinvolge attrezzature aggiuntive o software complesso che possono sollevare problemi di privacy o logistici – approcci relativamente costosi o vincolati dalle risorse che precedono la pandemia. Nel 2001, il MIT ha proposto il Galvactivator, un dispositivo indossabile che inferisce lo stato emotivo del partecipante del pubblico, testato durante un simposio di un giorno.

Dal 2001, il Galvactivator del MIT, che misurava la risposta della conduttività della pelle nel tentativo di comprendere il sentimento e l’impegno del pubblico. Fonte: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Molta energia accademica è stata anche dedicata alla possibile distribuzione di ‘clicker’ come un sistema di risposta del pubblico (ARS), una misura per aumentare la partecipazione attiva del pubblico (che aumenta automaticamente l’impegno, poiché costringe l’utente a svolgere il ruolo di un nodo di feedback attivo), ma che è anche stato concepito come un mezzo di incoraggiamento per gli oratori.

Altri tentativi di ‘connettere’ l’oratore e il pubblico hanno incluso il monitoraggio della frequenza cardiaca, l’uso di attrezzature complesse indossabili per sfruttare l’elettroencefalografia, ‘cheer meter’, il riconoscimento delle emozioni basato sulla visione computerizzata per i lavoratori da scrivania, e l’uso di emoticon inviati dal pubblico durante l’orazione dell’oratore.

Dal 2017, l’EngageMeter, un progetto di ricerca accademica congiunto dell’Università Ludwig Maximilian di Monaco e dell’Università di Stoccarda. Fonte: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Come una sottocategoria dell’area lucrativa dell’analisi del pubblico, il settore privato ha mostrato un particolare interesse per la stima e il tracciamento dello sguardo – sistemi in cui ogni membro del pubblico (che potrebbe a sua volta dover parlare), è soggetto a tracciamento oculare come indice di impegno e approvazione.

Tutti questi metodi sono abbastanza ad alta frizione. Molti di loro richiedono attrezzature personalizzate, ambienti di laboratorio, framework software specializzati e personalizzati, e l’abbonamento a costosi API commerciali – o qualsiasi combinazione di questi fattori restrittivi.

Pertanto, lo sviluppo di sistemi minimalisti basati su poco più che strumenti comuni per la videoconferenza è diventato di interesse negli ultimi 18 mesi.

Segnalazione della approvazione del pubblico in modo discreto

A questo scopo, una nuova collaborazione di ricerca tra l’Università di Tokyo e l’Università di Carnegie Mellon offre un sistema innovativo che può essere utilizzato con strumenti standard di videoconferenza (come Zoom) utilizzando solo un sito web abilitato per la webcam su cui è in esecuzione un software di stima della posizione e della posa leggero. In questo modo, anche la necessità di plugin del browser locale è evitata.

I cenni e l’attenzione stimata dell’utente vengono tradotti in dati rappresentativi che vengono visualizzati nuovamente all’oratore, consentendo un ‘test di litmus’ live della misura in cui il contenuto sta coinvolgendo il pubblico – e anche almeno un vago indicatore dei periodi di discorso in cui l’oratore potrebbe perdere l’interesse del pubblico.

Con CalmResponses, l’attenzione e il cenni dell’utente vengono aggiunti a un pool di feedback del pubblico e tradotti in una rappresentazione visiva che può beneficiare l’oratore. Vedi il video incorporato alla fine dell’articolo per ulteriori dettagli ed esempi. Fonte: https://www.youtube.com/watch?v=J_PhB4FCzk0

In molte situazioni accademiche, come le lezioni online, gli studenti potrebbero essere completamente invisibili all’oratore, poiché non hanno attivato le loro telecamere a causa della timidezza sullo sfondo o sull’aspetto attuale. CalmResponses può affrontare questo ostacolo altrimenti spinoso per il feedback dell’oratore segnalando ciò che sa su come l’oratore sta guardando il contenuto, e se stanno cennando, senza alcun bisogno che l’ascoltatore attivi la sua telecamera.

Il documento si intitola CalmResponses: visualizzazione delle reazioni collettive del pubblico nella comunicazione remota, ed è un lavoro congiunto tra due ricercatori dell’Università di Tokyo e uno di Carnegie Mellon.

Gli autori offrono una demo web-based live e hanno rilasciato il codice sorgente su GitHub.

Il framework CalmResponses

L’interesse di CalmResponses per il cenni, piuttosto che per altre possibili disposizioni della testa, si basa su ricerche (alcune delle quali risalgono all’era di Darwin) che indicano che più dell’80% di tutti i movimenti della testa degli ascoltatori sono composti da cenni (anche quando stanno esprimendo disaccordo). Allo stesso tempo, i movimenti degli occhi sono stati mostrati su numerosi studi per essere un indice affidabile di interesse o impegno.

CalmResponses è implementato con HTML, CSS e JavaScript, e comprende tre sottosistemi: un client del pubblico, un client dell’oratore e un server. Il client del pubblico passa i dati di movimento degli occhi o della testa dell’utente dalla webcam tramite WebSockets sulla piattaforma di applicazioni cloud Heroku.

Il cenni del pubblico visualizzato a destra in un movimento animato sotto CalmResponses. In questo caso, la visualizzazione del movimento è disponibile non solo per l’oratore, ma per l’intero pubblico. Fonte: https://arxiv.org/pdf/2204.02308.pdf

Per la sezione di tracciamento degli occhi del progetto, i ricercatori hanno utilizzato WebGazer, un framework di tracciamento degli occhi basato su JavaScript leggero che può essere eseguito con bassa latenza direttamente da un sito web (vedi link sopra per l’implementazione web-based dei ricercatori).

Poiché la necessità di una semplice implementazione e di un riconoscimento di risposta aggregata grezza supera la necessità di alta precisione nella stima della posizione e della posa, i dati di ingresso della posizione vengono lisciati in base ai valori medi prima di essere considerati per la stima della risposta complessiva.

L’azione del cenni viene valutata tramite la libreria JavaScript clmtrackr, che adatta modelli facciali a facce rilevate in immagini o video tramite mean-shift regolarizzato. Per scopi di economia e bassa latenza, solo il landmark rilevato per il naso è attivamente monitorato nell’implementazione degli autori, poiché questo è sufficiente per tracciare le azioni del cenni.

Il movimento della punta del naso dell’utente crea una traccia che contribuisce al pool di risposta del pubblico relativo al cenni, visualizzato in modo aggregato a tutti i partecipanti.

Mappa di calore

Mentre l’attività del cenni è rappresentata da punti dinamici in movimento (vedi immagini sopra e video alla fine), l’attenzione visiva è segnalata in termini di una mappa di calore che mostra all’oratore e al pubblico dove si concentra l’attenzione generale sullo schermo condiviso della presentazione o sull’ambiente della videoconferenza.

Tutti i partecipanti possono vedere dove si concentra l’attenzione generale. Il documento non menziona se questa funzionalità è disponibile quando l’utente può vedere una ‘galleria’ di altri partecipanti, che potrebbe rivelare un focus specioso su un particolare partecipante, per vari motivi.

Test

Due ambienti di test sono stati formulati per CalmResponses sotto forma di studio di ablazione tacito, utilizzando tre insiemi di circostanze variate: nel ‘Condizione B’ (di base), gli autori hanno replicato una lezione online tipica per studenti, in cui la maggior parte degli studenti tiene spenta la webcam e l’oratore non ha la possibilità di vedere i volti del pubblico; nella ‘Condizione CR-E’, l’oratore poteva vedere il feedback della vista (mappe di calore); nella ‘Condizione CR-N’, l’oratore poteva vedere sia l’attività del cenni che della vista del pubblico.

Il primo scenario sperimentale comprendeva la condizione B e la condizione CR-E; il secondo comprendeva la condizione B e la condizione CR-N. Il feedback è stato ottenuto sia dagli oratori che dal pubblico.

In ogni esperimento, tre fattori sono stati valutati: valutazione oggettiva e soggettiva della presentazione (inclusa una domanda di autovalutazione dell’oratore riguardo a come si è svolta la presentazione); il numero di eventi di ‘discorso di riempimento’, indicativo di insicurezza e prevaricazione momentanea; e commenti qualitativi. Questi criteri sono comuni stimatori della qualità del discorso e dell’ansia dell’oratore.

Il pool di test consisteva di 38 persone di età compresa tra 19 e 44 anni, composto da 29 maschi e 9 femmine con un’età media di 24,7, tutti giapponesi o cinesi e tutti fluenti in giapponese. Sono stati divisi casualmente in cinque gruppi di 6-7 partecipanti e nessuno dei soggetti si conosceva personalmente.

I test sono stati condotti su Zoom, con cinque oratori che hanno tenuto presentazioni nel primo esperimento e sei nel secondo.

Condizioni di riempimento segnalate come caselle arancioni. In generale, il contenuto di riempimento è caduto in proporzione ragionevole al feedback del pubblico aumentato dal sistema.

I ricercatori notano che il riempimento di un oratore è notevolmente ridotto e che nella ‘Condizione CR-N’, l’oratore raramente ha pronunciato frasi di riempimento. Vedi il documento per i risultati molto dettagliati e granulari riportati; tuttavia, i risultati più marcati sono stati nella valutazione soggettiva degli oratori e dei partecipanti del pubblico.

I commenti del pubblico includevano:

‘Mi sono sentito coinvolto nelle presentazioni” [AN2], “Non ero sicuro che i discorsi degli oratori fossero migliorati, ma ho sentito un senso di unità dalla visualizzazione dei movimenti della testa degli altri.’ [AN6]

‘Non ero sicuro che i discorsi degli oratori fossero migliorati, ma ho sentito un senso di unità dalla visualizzazione dei movimenti della testa degli altri.’

I ricercatori notano che il sistema introduce un nuovo tipo di pausa artificiale nella presentazione dell’oratore, poiché l’oratore è incline a riferirsi al sistema visivo per valutare il feedback del pubblico prima di procedere ulteriormente.

Notano anche un tipo di ‘effetto del camice bianco’, difficile da evitare in circostanze sperimentali, in cui alcuni partecipanti si sono sentiti vincolati dalle possibili implicazioni di sicurezza di essere monitorati per dati biometrici.

Conclusione

Un notevole vantaggio in un sistema come questo è che tutte le tecnologie ausiliarie non standard necessarie per questo approccio scompaiono completamente dopo il loro utilizzo. Non ci sono plugin del browser residui da disinstallare o che possano sollevare dubbi nella mente dei partecipanti su se dovrebbero rimanere nei rispettivi sistemi; e non c’è bisogno di guidare gli utenti attraverso il processo di installazione (sebbene il framework web-based richieda un minuto o due di calibrazione iniziale dell’utente), o di navigare la possibilità che gli utenti non abbiano le autorizzazioni adeguate per installare software locale, compresi add-on e estensioni del browser.

Sebbene le valutazioni dei movimenti facciali e oculari non siano così precise come potrebbero essere in circostanze in cui si utilizzano framework di apprendimento automatico locali dedicati (come la serie YOLO), questo approccio quasi senza attrito per la valutazione del pubblico fornisce un’accuratezza adeguata per l’analisi dell’atteggiamento e della posizione in scenari di videoconferenza tipici. Soprattutto, è molto economico.

Guarda il video del progetto associato qui sotto per ulteriori dettagli ed esempi.

Pubblicato per la prima volta l’11 aprile 2022.