Unghiul lui Anderson
Inteligența artificială ajută vorbitorii nervoși să “citească încăperea” în timpul videoconferințelor

Puncte cheieCalmResponses folosește doar o cameră web și un browser pentru a urmări dările din cap…
Vezi mai mult
- CalmResponses folosește doar o cameră web și un browser pentru a urmări dările din cap și privirea publicului, fără hardware suplimentar.
- Sistemul a redus discursul umplutură al vorbitorilor prin vizualizarea reacțiilor colective ale publicului în timpul videoconferințelor.
- Membrii publicului s-au simțit mai implicați atunci când mișcările capului lor au fost agregate anonim pentru vorbitor.
În 2013, un sondaj privind fobiile comune a determinat că perspectiva vorbirii publice era mai rea decât perspectiva morții pentru majoritatea respondenților. Sindromul este cunoscut sub numele de glossofobie.
Migrația determinată de COVID de la întâlnirile “față în față” la conferințele online Zoom pe platforme precum Zoom și Google Spaces nu a îmbunătățit, surprinzător, situația. Atunci când ședința conține un număr mare de participanți, abilitățile noastre naturale de evaluare a amenințărilor sunt afectate de rândurile și iconele cu rezoluție scăzută ale participanților și de dificultatea de a citi semnalele vizuale subtile ale expresiilor faciale și limbajului corporal. De exemplu, s-a constatat că Skype este o platformă slabă pentru transmiterea de semnale non-verbale.
Efectele asupra performanței de vorbire publică a interesului și răspunsului perceput sunt bine documentate și, în mod intuitiv, evidente pentru majoritatea dintre noi. Răspunsul opac al audienței poate determina vorbitorii să ezite și să recurgă la discurs de umplutură, fără să știe dacă argumentele lor întâlnesc acordul, disprețul sau indiferența, făcând adesea o experiență inconfortabilă atât pentru vorbitor, cât și pentru ascultători.
Sub presiunea neașteptată a schimbării către videoconferințe online inspirate de restricțiile și precauțiile COVID, problema este, probabil, în curs de agravare, iar o serie de scheme de feedback de audiență ameliorative au fost sugerate în comunitățile de cercetare a viziunii și afectului în ultimii doi ani.
Soluții axate pe hardware
Majoritatea acestor soluții implică, totuși, echipamente suplimentare sau software complex care pot ridica probleme de confidențialitate sau logistică – abordări cu costuri relativ ridicate sau altfel limitate de resurse care preced pandemia. În 2001, MIT a propus Galvactivatorul, un dispozitiv purtat pe mână care inferă starea emoțională a participantului la audiență, testat în timpul unui simpozion de o zi.

Din 2001, Galvactivatorul MIT, care a măsurat răspunsul de conductivitate a pielii în încercarea de a înțelege sentimentul și angajamentul audienței. Sursă: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf
O cantitate semnificativă de energie academică a fost dedicată, de asemenea, posibilei implementării “apăsătoarelor” ca sistem de răspuns al audienței (ARS), o măsură pentru a crește participarea activă a audienței (care crește automat implicarea, deoarece forțează spectatorul în rolul unui nod de feedback activ), dar care a fost, de asemenea, imaginat ca un mijloc de încurajare a vorbitorilor.
Alte încercări de a “conecta” vorbitorul și audiența au inclus monitorizarea ritmului cardiac, utilizarea unor echipamente complexe purtabile pentru a valorifica electroencefalografia, “măsurători de aplauze”, recunoașterea emoțiilor bazată pe viziune computerizată pentru lucrătorii de birou și utilizarea emoticoanelor trimise de audiență în timpul discursului vorbitorului.

Din 2017, EngageMeter, un proiect de cercetare academică comun al Universității Ludwig Maximilian din München și al Universității din Stuttgart. Sursă: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf
Ca o sub-încercare a zonei lucrative a analizei audienței, sectorul privat a manifestat un interes deosebit pentru estimarea și urmărirea privirii – sisteme în care fiecare membru al audienței (care, la rândul său, ar putea trebui să vorbească), este supus urmăririi oculare ca indice al implicării și aprobării.
Toate aceste metode sunt destul de “grele”. Multe dintre ele necesită echipamente personalizate, medii de laborator, software specializat și personalizat și abonamente la API-uri comerciale scumpe – sau orice combinație a acestor factori restrictivi.
Prin urmare, dezvoltarea unor sisteme minimaliste bazate pe unelte comune pentru videoconferințe a devenit de interes în ultimele 18 luni.
Raportarea aprobării audienței în mod discret
Pentru aceasta, o nouă colaborare de cercetare între Universitatea din Tokyo și Universitatea Carnegie Mellon oferă un sistem nou care poate fi conectat la unelte standard de videoconferință (cum ar fi Zoom) utilizând doar un site web cu webcam activat pe care rulează software de estimare a privirii și a poziției, cu o complexitate redusă. În acest fel, chiar și nevoia de plugin-uri de browser locale este evitată.
Mișcările de încuviințare din cap și direcția estimată a privirii utilizatorului sunt transpuse în date reprezentative care sunt vizualizate înapoi către vorbitor, permițând un “test live” al gradului în care conținutul angajează audiența – și, de asemenea, cel puțin un indicator vag al perioadelor de discurs în care vorbitorul ar putea pierde interesul audienței.

Cu CalmResponses, atenția utilizatorului și mișcările sale de încuviințare din cap sunt adăugate la un pool de feedback al audienței și transpuse într-o reprezentare vizuală care îl poate ajuta pe vorbitor. Vezi videoul încorporat la sfârșitul articolului pentru detalii și exemple. Sursă: https://www.youtube.com/watch?v=J_PhB4FCzk0
În multe situații academice, precum prelegerile online, studenții pot rămâne invizibili pentru vorbitor deoarece nu vor să arate fundalul sau înfățișarea lor pe video. CalmResponses poate raporta direcția privirii și mișcările de încuviințare din cap fără a transmite imaginea lor celorlalți participanți. Webcam-ul este totuși necesar pentru captarea locală a acestor mișcări.
Articolul se intitulează CalmResponses: Afișarea reacțiilor colective ale audienței în comunicarea la distanță și este o lucrare comună între doi cercetători de la Universitatea din Tokyo și unul de la Carnegie Mellon.
Autorii oferă o demonstrație live pe web și au lansat codul sursă pe GitHub.
Cadru CalmResponses
Interesul CalmResponses pentru mișcările de încuviințare din cap, și nu pentru alte poziții ale capului, se bazează pe cercetări (unele dintre ele datând din era lui Darwin) care indică faptul că mai mult de 80% din toate mișcările capului ascultătorilor sunt mișcări de încuviințare din cap (chiar și atunci când exprimă dezacord). În același timp, mișcările privirii au fost demonstrate peste numeroase studii a fi un indice fiabil al interesului sau implicării.
CalmResponses este implementat cu HTML, CSS și JavaScript și cuprinde trei subsisteme: un client de audiență, un client de vorbitor și un server. Clientul de audiență transmite datele privirii sau mișcării capului de la webcamul utilizatorului prin WebSockets peste platforma de aplicații cloud Heroku.

Mișcările de încuviințare din cap ale publicului sunt vizualizate în dreapta printr-o animație în CalmResponses. În acest caz, vizualizarea este disponibilă atât vorbitorului, cât și întregului public. Sursă: https://arxiv.org/pdf/2204.02308.pdf
Pentru secțiunea de urmărire a privirii a proiectului, cercetătorii au utilizat WebGazer, un cadru de urmărire a privirii ușor, bazat pe JavaScript, care poate rula cu latență scăzută direct de pe un site web (vezi linkul de mai sus pentru implementarea web-based a cercetătorilor).
Deoarece nevoia de implementare simplă și recunoaștere a răspunsului agregat depășește nevoia de acuratețe ridicată a estimării privirii și poziției, datele de intrare ale poziției sunt netezite în funcție de valorile medii înainte de a fi luate în considerare pentru estimarea răspunsului general.
Mișcarea de încuviințare din cap este evaluată prin biblioteca JavaScript clmtrackr, care ajustează modele faciale la fețele detectate în imagini sau videoclipuri prin deplasare medie regularizată a punctelor de reper (regularized landmark mean-shift). În scopul economiei și al latenței scăzute, doar punctul de reper detectat pentru nas este monitorizat activ în implementarea autorilor, deoarece acesta este suficient pentru a urmări mișcările de încuviințare din cap.

Mișcarea vârfului nasului utilizatorului creează un traseu care contribuie la ansamblul răspunsurilor publicului privind mișcările de încuviințare din cap, vizualizate agregat pentru toți participanții.
Hartă de căldură
În timp ce activitatea de încuviințare din cap este reprezentată de puncte dinamice în mișcare (vezi imaginile de mai sus și videoul de la sfârșit), atenția vizuală este raportată în termeni de o hartă de căldură care arată vorbitorului și audienței unde se concentrează locusul general de atenție pe ecranul de prezentare sau mediu de videoconferință partajat.

Toți participanții pot vedea unde se concentrează atenția generală a utilizatorului. Articolul nu precizează dacă această funcție este disponibilă când utilizatorul vede o galerie cu ceilalți participanți, ceea ce ar putea indica, din diverse motive, o concentrare aparentă asupra unui anumit participant.
Teste
Două medii de test au fost formulate pentru CalmResponses sub forma unui studiu de ablație tacit, utilizând trei seturi variate de împrejurări: în “Condiția B” (bază), autorii au replicat o prelegere online tipică a studenților, în care majoritatea studenților țin camerele web închise, iar vorbitorul nu are posibilitatea de a vedea fețele audienței; în “Condiția CR-E”, vorbitorul putea vedea feedback-ul privirii (hărți de căldură); în “Condiția CR-N”, vorbitorul putea vedea atât activitatea de încuviințare din cap, cât și de privire a audienței.
Primul scenariu experimental a cuprins condiția B și condiția CR-E; al doilea a cuprins condiția B și condiția CR-N. S-a obținut feedback de la ambele părți, atât de la vorbitori, cât și de la audiență.
În fiecare experiment, trei factori au fost evaluați: evaluarea obiectivă și subiectivă a prezentării (inclusiv un chestionar auto-raportat de la vorbitor cu privire la sentimentele sale despre cum a decurs prezentarea); numărul de evenimente de “discurs de umplutură”, indicativ al insecurității și ezitării momentane; și comentarii calitative. Acești criterii sunt comuni estimatori ai calității discursului și anxietății vorbitorului.
Grupul de test a cuprins 38 de persoane cu vârste cuprinse între 19 și 44 de ani, alcătuit din 29 de bărbați și 9 femei, cu o vârstă medie de 24,7 ani, toți japonezi sau chinezi și toți fluenti în limba japoneză. Ei au fost împărțiți aleatoriu în șase grupuri de 5–7 participanți și niciunul dintre subiecți nu se cunoșteau personal.
Testele au fost efectuate pe Zoom, cu cinci vorbitori care au prezentat prezentări în primul experiment și șase în al doilea.

Condițiile privind vorbirea de umplutură sunt marcate cu chenare portocalii. În general, vorbirea de umplutură a scăzut aproximativ proporțional cu creșterea feedbackului oferit de sistem din partea publicului.
Cercetătorii notează că un vorbitor a redus semnificativ numărul de umpluturi și că, în “Condiția CR-N”, vorbitorul a rostit rareori fraze de umplutură. Vezi articolul pentru rezultatele foarte detaliate și granulare raportate; cu toate acestea, cele mai semnificative rezultate au fost în evaluarea subiectivă a vorbitorilor și participanților la audiență.
Comentariile audienței au inclus:
‘M-am simțit implicat în prezentări’ [AN2], ‘Nu am fost sigur că discursurile vorbitorilor au fost îmbunătățite, dar am simțit un sentiment de unitate din vizualizarea mișcărilor capului celorlalți.’ [AN6]
‘Nu am fost sigur că discursurile vorbitorilor au fost îmbunătățite, dar am simțit un sentiment de unitate din vizualizarea mișcărilor capului celorlalți.’
Cercetătorii notează că sistemul introduce o nouă pauză artificială în prezentarea vorbitorului, deoarece vorbitorul este înclinat să se refere la sistemul vizual pentru a evalua feedback-ul audienței înainte de a continua.
Ei notează, de asemenea, un fel de “efect de halat alb”, dificil de evitat în circumstanțele experimentale, în care unii participanți s-au simțit constrânși de implicațiile de securitate posibile ale monitorizării datelor biometrice.
Concluzie
Un avantaj notabil al unui sistem de acest fel este că toate tehnologiile auxiliare ne-standard necesare pentru o astfel de abordare dispar complet după ce utilizarea lor este terminată. Nu există plugin-uri de browser reziduale de dezinstalat sau care să ridice îndoieli în mintea participanților cu privire la faptul că ar trebui să rămână pe sistemele lor respective; și nu există nevoia de a ghida utilizatorii prin procesul de instalare (deși cadrul web-based necesită aproximativ un minut sau două de calibrare inițială a utilizatorului), sau de a naviga posibilitatea ca utilizatorii să nu aibă permisiuni adecvate pentru a instala software local, inclusiv extensii și add-on-uri bazate pe browser.
Deși estimările faciale și oculare evaluate nu sunt la fel de precise cum ar fi putut fi în circumstanțe în care s-ar fi utilizat cadre de învățare automată dedicate (cum ar fi seria YOLO), această abordare aproape fără frecare a evaluării audienței oferă o acuratețe suficientă pentru analiza sentimentului și a atitudinii în scenarii tipice de videoconferință. Mai presus de toate, este foarte ieftin.
Vezi videoul proiectului asociat de mai jos pentru mai multe detalii și exemple.
Publicat pentru prima dată pe 11 aprilie 2022.












