AI pomaga nerwowym mówcom “czytać” salę podczas wideokonferencji

W 2013 roku przeprowadzono ankietę na temat powszechnych fobii, która wykazała, że perspektywa publicznego przemawiania była gorsza niż perspektywa śmierci dla większości respondentów. Zespół ten jest znany jako glossophobia.

Migracja do wideokonferencji online, spowodowana pandemią COVID-19, na platformach takich jak Zoom i Google Spaces, nie poprawiła sytuacji. Gdy spotkanie obejmuje dużą liczbę uczestników, nasze naturalne zdolności do oceny zagrożeń są upośledzone przez niską rozdzielczość wierszy i ikon uczestników oraz trudności w czytaniu subtelnych sygnałów wzrokowych i języka ciała. Na przykład Skype okazał się być słabą platformą do przekazywania niejawnych sygnałów.

Skutki publicznego przemawiania na poziomie zainteresowania i reakcji są dobrze udokumentowane i intuicyjnie oczywiste dla większości z nas. Niewidoczna reakcja publiczności może powodować, że mówcy wahają się i powracają do mowy wypełniającej, nieświadomi, czy ich argumenty spotykają się z zgodą, lekceważeniem czy obojętnością, często powodując niekomfortowe doświadczenie zarówno dla mówcy, jak i słuchaczy.

Pod presją nieoczekiwanej zmiany w kierunku wideokonferencji online, spowodowanej ograniczeniami i środkami ostrożności związanymi z COVID-19, problem ten pogarsza się, a kilka schematów sprzyjających poprawie komunikacji między publicznością a mówcą zostało zaproponowanych w społecznościach badawczych w dziedzinie komputerowego widzenia i afektu w ciągu ostatnich dwóch lat.

Rozwiązania ukierunkowane na sprzęt

Większość z nich wymaga jednak dodatkowego sprzętu lub złożonego oprogramowania, co może powodować problemy z prywatnością lub logistyką – stosunkowo drogie lub w inny sposób ograniczone podejście, które poprzedza pandemię. W 2001 roku MIT zaproponował Galvactivator, urządzenie noszone na ręku, które wnioskuje o stanie emocjonalnym uczestnika publiczności, przetestowane podczas sympozjum trwającego cały dzień.

Z 2001 roku, MIT’s Galvactivator, który mierzył odpowiedź przewodzenia skóry w celu zrozumienia sentymentu i zaangażowania publiczności. Źródło: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Dużo energii akademickiej zostało również poświęconego na możliwe wdrożenie “kliknięć” jako Systemu Reakcji Publiczności (ARS), środka mającego na celu zwiększenie aktywnej uczestniczenia publiczności (co automatycznie zwiększa zaangażowanie, ponieważ zmusza widza do roli aktywnego węzła sprzężenia zwrotnego), ale który również został uznany za środek do zachęcania mówców.

Inne próby “połączenia” mówcy i publiczności obejmowały monitorowanie częstotliwości serca, użycie złożonego sprzętu noszonego na ciele w celu wykorzystania elektroencefalografii, “mierniki entuzjazmu”, rozpoznawanie emocji oparte na komputerowym widzeniu dla pracowników biurowych, oraz użycie emotikonów wysyłanych przez publiczność podczas przemówienia mówcy.

Z 2017 roku, EngageMeter, wspólny projekt badawczy z LMU Monachium i Uniwersytetu w Stuttgarcie. Źródło: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Jako podążanie za lukratywnym obszarem analizy publiczności, sektor prywatny zainteresował się szczególnie szacowaniem i śledzeniem wzroku – systemami, w których każdy członek publiczności (który może w swojej kolejności musieć mówić), podlega śledzeniu wzroku jako wskaźnikowi zaangażowania i aprobaty.

Wszystkie te metody są dość wysoko-wydajne. Wiele z nich wymaga specjalistycznego sprzętu, środowisk laboratoryjnych, specjalistycznego i samodzielnie tworzonego oprogramowania, oraz subskrypcji drogich komercyjnych API – lub dowolnej kombinacji tych ograniczających czynników.

Dlatego rozwój minimalistycznych systemów opartych na zwykłych narzędziach wideokonferencyjnych stał się interesujący w ciągu ostatnich 18 miesięcy.

Reakcja publiczności w sposób dyskretny

W tym celu nowa współpraca badawcza między Uniwersytetem Tokijskim a Uniwersytetem Carnegie Mellon oferuje nowy system, który może być wykorzystywany w standardowych narzędziach wideokonferencyjnych (takich jak Zoom) przy użyciu tylko strony internetowej z włączoną kamerą internetową, na której działa oprogramowanie do oszacowania wzroku i pozy.

Użytych kiwnięć głową i oszacowanych ruchów gałek ocznych są tłumaczone na reprezentatywne dane, które są wizualizowane z powrotem do mówcy, umożliwiając “na żywo” test na temat stopnia, w jakim zawartość angażuje publiczność – oraz co najmniej ogólny wskaźnik okresów dyskursu, w których mówca może tracić zainteresowanie publiczności.

Z CalmResponses, uwaga użytkownika i kiwanie są dodawane do puli reakcji publiczności i tłumaczone na wizualną reprezentację, która może przynieść korzyści mówcy. Zobacz załączony film na końcu artykułu, aby uzyskać więcej szczegółów i przykładów. Źródło: https://www.youtube.com/watch?v=J_PhB4FCzk0

W wielu sytuacjach akademickich, takich jak wykłady online, studenci mogą być całkowicie niewidoczni dla mówcy, ponieważ nie włączyli swoich kamer z powodu samoświadomości co do swojego tła lub aktualnego wyglądu. CalmResponses może rozwiązać ten problem, informując o tym, jak mówca spogląda na zawartość, i czy kiwa głową, bez potrzeby aktywowania kamery przez widza.

Artykuł nosi tytuł CalmResponses: Wyświetlanie zbiorowych reakcji publiczności w komunikacji zdalnej, i jest wspólną pracą dwóch badaczy z Uniwersytetu Tokijskiego i jednego z Uniwersytetu Carnegie Mellon.

Autorzy oferują żywe demo internetowe i udostępnili kod źródłowy na GitHub.

Ramka CalmResponses

Zainteresowanie CalmResponses kiwaniem, a nie innymi możliwymi dyspozycjami głowy, opiera się na badaniach (niektóre z nich sięgają ery Darwinowskiej), które wskazują, że ponad 80% wszystkich ruchów głowy słuchaczy składa się z kiwania (nawet gdy wyrażają one niezgodę). W tym samym czasie ruchy gałek ocznych zostały uznane za niezawodny wskaźnik zainteresowania lub zaangażowania.

CalmResponses jest wdrożony z użyciem HTML, CSS i JavaScript, i składa się z trzech podsystemów: klienta publiczności, klienta mówcy i serwera. Klient publiczności przekazuje dane gałek ocznych lub ruchu głowy od użytkownika za pośrednictwem WebSockets na platformie aplikacji w chmurze Heroku.

Kiwanie publiczności wizualizowane po prawej stronie w animowanym ruchu pod CalmResponses. W tym przypadku wizualizacja ruchu jest dostępna nie tylko dla mówcy, ale także dla całej publiczności. Źródło: https://arxiv.org/pdf/2204.02308.pdf

Dla sekcji śledzenia wzroku projektu, badacze użyli WebGazer, lekkiego, opartego na JavaScript frameworku śledzenia wzroku przeglądarki, który może działać z niską latencją bezpośrednio z witryny (zobacz link powyżej dla wdrożenia badaczy).

Ponieważ potrzeba prostej implementacji i szacowania reakcji przewyższa potrzebę wysokiej dokładności w szacowaniu wzroku i pozy, dane wejściowe są wygładzane według wartości średnich przed rozważeniem ich w ramach ogólnej oceny reakcji.

Akcja kiwania jest oceniana za pomocą biblioteki JavaScript clmtrackr, która dopasowuje modele twarzy do wykrytych twarzy w obrazach lub filmach za pomocą regularized landmark mean-shift. W celu oszczędności i niskiej latencji tylko wykryty punkt odniesienia do nosa jest aktywnie monitorowany w wdrożeniu autorów, ponieważ jest to wystarczające do śledzenia akcji kiwania.

Ruch nosa użytkownika tworzy ślad, który przyczynia się do puli reakcji publiczności związanej z kiwaniem, wizualizowanej w sposób agregowany dla wszystkich uczestników.

Mapa cieplna

Podczas gdy aktywność kiwania jest reprezentowana przez dynamiczne kropki (zobacz obrazy powyżej i film na końcu), uwaga wzrokowa jest raportowana w postaci mapy cieplnej, która pokazuje mówcy i publiczności, gdzie znajduje się ogólny locus uwagi na wspólnej ekranie prezentacji lub środowisku wideokonferencyjnym.

Wszyscy uczestnicy mogą zobaczyć, gdzie koncentruje się ogólna uwaga użytkownika. Artykuł nie wspomina, czy ta funkcjonalność jest dostępna, gdy użytkownik może zobaczyć “galerię” innych uczestników, co mogłoby ujawnić fałszywą koncentrację na jednym uczestniku z różnych powodów.

Testy

Dwa środowiska testowe zostały sformułowane dla CalmResponses w postaci niejawnej studium ablacjacji, przy użyciu trzech różnych zestawów okoliczności: w “Warunkach B” (bazowych), autorzy odtworzyli typowy wykład online, w którym większość studentów trzyma wyłączone kamery, a mówca nie ma możliwości zobaczenia twarzy publiczności; w “Warunkach CR-E”, mówca mógł zobaczyć informacje zwrotne wzroku (mapy cieplne); w “Warunkach CR-N”, mówca mógł zobaczyć zarówno kiwanie, jak i aktywność wzroku ze strony publiczności.

Pierwszy scenariusz eksperymentalny składał się z warunków B i CR-E; drugi składał się z warunków B i CR-N. Informacje zwrotne zostały uzyskane zarówno od mówców, jak i publiczności.

W każdym eksperymencie oceniono trzy czynniki: obiektywną i subiektywną ocenę prezentacji (w tym samoopisową ankietę mówcy dotyczącą jego uczuć na temat przebiegu prezentacji); liczbę zdarzeń “mowy wypełniającej”, wskazującej na chwilową niepewność i wahanie; oraz komentarze jakościowe. Te kryteria są powszechnie szacowaniami jakości mowy i lęku mówcy.

Grupa testowa składała się z 38 osób w wieku od 19 do 44 lat, w tym 29 mężczyzn i 9 kobiet o średnim wieku 24,7, wszystkich japońskich lub chińskich, i wszystkich płynnie mówiących po japońsku. Zostały one losowo podzielone na pięć grup po 6-7 uczestników, i żaden z uczestników nie znał się osobiście.

Testy zostały przeprowadzone na platformie Zoom, z pięcioma mówcami, którzy wygłosili prezentacje w pierwszym eksperymencie i sześcioma w drugim.

Warunki wypełniające oznaczone jako pomarańczowe pudełka. Ogólnie, zawartość wypełniająca spadła w rozsądnym stosunku do zwiększonej informacji zwrotnej od systemu.

Badacze zauważają, że kiwanie jednego z mówców znacznie się zmniejszyło, i że w “Warunkach CR-N” mówca rzadko wypowiadał frazy wypełniające. Zobacz artykuł, aby uzyskać bardzo szczegółowe i drobne wyniki; jednak najbardziej widoczne wyniki były w subiektywnej ocenie mówców i uczestników publiczności.

Komentarze od publiczności obejmowały:

‘Czułem, że jestem zaangażowany w prezentacje” [AN2], “Nie byłem pewien, czy przemówienia mówców były poprawione, ale czułem poczucie jedności z powodu wizualizacji ruchów głowy innych osób.’ [AN6]

‘Nie byłem pewien, czy przemówienia mówców były poprawione, ale czułem poczucie jedności z powodu wizualizacji ruchów głowy innych osób.’

Badacze zauważają, że system wprowadza nowy rodzaj sztucznego przerwy w prezentacji mówcy, ponieważ mówca jest skłonny odnosić się do systemu wizualnego, aby ocenić informację zwrotną publiczności przed kontynuowaniem dalej.

Zauważają również rodzaj “efektu białego kitla”, trudnego do uniknięcia w okolicznościach eksperymentalnych, gdzie niektórzy uczestnicy czuli się ograniczeni przez możliwe implikacje bezpieczeństwa związane z monitorowaniem danych biometrycznych.

Wnioski

Jedną z najbardziej istotnych zalet systemu takiego jest to, że wszystkie niestandardowe technologie dodatkowe zupełnie znikają po zakończeniu ich użytkowania. Nie ma żadnych pozostałych wtyczek przeglądarki, które należy odinstalować, ani powodów, aby uczestnicy mieli wątpliwości, czy powinni pozostać na swoich systemach; i nie ma potrzeby prowadzenia użytkowników przez proces instalacji (chociaż ramka internetowa wymaga kilku minut wstępnej kalibracji przez użytkownika), ani nie ma potrzeby nawigowania możliwości, że użytkownicy nie mają odpowiednich uprawnień do instalowania oprogramowania lokalnego, w tym wtyczek przeglądarki i rozszerzeń.

Chociaż oceniane ruchy twarzy i gałek ocznych nie są tak precyzyjne, jak mogłyby być w okolicznościach, w których użyto byłoby dedykowane ramy lokalnego uczenia maszynowego (takie jak seria YOLO), to prawie bezproblemowe podejście do oceny publiczności zapewnia wystarczającą dokładność do ogólnej analizy nastawienia i postawy w typowych scenariuszach wideokonferencyjnych. Przede wszystkim jest to bardzo tanie.

Zobacz powiązany film projektu poniżej, aby uzyskać więcej szczegółów i przykładów.

Pierwotnie opublikowane 11 kwietnia 2022.