Äly tukee hermostuneita puhujia “lukemalla huoneen” videoneuvotteluissa

Vuonna 2013 tehdyn tutkimuksen mukaan julkisen puhumisen pelko oli pahempi kuin kuoleman pelko useimmille vastaajille. Tämä oireyhtymä tunnetaan nimellä glossofobia.

COVID-19-pandemian aiheuttama siirtyminen “kasvokkain”-kokouksista online-zoom-kokouksiin alustoilla kuten Zoom ja Google Spaces ei ole yllättäen parantanut tilannetta. Kun kokouksessa on suuri määrä osallistujia, luonnollinen uhka-arviointikyky heikentyy matalaresoluutioisten osallistujien rivien ja ikonien vuoksi, ja vaikeus lukea hienoja visuaalisia signaaleja kasvojen ilmeestä ja kehon kielen vuoksi. Esimerkiksi Skype on osoittautunut huonoksi alustaksi ei-sanallisten vihjeiden välittämiseen.

Julkisen puhumisen suorituskyvyn vaikutukset havaitusta kiinnostuksesta ja reagoinnista ovat hyvin dokumentoituja, ja intuitiivisesti ilmeisiä useimmille meistä. Epäselvä yleisön reagointi voi aiheuttaa puhujan epäröinnin ja paluun täytelauseisiin, tietämättä, kohtaavatko heidän argumenttinsa hyväksynnän, halveksunnan tai kiinnostuksen, usein aiheuttaen epämukavan kokemuksen sekä puhujalle että kuulijalle.

Paineen alaisena odottamattoman siirtymisen vuoksi online-videoneuvotteluihin COVID-19-rajoitusten ja varotoimien vuoksi ongelma on väitetysti pahentunut, ja useita parantavia yleisön palautemenetelmiä on ehdotettu tietokoneen näön ja vaikutustutkimuksen yhteisöissä viimeisten kahden vuoden aikana.

Laitteistopohjaiset ratkaisut

Näistä useimmat kuitenkin vaativat lisälaitteita tai monimutkaisia ohjelmistoja, jotka voivat aiheuttaa yksityisyyden tai logistiikan ongelmia – suhteellisen korkean kustannuksen tai muuten resursseja rajoittavat lähestymistavat, jotka edeltävät pandemiaa. Vuonna 2001 MIT ehdotti Galvactivatoria, käsiin kiinnitettävää laitetta, joka arvioi yleisön tunteita, testattuna yhden päivän symposiumissa.

Vuonna 2001 MIT:n Galvactivator, jka mitasi ihon sähkönjohtavuusvastetta yrittääkseen ymmärtää yleisön mielipidettä ja sitoutumista. Lähde: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Myös akateemisessa piirissä on panostettu “klikkereiden” käyttöön yleisön reagointijärjestelmänä (ARS), joka on keino lisätä yleisön aktiivista osallistumista (joka lisää automaattisesti sitoutumista, koska se pakottaa katsojan aktiivisen palautteen rooliin), mutta jota on myös nähty keinojen puhujan rohkaisemiseen.

Muita yrittäjiä “yhdistää” puhuja ja yleisö ovat olleet sykevälivaihteluiden seuranta, monimutkaisen kehon kiinnityslaitteiston käyttö hyödyntämällä elektroenkefalograafiaa, “hurratukseen”, tietokoneen näön perustuva tunteiden tunnistus pöytätyöntekijöille, ja yleisön lähettämien emoticonien käyttö puhujan puheen aikana.

Vuonna 2017 EngageMeter, yhteinen akateeminen tutkimushanke LMU Munichista ja Stuttgartin yliopistosta. Lähde: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Yleisön tarkkailun osana on myös kiinnostus silmänliikkeen arvioimiseen ja seuraamiseen – järjestelmissä, joissa kunkin yleisön jäsenen (joka voi puolestaan puhua) silmänliikkeitä seurataan silmänliikkeen seurannan avulla kiinnostuksen ja hyväksymisen mittarina.

Kaikki nämä menetelmät ovat melko kitkaisia. Monet niistä vaativat erikoislaitteita, laboratorio-olosuhteita, erityisiä ja räätälöityjä ohjelmistoja ja maksullisia kaupallisia API:ja – tai yhdistelmän näistä rajoittavista tekijöistä.

Siksi yksinkertaisten järjestelmien kehittäminen, jotka perustuvat vain yleisiin videoneuvotteluvälineisiin, on tullut kiinnostavaksi viimeisten 18 kuukauden aikana.

Yleisön hyväksymisen ilmoittaminen häikäilemättömästi

Tähän tarkoitukseen uusi tutkimusyhteistyö Tokion yliopiston ja Carnegie Mellonin yliopiston välillä tarjoaa uuden järjestelmän, joka voi hyödyntää standardivideoneuvotteluohjelmia (kuten Zoom) käyttämällä vain web-kameran käyttöä mahdollistavaa verkkosivua, jolla kevyt silmänliikkeen ja asennon arviointiohjelmisto on käynnissä. Tällä tavoin jopa paikallisten selainlaajennusten tarve voidaan välttää.

Käyttäjän niskan liikkeet ja arvioidut silmän huomio ovat translatioitavissa edustavaksi dataksi, joka visualisoidaan puhujalle, mahdollistaen “live”-litmus-testin siitä, missä määrin sisältö kiinnittää yleisön – ja myös vähintään epämääräinen osoitus puheen jaksoista, joissa puhuja saattaa menettää yleisön kiinnostuksen.

CalmResponsesissa käyttäjän huomio ja niskan liike lisätään yleisön palautepooliin ja translatoidaan visuaaliseksi edustukseksi, josta puhuja voi hyötyä. Katso upotettu video artikkelin lopusta lisätietoja ja esimerkkejä. Lähde: https://www.youtube.com/watch?v=J_PhB4FCzk0

Monissa akateemisissa tilanteissa, kuten online-luennoilla, opiskelijat saattavat olla täysin näkymättömiä puhujalle, koska he eivät ole kääntäneet kameransa päälle itseään koskevien taustojen tai ulkonäön vuoksi. CalmResponses voi ratkaista tämän muuten vaikean esteen puhujan palautteen saamiselle ilmoittamalla, mitä se tietää puhujan katseesta ja niskan liikkeestä ilman, että katsojan on aktivoitava kamera.

Artikkelin otsikko on CalmResponses: Displaying Collective Audience Reactions in Remote Communication, ja se on yhteistyö kahden tutkijan välillä UoT:sta ja yhden Carnegie Mellonista.

Tekijät tarjoavat live-web-demon ja ovat julkaisseet lähdekoodin GitHubissa.

CalmResponses-kehys

CalmResponsesin kiinnostus niskan liikkeisiin, verrattuna muihin mahdollisiin asentoihin, perustuu tutkimukseen (jota osa juontaa Darwinin aikaan), joka osoittaa, että yli 80 % kaikkien kuulijoiden pään liikkeistä koostuu niskan liikkeistä (jopa silloin, kun he ilmaisevat erimielisyyttä). Samalla silmänliikkeet on osoittautunut useiden tutkimusten mukaan luotettavaksi kiinnostuksen tai sitoutumisen mittariksi.

CalmResponses on toteutettu HTML:llä, CSS:llä ja JavaScriptillä, ja se koostuu kolmesta alijärjestelmästä: yleisön asiakasohjelmasta, puhujan asiakasohjelmasta ja palvelimesta. Yleisön asiakasohjelma välittää silmänliikkeen tai pään liikkeen tietoja käyttäjän web-kameran kautta WebSocketsin yli pilvi-sovellusalustaan Herokuun.

Yleisön niskan liikkeet visualisoidaan oikealla animoidussa liikkeessä CalmResponsesissa. Tässä tapauksessa liikkeen visualisointi on käytettävissä sekä puhujalle että koko yleisölle. Lähde: https://arxiv.org/pdf/2204.02308.pdf

Silmänliikkeen osalta tutkijat käyttivät WebGazeria, kevyttä, JavaScript-pohjaista selainpohjaista silmänliikkeen seurantakehystä, joka voi toimia matalalla viiveellä suoraan verkkosivulta (katso yllä oleva linkki tutkijoiden omasta web-pohjaisesta toteutuksesta).

Koska yksinkertaisen toteutuksen ja karkean, yhteisen palautteen tunnistamisen tarve ylittää tarkin silmänliikkeen ja asennon arvioinnin tarpeen, syötteen asento-dataa sileitetään keskiarvojen mukaan ennen kuin se otetaan huomioon koko palautteen arvioinnissa.

Niskan liikkeen arviointi tehdään JavaScript-kirjastolla clmtrackr, joka sovittaa kasvojen malleja havaittuihin kasvoihin kuvissa tai videoissa säänneltyä merkintäkeskiarvon siirtymisen kautta. Taloudellisuuden ja matalan viiveen vuoksi vain nenän havaittu merkintä seurataan aktiivisesti tutkijoiden toteutuksessa, koska se riittää niskan liikkeen seuraamiseen.

Käyttäjän nenän kärjen liikkeen muodostama polku vaikuttaa yleisön palautepooliin, joka liittyy niskan liikkeisiin, visualisoidaan aggregoituun muotoon kaikille osallistujille.

Lämpökartta

Kun niskan liikkeet ovat edustettuina dynaamisina liikkuvin pistein (katso yllä olevat kuvat ja video), visuaalinen huomio ilmoitetaan lämpökartan avulla, joka osoittaa puhujalle ja yleisölle, missä yleisen huomion keskipiste on kohdistettu jaettuun esitystilaan tai videoneuvotteluympäristöön.

Kaikki osallistujat voivat nähdä, missä yleinen huomio on kohdistettu. Artikkelissa ei mainita, onko tämä toiminto käytettävissä, kun käyttäjä voi nähdä “gallerian” muiden osallistujien kanssa, mikä voisi paljastaa epäaidon keskittymisen yhteen tiettyyn osallistujaan monista syistä.

Testit

Kaksi testiympäristöä muodostettiin CalmResponsesille muodossa, jossa tehtiin kolme erilaista olosuhteiden joukkoa: “Ehto B” (perusviite), tutkijat toistivat tyypillisen online-opiskelijaluen, jossa useimmat opiskelijat pitivät web-kameroitaan kiinni eivätkä puhuja voinut nähdä yleisön kasvoja; “Ehto CR-E”, puhuja voi nähdä silmänliikkeen palautteen (lämpökartat); “Ehto CR-N”, puhuja voi nähdä sekä niskan liikkeen että silmänliikkeen toiminnan yleisöltä.

Ensimmäinen kokeellinen skenaario käsitti ehdot B ja CR-E; toinen käsitti ehdot B ja CR-N. Palautetta kerättiin sekä puhujilta että yleisöltä.

Kussakin kokeessa arvioitiin kolme tekijää: esityksen objektiivinen ja subjektiivinen arviointi (mukaan lukien puhujan itsearvio siitä, miten esitys sujui); “täytelauseiden” määrä, joka viittaa hetkelliseen epävarmuuteen ja epäröintiin; ja laadulliset kommentit. Nämä kriteerit ovat yleisiä arvioita puhujan suorituskyvystä ja ahdistuksesta.

Testipooli koostui 38:sta 19-44-vuotiaasta henkilöstä, joista 29 oli miehiä ja 9 naisia, keski-ikä 24,7, kaikki japanilaisia tai kiinalaisia ja kaikki sujuvasti japania puhuvia. Heidät jaettiin satunnaisesti viiteen ryhmään, 6-7 osallistujaa, ja kukaan tutkimuksen kohteista ei tuntenut toisiaan henkilökohtaisesti.

Kokeet tehtiin Zoomissa, jossa viisi puhujaa piti esityksiä ensimmäisessä kokeessa ja kuusi toisessa.

Täytelauseiden ehdot on merkitty oransseilla laatikoilla. Yleisesti ottaen täytelauseiden sisältö oli suhteessa lisääntyneeseen yleisön palautteeseen järjestelmästä.

Tutkijat huomauttavat, että yhden puhujan täytelauseet vähenivät merkittävästi, ja “Ehto CR-N” -tapauksessa puhuja harvoin lausui täytelauseita. Katso artikkeli yksityiskohtaisista ja yksityiskohtaisista tuloksista; kuitenkin merkittävimmät tulokset olivat puhujien ja yleisön subjektiivisissa arvioissa.

Yleisön kommentit sisälsivät:

‘Tunsin, että olin mukana esityksissä” [AN2], “En ollut varma, paransivatko puhujien puheet, mutta tunsin ykseyden tunteen muiden pään liikkeiden visualisoinnista.’ [AN6]

‘En ollut varma, paransivatko puhujien puheet, mutta tunsin ykseyden tunteen muiden pään liikkeiden visualisoinnista.’

Tutkijat huomauttavat, että järjestelmä tuo uudenlaisen keinotekoisen tauon puhujan esitykseen, koska puhuja on taipuvainen viittaamaan visuaaliseen järjestelmään arvioidakseen yleisön palautteen ennen kuin jatkaa eteenpäin.

He myös huomauttavat “valkoinen takki” -vaikutuksesta, jota on vaikea välttää kokeellisissa olosuhteissa, jossa jotkut osallistujat tunsivat itsensä rajoitetuksi biometrisen datan mahdollisten turvallisuusvaikutusten vuoksi.

Johtopäätös

Yksi merkittävä etu järjestelmässä kuten tässä on, että kaikki ei-standardeihin liittyvät teknologiat, joita tarvitaan tällaiseen lähestymistapaan, häviävät kokonaan sen jälkeen, kun niiden käyttö on päättynyt. Ei ole jäljellä selainlaajennuksia, joita pitäisi poistaa, tai jotka voivat herättää epäilyjä osallistujien mielessä siitä, pitäisikö niitä pitää järjestelmissään; ja ei ole tarpeen opastaa käyttäjiä asennusprosessin läpi (vaikka web-pohjainen kehys vaatii muutaman minuutin alkuasettelua käyttäjältä), tai navigoida mahdollisuuden, että käyttäjillä ei ole riittäviä käyttöoikeuksia asentaa paikallista ohjelmistoa, mukaan lukien selainpohjaiset lisäosat ja laajennukset.

Arvioidut kasvojen ja silmien liikkeet eivät ole yhtä tarkkoja kuin ne voisivat olla olosuhteissa, joissa käytetään omia paikallisia koneoppimisohjelmistoja (kuten YOLO-sarja), mutta tämä melkein kitkaton lähestymistapa yleisön arviointiin tarjoaa riittävän tarkan tunteen ja asenteen analyysin tyypillisissä videoneuvottelutilanteissa. Kaiken kaikkiaan se on hyvin halpaa.

Katso liittyvä projekti-video alla lisätietoja ja esimerkkejä.

Julkaistu ensimmäisen kerran 11. huhtikuuta 2022.