Andersonin kulma
Tekoäly auttaa jännittyneitä puhujia tulkitsemaan yleisön reaktioita videoneuvotteluissa

Keskeiset kohdatCalmResponses käyttää vain verkkokameraa ja selainta yleisön nyökyttelyn ja katseen…
Näytä lisää
- CalmResponses käyttää vain verkkokameraa ja selainta yleisön nyökyttelyn ja katseen seuraamiseen ilman lisälaitteita.
- Järjestelmä vähensi puhujien täytesanoja visualisoimalla yleisön kollektiivisia reaktioita videoneuvottelujen aikana.
- Yleisön jäsenet kokivat olevansa enemmän mukana, kun heidän päänliikkeensä yhdistettiin anonyymisti puhujalle.
Vuonna 2013 tehdyn tutkimuksen mukaan julkisen puhumisen pelko oli pahempi kuin kuoleman pelko useimmille vastaajille. Tämä oireyhtymä tunnetaan nimellä glossofobia.
COVID-19-pandemian aiheuttama siirtyminen “kasvokkain”-kokouksista online-zoom-kokouksiin alustoilla kuten Zoom ja Google Spaces ei ole yllättäen parantanut tilannetta. Kun kokouksessa on suuri määrä osallistujia, luonnollinen uhka-arviointikyky heikentyy matalaresoluutioisten osallistujien rivien ja ikonien vuoksi, ja vaikeus lukea hienoja visuaalisia signaaleja kasvojen ilmeestä ja kehon kielen vuoksi. Esimerkiksi Skype on osoittautunut huonoksi alustaksi ei-sanallisten vihjeiden välittämiseen.
Havaitun kiinnostuksen ja reagoinnin vaikutukset julkisen puhumisen onnistumiseen ovat hyvin dokumentoituja, ja intuitiivisesti ilmeisiä useimmille meistä. Epäselvä yleisön reagointi voi aiheuttaa puhujan epäröinnin ja paluun täytelauseisiin, tietämättä, kohtaavatko heidän argumenttinsa hyväksynnän, halveksunnan vai välinpitämättömyyden, usein aiheuttaen epämukavan kokemuksen sekä puhujalle että kuulijalle.
Paineen alaisena odottamattoman siirtymisen vuoksi online-videoneuvotteluihin COVID-19-rajoitusten ja varotoimien vuoksi ongelma on väitetysti pahentunut, ja useita parantavia yleisön palautemenetelmiä on ehdotettu tietokoneen näön ja tunnetutkimuksen yhteisöissä viimeisten kahden vuoden aikana.
Laitteistopohjaiset ratkaisut
Näistä useimmat kuitenkin vaativat lisälaitteita tai monimutkaisia ohjelmistoja, jotka voivat aiheuttaa yksityisyyden tai logistiikan ongelmia – suhteellisen korkean kustannuksen tai muuten resursseja rajoittavat lähestymistavat, jotka edeltävät pandemiaa. Vuonna 2001 MIT ehdotti Galvactivatoria, käsiin kiinnitettävää laitetta, joka arvioi yleisön tunteita, testattuna yhden päivän symposiumissa.

Vuonna 2001 MIT:n Galvactivator, joka mitasi ihon sähkönjohtavuusvastetta yrittääkseen ymmärtää yleisön mielipidettä ja sitoutumista. Lähde: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf
Myös akateemisessa piirissä on panostettu “klikkereiden” käyttöön yleisön reagointijärjestelmänä (ARS), joka on keino lisätä yleisön aktiivista osallistumista (joka lisää automaattisesti sitoutumista, koska se pakottaa katsojan aktiivisen palautteen rooliin), mutta jota on myös nähty keinona rohkaista puhujaa.
Muita yrityksiä “yhdistää” puhuja ja yleisö ovat olleet sykkeen seuranta, monimutkaisen kehon kiinnityslaitteiston käyttö hyödyntämällä elektroenkefalograafiaa, kannustuksen voimakkuuden mittarit, tietokoneen näön perustuva tunteiden tunnistus pöytätyöntekijöille, ja yleisön lähettämien emoticonien käyttö puhujan puheen aikana.

Vuonna 2017 EngageMeter, yhteinen akateeminen tutkimushanke LMU Munichista ja Stuttgartin yliopistosta. Lähde: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf
Yksityinen sektori on kiinnostunut katseen arvioinnista ja seurannasta osana tuottoisaa yleisöanalytiikkaa – järjestelmissä, joissa kunkin yleisön jäsenen (joka voi puolestaan puhua) silmänliikkeitä seurataan silmänliikkeen seurannan avulla kiinnostuksen ja hyväksymisen mittarina.
Kaikki nämä menetelmät ovat melko kitkaisia. Monet niistä vaativat erikoislaitteita, laboratorio-olosuhteita, erityisiä ja räätälöityjä ohjelmistoja ja maksullisia kaupallisia API:ja – tai yhdistelmän näistä rajoittavista tekijöistä.
Siksi yksinkertaisten järjestelmien kehittäminen, jotka perustuvat vain yleisiin videoneuvotteluvälineisiin, on tullut kiinnostavaksi viimeisten 18 kuukauden aikana.
Yleisön hyväksynnän välittäminen huomaamattomasti
Tähän tarkoitukseen uusi tutkimusyhteistyö Tokion yliopiston ja Carnegie Mellonin yliopiston välillä tarjoaa uuden järjestelmän, joka voi hyödyntää standardivideoneuvotteluohjelmia (kuten Zoom) käyttämällä vain web-kameran käyttöä mahdollistavaa verkkosivua, jolla kevyt silmänliikkeen ja asennon arviointiohjelmisto on käynnissä. Tällä tavoin jopa paikallisten selainlaajennusten tarve voidaan välttää.
Käyttäjän nyökkäykset ja arvioidut silmän huomio ovat muunnettavissa edustavaksi dataksi, joka visualisoidaan puhujalle, mahdollistaen “live”-litmus-testin siitä, missä määrin sisältö kiinnittää yleisön – ja myös vähintään epämääräinen osoitus puheen jaksoista, joissa puhuja saattaa menettää yleisön kiinnostuksen.

CalmResponsesissa käyttäjän huomio ja nyökkäys lisätään yleisön palautepooliin ja muunnetaan visuaaliseksi edustukseksi, josta puhuja voi hyötyä. Katso upotettu video artikkelin lopusta lisätietoja ja esimerkkejä. Lähde: https://www.youtube.com/watch?v=J_PhB4FCzk0
Monissa akateemisissa tilanteissa, kuten verkkoluennoilla, opiskelijat saattavat jäädä puhujalle näkymättömiksi, koska he eivät halua näyttää taustaansa tai senhetkistä ulkonäköään videolla. CalmResponses voi välittää tietoa heidän katseestaan ja nyökkäyksistään ilman, että heidän videokuvaansa jaetaan muille osallistujille. Verkkokameraa tarvitaan silti liikkeiden paikalliseen tallentamiseen ja analysointiin.
Artikkelin otsikko on CalmResponses: Displaying Collective Audience Reactions in Remote Communication, ja se on yhteistyö kahden tutkijan välillä UoT:sta ja yhden Carnegie Mellonista.
Tekijät tarjoavat live-web-demon ja ovat julkaisseet lähdekoodin GitHubissa.
CalmResponses-kehys
CalmResponsesin kiinnostus nyökkäyksiin, verrattuna muihin mahdollisiin asentoihin, perustuu tutkimukseen (jota osa juontaa Darwinin aikaan), joka osoittaa, että yli 80 % kaikkien kuulijoiden pään liikkeistä koostuu nyökkäyksistä (jopa silloin, kun he ilmaisevat erimielisyyttä). Samalla silmänliikkeet on osoittautunut useiden tutkimusten mukaan luotettavaksi kiinnostuksen tai sitoutumisen mittariksi.
CalmResponses on toteutettu HTML:llä, CSS:llä ja JavaScriptillä, ja se koostuu kolmesta alijärjestelmästä: yleisön asiakasohjelmasta, puhujan asiakasohjelmasta ja palvelimesta. Yleisön asiakasohjelma välittää silmänliikkeen tai pään liikkeen tietoja käyttäjän web-kameran kautta WebSocketsin yli pilvi-sovellusalustaan Herokuun.

Yleisön nyökkäykset visualisoidaan oikealla animoidussa liikkeessä CalmResponsesissa. Tässä tapauksessa liikkeen visualisointi on käytettävissä sekä puhujalle että koko yleisölle. Lähde: https://arxiv.org/pdf/2204.02308.pdf
Silmänliikkeen osalta tutkijat käyttivät WebGazeria, kevyttä, JavaScript-pohjaista selainpohjaista silmänliikkeen seurantakehystä, joka voi toimia matalalla viiveellä suoraan verkkosivulta (katso yllä oleva linkki tutkijoiden omasta web-pohjaisesta toteutuksesta).
Koska yksinkertaisen toteutuksen ja karkean, yhteisen palautteen tunnistamisen tarve ylittää tarkin silmänliikkeen ja asennon arvioinnin tarpeen, syötteen asento-dataa tasoitetaan keskiarvojen mukaan ennen kuin se otetaan huomioon koko palautteen arvioinnissa.
Nyökkäysten arviointi tehdään JavaScript-kirjastolla clmtrackr, joka sovittaa kasvojen malleja havaittuihin kasvoihin kuvissa tai videoissa regularisoitua kasvojen maamerkkien mean-shift-menetelmää kautta. Taloudellisuuden ja matalan viiveen vuoksi vain nenän havaittua maamerkkiä seurataan aktiivisesti tutkijoiden toteutuksessa, koska se riittää nyökkäysten seuraamiseen.

Käyttäjän nenän kärjen liikkeen muodostama polku vaikuttaa yleisön palautepooliin, joka liittyy nyökkäyksiin, visualisoidaan aggregoituun muotoon kaikille osallistujille.
Lämpökartta
Kun nyökkäykset ovat edustettuina dynaamisina liikkuvin pistein (katso yllä olevat kuvat ja video), visuaalinen huomio ilmoitetaan lämpökartan avulla, joka osoittaa puhujalle ja yleisölle, missä yleisen huomion keskipiste on kohdistettu jaettuun esitystilaan tai videoneuvotteluympäristöön.

Kaikki osallistujat voivat nähdä, missä yleinen huomio on kohdistettu. Artikkelissa ei mainita, onko tämä toiminto käytettävissä, kun käyttäjä voi nähdä “gallerian” muiden osallistujien kanssa, mikä voisi paljastaa epäaidon keskittymisen yhteen tiettyyn osallistujaan monista syistä.
Testit
CalmResponsesille muodostettiin kaksi testiympäristöä, jotka vastasivat käytännössä ablaatiotutkimusta ja joissa käytettiin kolmea koetilannetta: “Ehto B” (perusviite), tutkijat toistivat tyypillisen verkkoluentoa, jossa useimmat opiskelijat pitivät web-kameroitaan kiinni eikä puhuja voinut nähdä yleisön kasvoja; “Ehto CR-E”, puhuja voi nähdä silmänliikkeen palautteen (lämpökartat); “Ehto CR-N”, puhuja voi nähdä sekä nyökkäysten että silmänliikkeen toiminnan yleisöltä.
Ensimmäinen kokeellinen skenaario käsitti ehdot B ja CR-E; toinen käsitti ehdot B ja CR-N. Palautetta kerättiin sekä puhujilta että yleisöltä.
Kussakin kokeessa arvioitiin kolme tekijää: esityksen objektiivinen ja subjektiivinen arviointi (mukaan lukien puhujan itsearvio siitä, miten esitys sujui); “täytelauseiden” määrä, joka viittaa hetkelliseen epävarmuuteen ja epäröintiin; ja laadulliset kommentit. Nämä kriteerit ovat yleisiä arvioita puhujan suorituskyvystä ja ahdistuksesta.
Testipooli koostui 38:sta 19-44-vuotiaasta henkilöstä, joista 29 oli miehiä ja 9 naisia, keski-ikä 24,7, kaikki japanilaisia tai kiinalaisia ja kaikki sujuvasti japania puhuvia. Heidät jaettiin satunnaisesti kuuteen ryhmään, joissa oli 5–7 osallistujaa, ja kukaan tutkimuksen kohteista ei tuntenut toisiaan henkilökohtaisesti.
Kokeet tehtiin Zoomissa, jossa viisi puhujaa piti esityksiä ensimmäisessä kokeessa ja kuusi toisessa.

Täytelauseiden ehdot on merkitty oransseilla laatikoilla. Yleisesti ottaen täytepuhe väheni suunnilleen samassa suhteessa kuin järjestelmän välittämä yleisöpalaute lisääntyi.
Tutkijat huomauttavat, että yhden puhujan täytelauseet vähenivät merkittävästi, ja “Ehto CR-N” -tapauksessa puhuja harvoin lausui täytelauseita. Katso artikkeli yksityiskohtaisista ja yksityiskohtaisista tuloksista; kuitenkin merkittävimmät tulokset olivat puhujien ja yleisön subjektiivisissa arvioissa.
Yleisön kommentit sisälsivät:
‘Tunsin, että olin mukana esityksissä” [AN2], “En ollut varma, paranivatko puhujien esitykset, mutta tunsin ykseyden tunteen muiden pään liikkeiden visualisoinnista.’ [AN6]
‘En ollut varma, paranivatko puhujien esitykset, mutta tunsin ykseyden tunteen muiden pään liikkeiden visualisoinnista.’
Tutkijat huomauttavat, että järjestelmä tuo uudenlaisen keinotekoisen tauon puhujan esitykseen, koska puhuja on taipuvainen viittaamaan visuaaliseen järjestelmään arvioidakseen yleisön palautteen ennen kuin jatkaa eteenpäin.
He myös huomauttavat valkotakkivaikutuksesta, jota on vaikea välttää kokeellisissa olosuhteissa, jossa jotkut osallistujat tunsivat itsensä rajoitetuksi biometrisen datan mahdollisten turvallisuusvaikutusten vuoksi.
Johtopäätös
Yksi merkittävä etu järjestelmässä kuten tässä on, että kaikki ei-standardeihin liittyvät teknologiat, joita tarvitaan tällaiseen lähestymistapaan, häviävät kokonaan sen jälkeen, kun niiden käyttö on päättynyt. Ei ole jäljellä selainlaajennuksia, joita pitäisi poistaa, tai jotka voivat herättää epäilyjä osallistujien mielessä siitä, pitäisikö niitä pitää järjestelmissään; ja ei ole tarpeen opastaa käyttäjiä asennusprosessin läpi (vaikka web-pohjainen kehys vaatii minuutin tai kahden alkukalibroinnin käyttäjältä), tai navigoida mahdollisuuden, että käyttäjillä ei ole riittäviä käyttöoikeuksia asentaa paikallista ohjelmistoa, mukaan lukien selainpohjaiset lisäosat ja laajennukset.
Arvioidut kasvojen ja silmien liikkeet eivät ole yhtä tarkkoja kuin ne voisivat olla olosuhteissa, joissa käytetään omia paikallisia koneoppimisohjelmistoja (kuten YOLO-sarja), mutta tämä melkein kitkaton lähestymistapa yleisön arviointiin tarjoaa riittävän tarkan tunteen ja asenteen analyysin tyypillisissä videoneuvottelutilanteissa. Kaiken kaikkiaan se on hyvin halpaa.
Katso liittyvä projekti-video alla lisätietoja ja esimerkkejä.
Julkaistu ensimmäisen kerran 11. huhtikuuta 2022.












