Työpaikalla tapahtuvan työntekijöiden stressin tunnistaminen kasvojen analyysin avulla

Työskentelemisen kulttuurin muuttuessa ja Zoom-kokousten etiketin kehittyessä, Cambridgesta lähtöisin olevat tutkijat ovat julkaisseet tutkimuksen, jossa käytetään koneoppimista työntekijöiden stressin määrittämiseen heidän kasvojen ilmeidensä perusteella työpaikalla.

Vasemmalla, tietojen keräämisympäristö, jossa useita seurantalaitteita on kohdistettu vapaaehtoiseen tai kiinnitetty häneen; oikealla, esimerkki kasvojen ilmeistä, jotka kokeen osallistujat loivat tehtävien vaikeustason mukaan. Lähde: https://arxiv.org/pdf/2111.11862.pdf

Tutkimus on tarkoitettu tunteiden analyysiin (eli emotion tunnistamiseen) “Ambient Assistive Living” -järjestelmissä, ja sen tarkoituksena on mahdollisesti ottaa käyttöön videopohjaiset kasvojen ilmeiden seurantajärjestelmät näissä järjestelmissä; vaikka tutkimusraportti ei laajene tähän asiaan, tutkimustyö ei ole mielekästä muussa kontekstissa.

Tutkimuksen tarkoituksena on oppia kasvojen ilmeiden malleja työpaikalla – myös etätyöjärjestelyissä – eikä “virkistys” tai “passiivisissa” tilanteissa, kuten matkustettaessa.

Kasvojen perusteella tapahtuva emotion tunnistaminen työpaikalla

Vaikka “Ambient Assistive Living” saattaa kuulostaa vanhustenhoitojärjestelmältä, se ei ole sitä. Puhuttaessa tutkimuksen lopputuotteiden käyttäjistä, tutkijat toteavat*:

‘Järjestelmät, jotka on luotu ambient assistive living -ympäristöihin [†], pyrkivät pystymään sekä automaattiseen tunteiden analyysiin että vastaamiseen. Ambient assistive living perustuu tieto- ja viestintätekniikan (ICT) käyttöön henkilön jokapäiväisessä elämässä ja työssä, jotta he voivat pysyä terveempinä ja toimintakykyisinä pidempään ja elää itsenäisemmin vanhetessaan. Näin ollen, ambient assistive living pyrkii helpottamaan terveydenhuollon työntekijöiden, sairaanhoitajien, lääkärien, tehdastyöntekijöiden, kuljettajien, lentäjien, opettajien sekä useiden muiden alojen työntekijöiden työtä havainnoimalla, arvioimalla ja puuttumalla.

‘Järjestelmän tarkoituksena on määrittää fyysinen, emotionaalinen ja henkinen rasitus ja vastata ja sopeutua tarpeen mukaan, esimerkiksi auto, jossa on uneliaisuuden havaitseminen, voi ilmoittaa kuljettajalle, että hänen on oltava valppaana ja ehdottaa hänelle lyhyttä taukoa onnettomuuksien välttämiseksi [††].’

Tutkimusraportti on nimeltään Inferring User Facial Affect in Work-like Settings, ja se on tehty Cambridgen yliopiston Affective Intelligence & Robotics Labissa työskentelevien kolmen tutkijan toimesta.

Kokeen olot

Koska aiemmat tutkimukset tässä aiheessa ovat perustuneet pääasiassa internetistä kerättyihin kuvakokoelmiin, Cambridgesta lähtöisin olevat tutkijat suorittivat paikallisia kokeita 12 vapaaehtoisen kanssa, joista 5 oli miehiä ja 7 naisia. Vapaaehtoiset olivat 9 eri maasta ja heidän ikänsä oli 22-41 vuotta.

Tutkimuksen tavoitteena oli jäljitellä kolmea työpaikkaa, joissa työntekijät voivat kokea stressiä: toimisto; tehdas; ja etäkokous – kuten Zoom-ryhmäkeskustelu, josta on tullut yleinen osa etätyötä pandemian aikana.

Kokeen osallistujia seurattiin eri tavoin, muun muassa kolmen kameran, Jabra-kaulamikrofonin, Empatica-rannetuskaalutin (langattoman monisensorisen biosignaali- ja liiketunnistimen) ja Muse 2 -päälaiteanturin avulla. Lisäksi vapaaehtoiset pyydettiin täyttämään kyselyitä ja arvioimaan omaa mielialaansa säännöllisesti.

Tämä ei kuitenkaan tarkoita, että tulevaisuuden Ambient Assistive Living -laitteet tulevat “liittämään” työntekijät laitteisiinsa; kaikki kokeen aikana käytetyt seurantalaitteet ja -menetelmät, mukaan lukien kirjalliset itsearviot, on tarkoitettu vahvistamaan kasvojen ilmeiden perusteella tapahtuvaa tunteiden tunnistamista, jota voidaan tehdä kameran avulla.

Lisääntynyt paine: Toimistotilanne

Ensimmäisessä kahdessa kokeen kolmesta tilanteesta (“Toimisto” ja “Tehdas”) vapaaehtoiset aloittivat helpolla tahdilla, ja painetta lisättiin asteittain neljässä vaiheessa, joissa oli erilaisia tehtäviä kussakin.

korkeimman aiheutetun stressin tasolla vapaaehtoiset joutuivat myös kestämään “valkoisen takin vaikutuksen” eli jonkun seuraamisen ja 85 desibelin lisämelua, joka on vain viisi desibeliä alle Yhdysvaltain lakisääteisen toimistorakennuksen melun enimmäismäärän ja täsmälleen kansallisen työturvallisuuden ja terveyden instituutin (NIOSH) määrittämä enimmäismäärä.

Toimistotilanteessa kokeen aikana osallistujat pyydettiin muistamaan aikaisemmin heidän ruudulleen ilmestyneitä kirjaimia, joiden vaikeustaso kasvoi (kuten muistamalla kaksi kirjainta, jotka olivat näkyneet kaksi ruutua aikaisemmin).

Tehdastilanne

Jotta voidaan simuloida manuaalista työympäristöä, osallistujat pyydettiin pelaamaan “Operation” -peliä, jossa vaaditaan taituruutta ja tarkkuutta poistamalla pieniä esineitä laudasta kapeiden, metallirenkaisten aukkojen kautta ilman, että osutaan reunoihin, mikä laukaistaan virheenmerkkiäänen.

Kun vaikein vaihe saavutettiin, vapaaehtoiset haastettiin poistamaan kaikki 12 esinettä ilman virhettä yhden minuutin kuluessa. Vertailun vuoksi maailmanennätys tässä tehtävässä on 12,68 sekuntia, jonka asetti Iso-Britannia vuonna 2019.

Etäkokoustilanne

Lopulta etätyö/etäkokouskokeessa vapaaehtoiset pyydettiin muistamaan omat positiiviset ja negatiiviset muistot MS Teams -puhelun kautta. Kokeen vaikeimmassa vaiheessa vapaaehtoisten pyydettiin muistamaan hyvin negatiivinen tai surullinen muisto heidän lähihistoriastaan.

Eri tehtävät ja tilanteet suoritettiin satunnaisessa järjestyksessä ja koottiin yhteen “Working-Environment-Context-Aware Dataset” (WECARE-DB) -tietokantaan.

Menetelmä ja koulutus

Kokeen osallistujien itsearvioiden tuloksia käytettiin vertailuarvona ja ne kartoitettiin valenssi- ja hermostusulottuvuuksiin. Kokeen videomateriaalia käytettiin kasvojen muotojen havaitsemisessa ja kuvat syötettiin ResNet-18 -verkkoon, joka oli koulutettu AffectNet -tietokannassa.

450 000 AffectNetistä otettua kuvaa, jotka oli poimittu internetistä tunteita koskevien hakujen avulla, oli merkitty käsin, tutkimusraportti toteaa, valenssi- ja hermostusulottuvuuksilla.

Seuraavaksi tutkijat jalostivat verkkoa ainoastaan omalla WECARE -tietokannallaan, ja spektrin esitysmuotoa käytettiin kehyskohtaisen ennusteen yhteenvetoon.

Tulokset

Mallin suorituskykyä arvioitiin kolmella yleisimmin automaattiseen tunteiden ennustamiseen liittyvällä mittarilla: Concordance Coefficient Correlation; Pearson Coefficient Correlation; ja Root Mean Square Error (RMSE).

Tutkijat toteavat, että heidän WECARE -tietokantaan perustuva malli suoriutui paremmin kuin ResNet-18, ja he päättelevät tästä, että kasvojen ilmeet, joita hallitsemme työpaikalla, poikkeavat paljon abstraktimmista konteksteista, joista aiemmat tutkimukset ovat peräisin internetistä.

He toteavat:

‘Tarkastelemalla taulukkoa havaitsemme, että WECARE-DB:hen perustuva malli suoriutui paremmin kuin AffectNetiin perustuva ResNet-18 -malli, mikä osoittaa, että työpaikalla ilmenevät kasvojen ilmeet eroavat internetin käytännön tilanteista. Näin ollen on tarpeen hankkia tietokantoja ja kouluttaa malleja kasvojen ilmeiden tunnistamiseen työpaikalla.’

Työpaikalla tapahtuvan tunteiden tunnistamisen tulevaisuudesta, jota mahdollistavat kameraverkot, jotka on kohdistettu työntekijöihin ja jatkuvasti tekevät ennusteita heidän emotionaalisista tiloistaan, tutkijat toteavat*:

‘Lopullinen tavoite on ottaa käyttöön ja käyttää koulutettuja malleja reaaliajassa ja oikeissa työpaikoissa antaen syötettä päätöksenteon tukijärjestelmiin terveyden ja hyvinvoinnin edistämiseksi työikäisten aikana EU:n työikäprojektin puitteissa.’

* Korostus minun.

† Tässä tutkijat viittaavat kolmeen lähteeseen:

Automaattinen, dimensionaalinen ja jatkuva emotion tunnistaminen – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Ambient assistive living -alustoja koskeva systemaattinen katsaus – https://link.springer.com/article/10.1007/s12652-016-0374-3
IoT-teknologian katsaus ambient assistive living -ympäristöihin – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Tässä tutkijat viittaavat kahteen lähteeseen:

Reaaliaikainen kuljettajan uneliaisuuden havaitseminen upotettuun järjestelmään käyttäen syväoppimisen neuroverkkojen mallintamista – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Reaaliaikainen kuljettajan uneliaisuuden havaitseminen käyttäen kasvojen piirteitä – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532