Työntekijöiden stressin tunnistaminen työssä tehdyn kasvoanalyysin avulla

- muuttuvassa kulttuurissa Zoom-kokousetiketin ympärillä ja syntymistä Zoom-väsymysCambridgen tutkijat ovat julkaisseet tutkimuksen, joka käyttää koneoppimista stressitasomme määrittämiseen tekoälyllä varustetun web-kameran avulla, joka kattaa ilmeemme työpaikalla.

Vasemmalla tiedonkeruuympäristö, jossa on useita valvontalaitteita, jotka on joko koulutettu vapaaehtoiselle tai liitetty siihen; oikealla esimerkki kasvonilmeistä, joita koehenkilöt ovat luoneet tehtävän eri vaikeusasteilla. Lähde: https://arxiv.org/pdf/2111.11862.pdf

Tutkimus on tarkoitettu vaikutusanalyysiin (esim. tunteiden tunnistaminen) "Ambient Assistive Living" -järjestelmissä, ja se on oletettavasti suunniteltu mahdollistamaan videopohjaiset tekoälyn kasvojen ilmeen seurantakehykset tällaisissa järjestelmissä; vaikka artikkeli ei laajenna tätä näkökohtaa, tutkimustyöllä ei ole järkeä missään muussa kontekstissa.

Hankkeen erityistavoitteena on oppia ilmeitä työympäristöissä – mukaan lukien etätyöjärjestelyt – "vapaa-ajan" tai "passiivisten" tilanteiden, kuten matkustamisen, sijaan.

Kasvojen mukainen tunteiden tunnistus työpaikalla

Vaikka "Ambient Assistive Living" saattaa kuulostaa vanhustenhuollon järjestelmältä, se on kaukana siitä. Aiotuista "loppukäyttäjistä" puhuttaessa kirjoittajat toteavat*:

'Järjestelmät, jotka on luotu ambient avustaviin elinympäristöihin [†] tavoitteena on pystyä suorittamaan sekä automaattinen vaikutusanalyysi että vastaaminen. Ambient avustava asuminen perustuu tieto- ja viestintäteknologian (ICT) käyttöön, joka auttaa ihmisen jokapäiväistä elin- ja työympäristöä pitämään hänet terveenä ja aktiivisina pidempään ja mahdollistamaan itsenäisen elämän ikääntymisen myötä. Täten, ambient avustava asuminen pyrkii helpottamaan terveydenhuollon työntekijöitä, sairaanhoitajia, lääkäreitä, tehdastyöläisiä, kuljettajia, lentäjiä, opettajia sekä eri toimialoja havaitsemisen, arvioinnin ja interventioiden avulla.

"Järjestelmän tarkoituksena on määrittää fyysinen, emotionaalinen ja henkinen rasitus sekä reagoida ja mukautua tarpeen tullen, esimerkiksi uneliaisuuden tunnistusjärjestelmällä varustettu auto voi ilmoittaa kuljettajalle tarkkaavaisuuteen ja ehdottaa pientä taukoa. onnettomuuksien välttämiseksi [††].'

- paperi on otsikko Käyttäjän kasvovaikutelman päätteleminen työn kaltaisissa asetuksissa, ja se tulee kolmelta Cambridgen Affective Intelligence & Robotics Labin tutkijalta.

Koeolosuhteet

Koska ennen työtä Tällä alalla on suurelta osin riippuvainen Internetistä kaavittujen ad hoc -kuvien kokoelmista, Cambridgen tutkijat suorittivat paikallisia tiedonkeruukokeita 12 kampuksen vapaaehtoisen kanssa, joista 5 oli miestä ja 7 naista. Vapaaehtoiset tulivat yhdeksästä maasta ja olivat iältään 22–41-vuotiaita.

Hankkeen tavoitteena oli luoda uudelleen kolme mahdollisesti stressaavaa työympäristöä: toimisto; tehtaan tuotantolinja; ja puhelinkonferenssi – kuten Zoom-ryhmäkeskustelu, josta on tullut a toistuva ominaisuus kotitehtävistä pandemian ilmaantumisen jälkeen.

Koehenkilöitä tarkkailtiin eri keinoin, mukaan lukien kolme kameraa, Jabra-kaulamikrofoni, ja Empatica ranneke (langaton monisensorinen puettava, joka tarjoaa reaaliaikaisen biofeedbackin) ja Muse 2 -otsakangasanturi (joka tarjoaa myös biofeedbackin). Lisäksi vapaaehtoisia pyydettiin suorittamaan kyselyitä ja arvioimaan itseään säännöllisesti.

Tämä ei kuitenkaan tarkoita, että tulevat Ambient Assistive Living -laitteet "kytkeisivät sinut" siinä määrin (jos vain kustannussyistä); kaikki tiedonkeruussa käytetyt ei-kameravalvontalaitteet ja -menetelmät, mukaan lukien kirjalliset itsearvioinnit, on tarkoitettu varmistamaan kameramateriaalin mahdollistamat kasvopohjaiset vaikutelmien tunnistusjärjestelmät.

Paineen lisääminen: Toimiston skenaario

Kahdessa ensimmäisessä kolmesta skenaariosta ("toimisto" ja "tehdas") vapaaehtoiset aloitettiin helpolla tahdilla paineen noustessa vähitellen neljän vaiheen aikana, ja jokaiselle tehtiin erilaisia ​​tehtäviä.

Korkeimmalla aiheutetun stressin tasolla vapaaehtoisten oli myös kestettävä "valkoisen takin vaikutus", kun joku katsoi heidän olkapäänsä yli, sekä 85 db lisämelua, mikä on vain viisi desibeliä alle Yhdysvaltain toimistoympäristön laillinen raja ja National Institute for Occupational Safety and Health (NIOSH) määrittelemä tarkka enimmäisraja.

Toimistomaisessa tiedonkeruuvaiheessa koehenkilöiden tehtävänä oli muistaa aiemmat kirjaimet, jotka olivat välähtäneet heidän näytöllään, vaikeusasteella kasvaen (kuten heidän piti muistaa kaksikirjaimia sarjoja, jotka tapahtuivat kaksi näyttöä sitten).

Tehtaan skenaario

Käsityöympäristön simuloimiseksi koehenkilöitä pyydettiin pelaamaan peliä Toiminta, joka haastaa käyttäjän kätevyyden vaatimalla pelaajaa poimimaan pieniä esineitä laudalta kapeiden, metallireunaisten aukkojen kautta koskettamatta sivuja, mikä laukaisee "vika" summerin.

Kun vaikein vaihe koitti, vapaaehtoinen haastettiin poimimaan kaikki 12 esinettä ilman virhettä minuutin sisällä. Asiayhteydessä tämän tehtävän maailmanennätys, joka saavutettiin Yhdistyneessä kuningaskunnassa vuonna 2019, on 12.68 sekuntia.

Telekonferenssin skenaario

Lopuksi kotitehtävä/etäkonferenssitestissä kokeilija pyysi vapaaehtoisia MS Teams -puhelun kautta muistelemaan omia positiivisia ja negatiivisia muistojaan. Tämän skenaarion stressaavimman vaiheen aikana vapaaehtoisen oli muistettava hyvin negatiivinen tai surullinen muisto lähimenneisyydestään.

Eri tehtävät ja skenaariot suoritettiin satunnaisessa järjestyksessä ja koottiin mukautetuksi tietojoukoksi nimeltä Working-Environment-Context-Aware Dataset (WECARE-DB).

Menetelmä ja koulutus

Käyttäjien mielialan itsearviointituloksia käytettiin pohjatotuudeksi ja kartoitettiin valenssi- ja kiihottumisulottuvuuksiin. Kokeista kaapattu video ajettiin kasvojen maamerkkitunnistuksen läpi verkko, ja tasatut kuvat syötetään kohtaan a ResNet-18 verkko koulutettu AffectNet aineisto.

Lehden mukaan 450,000 XNUMX AffectNetin kuvaa, jotka kaikki piirrettiin/merkittiin Internetistä tunteisiin liittyvillä kyselyillä, merkittiin manuaalisesti valenssi- ja kiihottumismitoilla.

Seuraavaksi tutkijat tarkensivat verkkoa pelkästään oman WECARE-tietojoukonsa perusteella spektriesitysten koodaus käytettiin tiivistämään kehyspohjaisia ​​ennusteita.

tulokset

Mallin suorituskykyä arvioitiin kolmella mittarilla, jotka yleisesti liittyvät automaattiseen vaikutuksen ennustamiseen: Concordance Coefficient Correlation; Pearson-kerroinkorrelaatio; ja Root Mean Square Error (RMSE).

Kirjoittajat huomauttavat, että heidän omalla WECARE-tietojoukollaan hienosäädetty malli ylitti ResNet-18:n, ja päättelevät tästä, että tapa hallitsemme ilmeitämme on hyvin erilainen työympäristössä kuin abstraktimmissa yhteyksissä, joista aikaisemmat tutkimukset ovat peräisin. lähdemateriaalia internetistä.

He toteavat:

"Katsoimme taulukkoa, että WECARE-DB:llä hienosäädetty malli ylitti [AffectNetillä] esiopetetun ResNet-18-mallin, mikä osoittaa, että kasvojen käyttäytyminen työympäristöissä on erilainen verrattuna -AffectNet DB:ssä käytetyt villit Internet-asetukset. Siksi on tarpeen hankkia tietojoukkoja ja kouluttaa malleja kasvojen vaikutelmien tunnistamiseen työnomaisissa olosuhteissa.'

Mitä tulee tulevaisuuden työelämän vaikutusten tunnistamiseen, jonka mahdollistavat työntekijöille koulutetut kameraverkostot ja jotka ennustavat jatkuvasti heidän tunnetilojaan, kirjoittajat päättelevät*:

"Perimmäisenä tavoitteena on toteuttaa ja käyttää koulutettuja malleja reaaliajassa ja todellisissa työympäristöissä antamaan panosta päätöksenteon tukijärjestelmiin edistämään ihmisten terveyttä ja hyvinvointia heidän työiässään. EU:n työikäprojekti.'

* Minun painotukseni.

† Tässä kirjoittajat tekevät kolme lainausta:

Automaattinen, mittainen ja jatkuva tunnetunnistus – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Ambient assisted living domainin tutkiminen: systemaattinen katsaus – https://link.springer.com/article/10.1007/s12652-016-0374-3
Katsaus esineiden internetin teknologioihin ympäristöavusteisissa elinympäristöissä – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Tässä kirjoittajat tekevät kaksi lainausta:

Reaaliaikainen kuljettajien uneliaisuuden tunnistus sulautetuissa järjestelmissä käyttämällä syvien hermoverkkojen mallipakkausta – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Reaaliaikainen kuljettajan uneliaisuuden tunnistusjärjestelmä, joka käyttää kasvojen ominaisuuksia – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532