Gjenkjenning av ansattstress gjennom ansiktsanalyse på arbeidsplassen

I sammenheng med den endringen av kulturen rundt Zoom-møte-etikette, og fremveksten av Zoom-utmattelse, har forskere fra Cambridge publisert en studie som bruker maskinlæring til å bestemme våre stressnivåer via AI-aktivert webkamera-dekning av våre ansiktsuttrykk på arbeidsplassen.

Til venstre, datagjennvinningsmiljøet, med flere overvåkningsenheter enten trent på eller festet til en frivillig; til høyre, eksempler på ansiktsuttrykk generert av testpersoner ved varierende nivåer av oppgavevanskelighet. Kilde: https://arxiv.org/pdf/2111.11862.pdf

Forskningen er ment for affekanalyse (dvs. gjenkjenning av emosjoner) i ‘Ambient Assistive Living’-systemer, og ser ut til å være designet for å muliggjøre video-basert AI-ansiktsuttrykks-overvåking i slike systemer; selv om artikkelen ikke utdyper dette aspektet, gjør forskningsinnsatsen ingen mening i noen annen sammenheng.

Det spesifikke området for prosjektet er å lære ansiktsuttrykksmønster i arbeidsmiljøer – inkludert hjemme-arbeidsarrangementer – snarere enn ‘fritid’ eller ‘passive’ situasjoner, som reising.

Gjenkjenning av ansiktsuttrykk basert på emosjoner på arbeidsplassen

Mens ‘Ambient Assistive Living’ kan høres ut som et skjema for eldreomsorg, er det langt fra tilfelle. Snakkende om de mentale ‘slutbrukerne’, sier forfatterne*:

‘Systemer skapt for ambient assistive living-miljøer [†] har som mål å kunne utføre både automatisk affekanalyse og respons. Ambient assistive living avhenger av bruk av informasjons- og kommunikasjonsteknologi (IKT) for å hjelpe personer i deres daglige liv og arbeidsmiljø for å holde dem sunne og aktive lengre, og muliggjøre at de kan bo uavhengig så lenge de aldri [†].’

‘Systemet er ment å bestemme den fysiske, emosjonelle og mentale belastningen og respondere og tilpasse seg når det er nødvendig, for eksempel en bil utstyrt med en søvntaps-deteksjonssystem kan informere sjåføren om å være oppmerksom og kan foreslå å ta en liten pause for å unngå ulykker [††].’

Artikkelen hele artikkelen heter Inferring User Facial Affect in Work-like Settings, og kommer fra tre forskere ved Affective Intelligence & Robotics Lab ved Cambridge.

Testbetingelser

Ettersom tidligere arbeid i dette feltet har avhengt mye av ad hoc-samlinger av bilder skrapt fra internettet, gjennomførte Cambridge-forskerne lokale datagjennvinnings-eksperimenter med 12 campus-frivillige, 5 menn og 7 kvinner. Frivillige kom fra ni land, og var i alderen 22-41.

Prosjektet hadde som mål å gjenskape tre potensielt stressende arbeidsmiljøer: et kontor; en fabrikkproduksjonslinje; og en telekonferanse-samtale – som den type Zoom-gruppe-samtale som har blitt en hyppig forekommende del av hjemme-arbeid siden pandemien.

Testpersoner ble overvåket på flere måter, inkludert tre kameraer, en Jabra halsbånd-mikrofon, en Empatica armbånd (en trådløs multi-sensor bærbar enhet som tilbyr sanntids-biofeedback), og en Muse 2 hodebånd-sensor (som også tilbyr biofeedback). I tillegg ble frivillige bedt om å fullføre undersøkelser og selv-vurdere sin humør periodisk.

Men dette betyr ikke at fremtidige Ambient Assistive Living-utstyr kommer til å ‘plugge deg inn’ til den grad (om ikke annet enn av kostnadsårsaker); all ikke-kamera-overvåkingsutstyr og -metoder som ble brukt i datagjennvinnings-eksperimentene, inkludert skriftlige selv-vurderinger, er ment å verifisere ansiktsuttrykks-gjenkjenningssystemer som er aktivert av kamera-avbildninger.

Økende press: Kontors-scenariet

I de to første av de tre scenariene (‘Kontor’ og ‘Fabrikk’), ble frivillige startet i en lett fase, med økende press over fire faser, med forskjellige typer oppgaver for hver.

Ved det høyeste nivået av induksert stress, måtte frivillige også tåle ‘hvite jakke-effekten’ av noen som så over skulderen, pluss 85 dB ekstra støy, som er bare fem desibel under den lovlige grensen for et kontor-miljø i USA, og det eksakte maksimumsgrensen spesifisert av National Institute for Occupational Safety and Health (NIOSH).

I kontor-lignende datagjennvinnings-fasen, ble testpersonene bedt om å huske tidligere bokstaver som hadde blitt vist på skjermen, med økende vanskelighetsgrad (slik som å huske to-bokstavs-sekvenser som skjedde to skjermer tidligere).

Fabrikk-scenariet

For å simulere et manuelt arbeidsmiljø, ble testpersonene bedt om å spille spillet Operation, som utfordrer brukerens fingermotorikk ved å kreve at spilleren trekker ut små objekter fra en brett gjennom smale, metallrammede åpninger uten å berøre sidene, som utløser en ‘feil’-buzzer.

Ved den tøffeste fasen, ble frivillige utfordret til å trekke ut alle 12 objekter uten feil innen én minutt. For sammenligning, verdensrekorden for denne oppgaven, satt i Storbritannia i 2019, står på 12,68 sekunder.

Telekonferanse-scenariet

Til slutt, i hjemme-arbeid/telekonferanse-testen, ble frivillige bedt av en eksperimenterer via en MS Teams-samtale om å huske sine egne positive og negative minner. For den mest stressende fasen av dette scenariet, ble testpersonen bedt om å huske et svært negativt eller trist minne fra sin nylige fortid.

De forskjellige oppgavene og scenariene ble utført i tilfeldig rekkefølge, og samlet inn i en brugerdefinert datasett kalt Working-Environment-Context-Aware Dataset (WECARE-DB).

Metode og trening

Resultatene av testpersonenes selv-vurderinger av sin humør ble brukt som grunn-sannhet, og kartlagt til valens- og opphisselse-dimensjoner. De fanget videoene av eksperimentene ble kjørt gjennom et ansikts-landmerke-gjenkjenning nettverk, og de justerte bildene ble matet til en ResNet-18 nettverk trent på AffectNet-datasettet.

450 000 bilder fra AffectNet, alle tegnet/merket fra internettet ved hjelp av emosjons-relaterte søkeord, ble manuelt annotert, sier artikkelen. Valens- og opphisselses-dimensjoner.

Deretter forbedret forskerne nettverket basert bare på deres eget WECARE-datasett, mens spektral-representasjon-koding ble brukt til å sammenfatte ramme-basert forutsigelse.

Resultater

Modellens ytelse ble evaluert på tre målinger som vanligvis er forbundet med automatisert affektprediksjon: Samstemmelses-koeffisient-korrelasjon; Pearsons koeffisient-korrelasjon; og Root Mean Square Error (RMSE).

Forfatterne påpeker at modellen som er finjustert på deres eget WECARE-datasett overgikk ResNet-18, og slutter seg til at måten vi styrer våre ansiktsuttrykk er svært forskjellig i et arbeidsmiljø enn i de mer abstrakte sammenhengene som tidligere studier har avledet kilde-materiale fra internettet.

De sier:

‘Når vi ser på tabellen, observerer vi at modellen som er finjustert på WECARE-DB overgikk ResNet-18-modellen som er forhåndstrening på [AffectNet], og indikerer at ansikts-atferden som vises i arbeids-lignende miljøer er forskjellige sammenlignet med de i vill-natur-internett-miljøer som er brukt i AffectNet DB. Derfor er det nødvendig å tilegne datasett og trene modeller for å gjenkjenne ansikts-uttrykk i arbeids-lignende miljøer.’

Med hensyn til fremtiden for gjenkjenning av affekt på arbeidsplassen, muliggjort av nettverk av kameraer trent på ansatte, og konstant gjør forutsigelser om deres emosjonelle tilstander, konkluderer forfatterne*:

‘Det ultimate målet er å implementere og bruke de trenede modellene i sanntid og i virkelige arbeidsmiljøer for å gi innputt til beslutnings-støtte-systemer for å fremme helse og velvære for mennesker under deres arbeids-alder i sammenheng med EU-prosjektet Arbeids-alder.’

* Min betoning.

† Her gjør forfatterne tre sitater:

Automatisk, dimensjonell og kontinuerlig gjenkjenning av emosjoner – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Utforsking av det ambient assistive living-domenet: en systematisk gjennomgang – https://link.springer.com/article/10.1007/s12652-016-0374-3
En gjennomgang av Internet of Things-teknologier for Ambient Assisted Living-miljøer – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Her gjør forfatterne to sitater:

Real-Time Driver Drowsiness Detection for Embedded System Using Model Compression of Deep Neural Networks – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Real-Time Driver-Drowsiness Detection System Using Facial Features – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532