Anerkendelse af medarbejderstress gennem ansigtsanalyse på arbejdspladsen

I sammenhæng med skiftende kultur omkring Zoom-møde etikette, og fremkomsten af Zoom træthed, har forskere fra Cambridge udgivet en undersøgelse, der bruger maskinlæring til at bestemme vores stressniveauer via AI-aktiveret webcam-dækning af vores ansigtsudtryk på arbejdet.

Til venstre, dataindsamlingsmiljøet med flere overvågningsudstyr enten trænet på eller knyttet til en frivillig; til højre, eksempler på ansigtsudtryk genereret af testpersoner med forskellige sværhedsgrader. Kilde: https://arxiv.org/pdf/2111.11862.pdf

Forskningen er beregnet til affektanalyse (dvs. følelsesgenkendelse) i 'Ambient Assistive Living'-systemer og er formentlig designet til at muliggøre videobaserede AI-ansigtsudtryksovervågningsrammer i sådanne systemer; Selvom papiret ikke udvider dette aspekt, giver forskningsindsatsen ingen mening i nogen anden sammenhæng.

Projektets specifikke mål er at lære ansigtsudtryksmønstre i arbejdsmiljøer – herunder fjernarbejde – snarere end "fritid" eller "passive" situationer, såsom rejser.

Ansigtsbaseret følelsesgenkendelse på arbejdspladsen

Selvom 'Ambient Assistive Living' kan lyde som en ordning for ældrepleje, er det langt fra tilfældet. Apropos de påtænkte 'slutbrugere', siger forfatterne*:

'Systemer skabt til omgivende hjælpemiljøer [†] sigte på at kunne udføre både automatisk affektanalyse og respons. Ambient assistive living er afhængig af brugen af ​​informations- og kommunikationsteknologi (IKT) til at hjælpe med menneskers daglige leve- og arbejdsmiljø for at holde dem sundere og aktive længere og sætte dem i stand til at leve selvstændigt, når de bliver ældre. Dermed, ambient assistive living har til formål at lette sundhedsarbejdere, sygeplejersker, læger, fabriksarbejdere, chauffører, piloter, lærere samt forskellige industrier via sansning, vurdering og intervention.

"Systemet er beregnet til at bestemme den fysiske, følelsesmæssige og mentale belastning og reagere og tilpasse sig efter behov, for eksempel kan en bil udstyret med et døsighedsdetektionssystem informere chaufføren om at være opmærksom og kan foreslå dem at holde en lille pause for at undgå ulykker [††].'

papir er titlen Udledning af brugeransigtspåvirkning i arbejdslignende indstillinger, og kommer fra tre forskere ved Affective Intelligence & Robotics Lab i Cambridge.

Testbetingelser

Siden tidligere arbejde på dette område i høj grad har været afhængig af ad hoc-samlinger af billeder skrabet fra internettet, gennemførte Cambridge-forskerne lokale dataindsamlingseksperimenter med 12 campusfrivillige, 5 mænd og 7 kvinder. De frivillige kom fra ni lande og var i alderen 22-41 år.

Projektet havde til formål at genskabe tre potentielt stressende arbejdsmiljøer: et kontor; en fabrik produktionslinje; og et telekonferenceopkald – såsom den slags Zoom-gruppechat, der er blevet til en hyppigt indslag hjemmearbejde siden pandemiens fremkomst.

Forsøgspersoner blev overvåget med forskellige midler, herunder tre kameraer, en Jabra nakkebåret mikrofon, en Empatica armbånd (en trådløs multi-sensor bærbar, der tilbyder biofeedback i realtid) og en Muse 2-hovedbåndssensor (som også tilbyder biofeedback). Derudover blev de frivillige bedt om at udfylde undersøgelser og selvevaluere deres humør med jævne mellemrum.

Dette betyder dog ikke, at fremtidige Ambient Assistive Living-rigger kommer til at 'tilslutte dig' i den grad (om ikke andet for omkostningsmæssige årsager); alt det ikke-kameraovervågningsudstyr og -metoder, der anvendes i dataindsamlingen, inklusive de skriftlige selvevalueringer, er beregnet til at verificere de ansigtsbaserede affektgenkendelsessystemer, der er aktiveret af kameraoptagelser.

Ramping up the Pressure: The Office Scenario

I de første to af de tre scenarier ('Kontor' og 'Fabrik') blev de frivillige startet i et let tempo, hvor presset gradvist steg over fire faser, med forskellige typer opgaver til hver.

Ved det højeste niveau af induceret stress måtte de frivillige også udholde den 'hvide pels-effekt' af en person, der kiggede over skulderen, plus 85 db ekstra støj, hvilket bare er fem decibel under den lovlige grænse for et kontormiljø i USA, og den nøjagtige maksimumgrænse angivet af National Institute for Occupational Safety and Health (NIOSH).

I den kontorlignende dataindsamlingsfase fik forsøgspersonerne til opgave at huske tidligere bogstaver, der var blinket hen over deres skærm, med stigende sværhedsgrader (såsom at skulle huske to-bogstavssekvenser, der opstod for to skærme siden).

Fabriksscenariet

For at simulere et manuelt arbejdsmiljø blev forsøgspersonerne bedt om at spille spillet Produktion, som udfordrer brugerens fingerfærdighed ved at kræve, at spilleren trækker små genstande ud fra et bræt gennem smalle, metalkantede åbninger uden at røre siderne, hvilket hændelse udløser en 'fejl'-brummer.

Da den hårdeste fase kom, blev den frivillige udfordret til at udtrække alle 12 genstande uden fejl inden for et minut. For sammenhængen er verdensrekorden for denne opgave, sat i Storbritannien i 2019, står på 12.68 sekunder.

Telekonferencescenariet

Til sidst, i hjemmearbejde/telekonferencetesten, blev de frivillige bedt af en eksperimentator over et MS Teams opkald om at genkalde deres egne positive og negative minder. For den mest stressende fase af dette scenarie var den frivillige forpligtet til at genkalde et meget negativt eller trist minde fra deres seneste fortid.

De forskellige opgaver og scenarier blev udført i tilfældig rækkefølge og kompileret i et brugerdefineret datasæt med titlen Working-Environment-Context-Aware Dataset (WECARE-DB).

Metode og træning

Resultaterne af brugernes selvvurderinger af deres humør blev brugt som grundsandhed og kortlagt til valens- og ophidselsesdimensioner. Den optagede video af eksperimenterne blev kørt gennem en ansigts-landmærke-detektion netværk, og de justerede billeder føres til en ResNet-18 netværk trænet på AffektNet datasæt.

450,000 billeder fra AffectNet, alle tegnet/mærket fra internettet ved hjælp af følelsesrelaterede forespørgsler, blev manuelt kommenteret, siger avisen, med valens- og ophidselsesdimensioner.

Dernæst forfinede forskerne netværket udelukkende baseret på deres eget WECARE-datasæt, mens spektral repræsentationskodning blev brugt til at opsummere rammebaserede forudsigelser.

Resultater

Modellens ydeevne blev evalueret på tre metrics, der almindeligvis er forbundet med automatiseret affektforudsigelse: Konkordanskoefficientkorrelation; Pearson-koefficientkorrelation; og Root Mean Square Error (RMSE).

Forfatterne bemærker, at modellen finjusteret på deres eget WECARE-datasæt udkonkurrerede ResNet-18, og udleder heraf, at måden vi styrer vores ansigtsudtryk på er meget anderledes i et arbejdsmiljø end i de mere abstrakte sammenhænge, ​​som tidligere undersøgelser er udledt af. kildemateriale fra internettet.

De oplyser:

'Når vi ser på tabellen, observerer vi, at modellen finjusteret på WECARE-DB klarede sig bedre end ResNet-18-modellen, der var forudtrænet på [AffectNet], hvilket indikerer, at den ansigtsadfærd, der vises i arbejdslignende miljøer, er anderledes sammenlignet med -vilde internetindstillinger brugt i AffectNet DB. Det er således nødvendigt at anskaffe datasæt og træne modeller til at genkende ansigtspåvirkninger i arbejdslignende omgivelser.'

Med hensyn til fremtiden for affektgenkendelse på arbejdspladsen, muliggjort af netværk af kameraer, der er trænet af medarbejderne og konstant foretager forudsigelser om deres følelsesmæssige tilstande, konkluderer forfatterne*:

'Det ultimative mål er at implementere og bruge de trænede modeller i realtid og i rigtige arbejdsmiljøer til at give input til beslutningsstøttesystemer for at fremme sundhed og velvære for mennesker i deres arbejdsdygtige alder i forbindelse med EU Working Age Project.'

* Min vægt.

† Her foretager forfatterne tre citater:

Automatisk, dimensionel og kontinuerlig følelsesgenkendelse – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Udforskning af det ambient assisted living domæne: en systematisk gennemgang – https://link.springer.com/article/10.1007/s12652-016-0374-3
En gennemgang af Internet of Things-teknologier til Ambient Assisted Living Environments – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Her gør forfatterne to citater:

Driver-døsighedsdetektion i realtid til indlejret system ved hjælp af modelkomprimering af dybe neurale netværk – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Real-Time Driver-Døsighed Detektionssystem ved hjælp af ansigtstræk – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532