Erkänna anställdas stress genom ansiktsanalys på arbetsplatsen

I samband med den förändrade kulturen kring Zoom-mötesetikett och uppkomsten av Zoom-utmattning, har forskare från Cambridge släppt en studie som använder maskinlärande för att bestämma vår stressnivå via AI-aktiverad webbkamera-täckning av våra ansiktsuttryck på arbetsplatsen.

Till vänster, datainsamlingsmiljön, med flera övervakningsenheter antingen riktade mot eller fästa på en frivillig; till höger, exempel på ansiktsuttryck genererade av testpersoner vid varierande svårighetsgrader. Källa: https://arxiv.org/pdf/2111.11862.pdf

Forskningen är avsedd för affektanalys (dvs. känsligendektering) i “Ambient Assistive Living”-system och är förmodligen utformad för att möjliggöra videobaserad AI-ansiktsuttrycksövervakning i sådana system; även om artikeln inte utvecklar detta aspekt, gör forskningsinsatsen ingen mening i någon annan kontext.

Det specifika syftet med projektet är att lära ansiktsuttrycksmodeller på arbetsplatser – inklusive distansarbetsarrangemang – snarare än “fritid” eller “passiva” situationer, som resor.

Ansiktsbaserad känsligendektering på arbetsplatsen

Medan “Ambient Assistive Living” kan låta som ett schema för äldreomsorg, är det långt ifrån fallet. När det gäller de avsedda “slutanvändarna” skriver författarna*:

‘System skapade för ambient assistive living-miljöer [†] syftar till att kunna utföra både automatisk affektanalys och svara. Ambient assistive living förlitar sig på användningen av information och kommunikationsteknik (IKT) för att hjälpa personer i deras vardagsliv och arbetsmiljö för att hålla dem friskare och mer aktiva under en längre tid och möjliggöra för dem att leva oberoende när de åldras. Därför syftar ambient assistive living till att underlätta för hälsoarbetare, sjuksköterskor, läkare, fabriksarbetare, förare, piloter, lärare samt olika branscher via avkänning, bedömning och ingripande.

‘Systemet är avsett att bestämma den fysiska, emotionella och mentala belastningen och svara och anpassa sig när och om det behövs, till exempel en bil utrustad med ett sömnighetssystem kan informera föraren att vara uppmärksam och kan föreslå att de tar en liten paus för att undvika olyckor [††].’

Artikeln är titlad Inferring User Facial Affect in Work-like Settings och kommer från tre forskare vid Affective Intelligence & Robotics Lab vid Cambridge.

Testförhållanden

Eftersom tidigare arbete inom detta område till stor del har förlitat sig på ad hoc-samlingar av bilder skrapade från internet, genomförde Cambridge-forskarna lokala datainsamlingsexperiment med 12 campusfrivilliga, 5 män och 7 kvinnor. Frivilliga kom från nio länder och var mellan 22 och 41 år.

Projektet syftade till att återskapa tre potentiellt stressiga arbetsmiljöer: ett kontor; en fabriksproduktionslinje; och en telekonferenssamtal – såsom den typ av Zoom-gruppsamtal som har blivit en vanlig funktion i distansarbete sedan pandemins början.

Försökspersoner övervakades med hjälp av olika metoder, inklusive tre kameror, en Jabra halsburen mikrofon, en Empatica handledsband (en trådlös multisensor som erbjuder realtidsbiofeedback), och en Muse 2 huvudbandsensor (som också erbjuder biofeedback). Dessutom ombads frivilliga att fylla i enkäter och självbedöma sin sinnesstämning periodvis.

Men detta betyder inte att framtida Ambient Assistive Living-utrustning kommer att “koppla in” dig till den grad (om inte annat för kostnadsskäl); all icke-kameraövervakningsutrustning och metoder som användes i datainsamlingen, inklusive de skriftliga självbedömningarna, är avsedda att validera ansiktsbaserad affektigenkänningssystem som möjliggörs av kameraavbildningar.

Öka trycket: Kontorsscenariot

I de två första av de tre scenarierna (“Kontor” och “Fabrik”) startades frivilliga med en lätt takt, med trycket gradvis ökande under fyra faser, med olika typer av uppgifter för varje.

Vid den högsta nivån av framkallad stress tvingades frivilliga också att uthärda “vit rockseffekten” av någon som tittade över deras axel, plus 85 dB extra buller, som är bara fem decibel under den lagliga gränsen för ett kontorsmiljö i USA och den exakta maximala gränsen som specificerats av National Institute for Occupational Safety and Health (NIOSH).

I kontorsliknande datainsamlingsskede fick försökspersonerna i uppgift att komma ihåg tidigare bokstäver som hade flimrat förbi på deras skärm, med ökande svårighetsgrad (såsom att komma ihåg tvåbokstavssekvenser som hade förekommit två skärmar tidigare).

Fabriksscenariot

För att simulera en manuell arbetsmiljö ombads försökspersonerna att spela spelet Operation, som utmanar användarens fingermotorik genom att kräva att spelaren tar ut små föremål från en bräda genom smala, metallramade öppningar utan att röra vid kanterna, vilket utlöser en “fel”-signal.

När den tuffaste fasen kom var den frivillige utmanad att ta ut alla 12 föremål utan fel inom en minut. För att sätta detta i perspektiv är världsrekordet för denna uppgift, satt i Storbritannien 2019, 12,68 sekunder.

Telekonferensscenariot

Slutligen, i hemarbete/telekonferenstestet, ombads frivilliga av en forskare via ett MS Teams-samtal att återkalla sina egna positiva och negativa minnen. För den mest stressiga fasen av detta scenario tvingades den frivillige att återkalla ett mycket negativt eller sorgligt minne från sin nära historia.

De olika uppgifterna och scenarierna utfördes i slumpmässig ordning och sammanställdes till en anpassad dataset med titeln Working-Environment-Context-Aware Dataset (WECARE-DB).

Metod och utbildning

Resultaten från användarnas självbedömning av sin sinnesstämning användes som grundtruth och kartlades till valens- och upphetsningsdimensioner. Den inspelade videon från experimenten kördes genom ett ansiktslandmärkesdetekteringsnätverk nätverk, och de justerade bilderna matades till ett ResNet-18-nätverk som tränats på AffectNet-dataset.

450 000 bilder från AffectNet, alla ritade/märkta från internet med hjälp av känslorelaterade frågor, var manuellt annoterade, enligt artikeln, med valens- och upphetsningsdimensioner.

Därefter förfinade forskarna nätverket baserat enbart på sin egen WECARE-dataset, medan spektral representation encoding användes för att sammanfatta ram-baserade förutsägelser.

Resultat

Modellens prestanda utvärderades med hjälp av tre mått som vanligtvis förknippas med automatisk affektprediktion: Konkordanskoefficientkorrelation; Pearsons koefficientkorrelation; och Rotmedelvärdesfel (RMSE).

Författarna noterar att modellen som finjusterats på deras egen WECARE-dataset presterade bättre än ResNet-18 och drar slutsatsen från detta att sättet vi styr våra ansiktsuttryck är mycket annorlunda i en arbetsmiljö än i de mer abstrakta sammanhangen från vilka tidigare studier har hämtat källmaterial från internet.

De skriver:

‘När vi tittar på tabellen ser vi att modellen som finjusterats på WECARE-DB presterade bättre än ResNet-18-modellen som förtränats på [AffectNet], vilket indikerar att de ansiktsbeteenden som visas i arbetsliknande miljöer skiljer sig från de som används i AffectNet DB. Därför är det nödvändigt att skaffa dataset och träna modeller för att känna igen ansiktsaffekt i arbetsliknande miljöer.’

När det gäller den framtida inom-arbete affektigenkänningen, som möjliggörs av nätverk av kameror riktade mot anställda och som ständigt gör förutsägelser om deras emotionella tillstånd, drar författarna slutsatsen*:

‘Det slutliga målet är att implementera och använda de tränade modellerna i realtid och i verkliga arbetsmiljöer för att ge input till beslutsstödssystem för att främja hälsa och välbefinnande för människor under deras arbetsålder i samband med EU-projektet Arbetsålder.’

* Min betoning.

† Här hänvisar författarna till tre källor:

Automatisk, dimensionell och kontinuerlig känsligendektering – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Utforska det område som ambient assistive living tillhör: en systematisk översikt – https://link.springer.com/article/10.1007/s12652-016-0374-3
En översikt av Internet of Things-teknologier för ambient assistive living-miljöer – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Här hänvisar författarna till två källor:

Real-tidsdetektering av förartrötthet för inbyggt system med hjälp av modellkomprimering av djupa neurala nätverk – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Real-tidsdetekteringssystem för förartrötthet med hjälp av ansiktsdrag – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532