Rozpoznávání stresu zaměstnanců prostřednictvím analýzy obličeje na pracovišti

V kontextu změny kultury kolem etikety setkání na Zoomu a vzhledem k výskytu únavy ze Zoomu, výzkumníci z Cambridgeské univerzity zveřejnili studii, která využívá strojové učení k určení našeho stresu prostřednictvím analýzy obličeje pomocí kamer s umělou inteligencí na pracovišti.

Vlevo, prostředí pro sběr dat, s několika monitorovacími zařízeními buď zaměřenými na nebo připojenými k dobrovolníkovi; vpravo, příklady obličejových výrazů vygenerovaných testovacími subjekty při různých úrovních obtížnosti úkolu. Zdroj: https://arxiv.org/pdf/2111.11862.pdf

Výzkum je určen pro analýzu emocí (tj. rozpoznávání emocí) v systémech “Ambient Assistive Living” a zřejmě je navržen tak, aby umožnil video-založené rámce pro monitorování obličeje pomocí umělé inteligence v těchto systémech; ačkoli článek neexpanduje na tento aspekt, výzkumný úsilí nemá smysl v žádném jiném kontextu.

Konkrétní rozsah projektu je naučit se rozpoznávat vzorce obličejových výrazů na pracovišti – včetně domácích pracovních podmínek – spíše než “rekreační” nebo “pasivní” situace, jako je cestování.

Rozpoznávání emocí na základě obličeje na pracovišti

Zatímco “Ambient Assistive Living” může znít jako schéma pro péči o seniory, je to daleko od skutečnosti. Mluvící o “koncových uživatelích”, autoři uvádějí*:

‘Systémy vytvořené pro ambient assistive living prostředí [†] mají za cíl provádět automatickou analýzu emocí a reagovat. Ambient assistive living spoléhá na využití informačních a komunikačních technologií (ICT) k pomoci osobám v jejich každodenním životě a práci, aby zůstaly zdravější a aktivnější déle a mohly žít nezávisle, jak stárnou. Takže, ambient assistive living má za cíl usnadnit práci zdravotnických pracovníků, sester, lékařů, dělníků, řidičů, pilotů, učitelů a různých průmyslových odvětví prostřednictvím senzorů, hodnocení a zásahu.

‘Systém je navržen tak, aby určoval fyzické, emocionální a mentální namáhání a reagoval a přizpůsoboval se podle potřeby, například vozidlo vybavené systémem pro detekci ospalosti může informovat řidiče, aby byli pozorní a navrhnout jim, aby si udělali krátkou přestávku, aby se vyhnuli nehodám [††].’

Článek článku se nazývá Odvozování uživatelských obličejových emocí v pracovních prostředích a pochází od tří výzkumníků z Affective Intelligence & Robotics Lab na Cambridgeské univerzitě.

Testovací podmínky

Jelikož předchozí práce v tomto oboru závisela převážně na ad hoc sběru obrazů ze internetu, výzkumníci z Cambridgeské univerzity provedli místní experimenty se 12 dobrovolníky z kampusu, 5 muži a 7 ženami. Dobrovolníci pocházeli z devíti zemí a byli ve věku 22-41 let.

Cílem projektu bylo rekonstruovat tři potenciálně stresující pracovní prostředí: kancelář; výrobní linka; a telekonference – jako je například typické skupinové chatu, které se stalo častým jevem domácího pracovního prostředí od začátku pandemie.

Subjekty byly monitorovány různými prostředky, včetně tří kamer, mikrofonu Jabra, pásku Empatica (bezdrátový multi-senzorový nositelný přístroj nabízející reálnou biofeedback) a senzoru Muse 2 (který také nabízí biofeedback). Kromě toho byli dobrovolníci požádáni, aby vyplnili dotazníky a sami ohodnotili svou náladu periodicky.

Nicméně to neznamená, že budoucí systémy Ambient Assistive Living “zapojí” vás do té míry (pokud pouze z důvodu nákladů); všechny ne-kamerové monitorovací zařízení a metody použité při sběru dat, včetně písemných sebehodnocení, jsou určeny k ověření systémů rozpoznávání obličejových emocí, které jsou umožněny kamerovým záznamem.

Zvyšování tlaku: Kancelářský scénář

V prvních dvou ze tří scénářů (“Kancelář” a “Továrna”) byli dobrovolníci začátkem umístěni do snadného tempa, se zvyšujícím se tlakem ve čtyřech fázích, s různými typy úkolů pro každou fázi.

V nejvyšší úrovni indukovaného stresu museli dobrovolníci také snášet “bílou halenku” účinek někoho, kdo se na ně dívá přes rameno, plus 85 dB dalšího hluku, což je právě pět decibelů pod legální limit pro kancelářské prostředí ve Spojených státech a přesně stanovený maximální limit stanovený Národním úřadem pro bezpečnost a ochranu zdraví při práci (NIOSH).

V kancelářské fázi sběru dat byli subjekty požádány, aby si vzpomněli na předchozí písmena, která se objevila na jejich obrazovce, se zvyšující se obtížností (jako například vzpomínka na dvě písmena, která se objevila dvě obrazovky předtím).

Továrnický scénář

Aby simulovali manuální pracovní prostředí, byli subjekti požádáni, aby hráli hru Operaci, která vyžaduje uživatelskou zručnost tím, že vyžaduje, aby hráč extrahoval malé předměty z desky přes úzké, kovové okraje, aniž by se dotkl stran, což spustí “selhání” signál.

V nejtěžší fázi byl dobrovolník vyzván, aby extrahoval všechny 12 předmětů bez chyby během jedné minuty. Pro kontext, světový rekord v tomto úkolu, stanovený ve Spojeném království v roce 2019, činí 12,68 sekund.

Telekonferenční scénář

Nakonec, v domácím pracovním/testovacím scénáři, byli dobrovolníci požádáni experimentátorem přes MS Teams, aby si vzpomněli na své pozitivní a negativní vzpomínky. Pro nejtěžší fázi tohoto scénáře byl dobrovolník požádán, aby si vzpomněl na velmi negativní nebo smutnou vzpomínku ze své nedávné minulosti.

Různé úkoly a scénáře byly provedeny v náhodném pořadí a zkompilovány do vlastního datasetu nazvaného Working-Environment-Context-Aware Dataset (WECARE-DB).

Metoda a školení

Výsledky sebehodnocení subjektů byly použity jako referenční hodnoty a mapovány na valenci a vzrušení. Zachycený video experimentů bylo spuštěno prostřednictvím detekce obličejových rysů sítě a zarovnané obrázky byly krmeny do ResNet-18 sítě školené na AffectNet datasetu.

450 000 obrázků z AffectNet, všechny nakreslené a označené z internetu pomocí emocionálně souvisejících dotazů, byly ručně anotovány, uvádí článek. S valencí a vzrušením.

Poté výzkumníci vylepšili síť pouze na základě svého vlastního datasetu WECARE, zatímco spektrální reprezentace kódování bylo použito k souhrnu rámcových předpovědí.

Výsledky

Výkon modelu byl vyhodnocen na základě tří metrik běžně spojených s automatickým předpovězením emocí: Korelační koeficient shody; Pearsonův korelační koeficient; a Střední kvadratická chyba (RMSE).

Autoři uvádějí, že model upravený na jejich vlastní dataset WECARE překonal ResNet-18 a usuzují z toho, že způsob, jakým řídíme naše obličejové výrazy, je velmi odlišný v pracovním prostředí než v abstraktnějších kontextech, z nichž pocházejí předchozí studie z internetu.

Uvádějí:

‘Podívejte se na tabulku a pozorujeme, že model upravený na WECARE-DB překonal model ResNet-18, který byl předškolen na [AffectNet], což naznačuje, že obličejové chování zobrazené v pracovních prostředích se liší od těch v internetových prostředích, která byla použita v AffectNet DB. Takže je nezbytné získat datové sady a školení modelů pro rozpoznávání obličejových emocí v pracovních prostředích.’

Co se týče budoucnosti rozpoznávání emocí na pracovišti, umožněného sítěmi kamer zaměřených na zaměstnance a neustále činících předpovědi jejich emocionálních stavů, autoři uzavírají*:

‘Konečným cílem je implementovat a používat školené modely v reálném čase a v reálných pracovních prostředích, aby poskytly vstup do systémů pro podporu rozhodování, které propagují zdraví a pohodu lidí během jejich pracovního věku v rámci projektu EU Working Age Project.’

* Můj důraz.

† Zde autoři uvádějí tři citace:

Automatické, dimenzionální a kontinuální rozpoznávání emocí – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Prozkoumání oblasti ambient assistive living: systematický přehled – https://link.springer.com/article/10.1007/s12652-016-0374-3
Přehled technologií Internetu věcí pro ambient assistive living prostředí – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Zde autoři uvádějí dvě citace:

Detekce ospalosti řidiče v reálném čase pro vestavěný systém pomocí komprese hlubokých neuronových sítí – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Systém pro detekci ospalosti řidiče v reálném čase pomocí obličejových rysů – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532