Rozpoznávání stresu zaměstnanců prostřednictvím analýzy obličeje na pracovišti

V kontextu měnící se kultury kolem etikety setkání na Zoom a vzhledem k únavě ze Zoomu, výzkumníci z Cambridge vydali studii, která využívá strojové učení k určení našich úrovní stresu prostřednictvím AI-přípravené kamery pro pokrytí našich obličejových výrazů na pracovišti.

Vlevo, prostředí pro sběr dat, s několika monitorovacími zařízeními buď zaměřenými na nebo připojenými k dobrovolníkovi; vpravo, příklady obličejových výrazů generovaných testovacími subjekty při různých úrovních obtížnosti úkolu. Zdroj: https://arxiv.org/pdf/2111.11862.pdf

Výzkum je určen pro analýzu afektu (tj. rozpoznání emocí) v systémech “Ambient Assistive Living” a zřejmě je navržen tak, aby umožnil video-založené rámce pro monitorování obličejových výrazů AI v těchto systémech; ačkoli článek na tomto aspektu nerozvíjí, výzkumný úsilí nemá smysl v žádném jiném kontextu.

Konkrétní rozsah projektu je naučit se obličejovým vzorcům pracovních prostředí – včetně pracovních uspořádání na dálku – spíše než “rekreačních” nebo “pasivních” situací, jako je cestování.

Rozpoznávání emocí na obličeji na pracovišti

Zatímco “Ambient Assistive Living” může znít jako schéma pro péči o seniory, je to daleko od případu. Mluvící o “koncových uživatelích”, autoři uvádějí*:

‘Systémy vytvořené pro ambient assistive living prostředí [†] mají za cíl provádět automatickou analýzu afektu a reagovat. Ambient assistive living spoléhá na použití informačních a komunikačních technologií (ICT) pro pomoc osobě v jejím každodenním životním a pracovním prostředí, aby zůstali zdravější a aktivnější déle a mohli žít nezávisle, jak stárnou. Takže, ambient assistive living má za cíl usnadnit zdravotnickým pracovníkům, zdravotním sestrám, lékařům, továrním pracovníkům, řidičům, pilotům, učitelům i různým odvětvím prostřednictvím senzorů, hodnocení a zásahu.

‘Systém je navržen tak, aby určil fyzické, emocionální a duševní namáhání a reagovat a přizpůsobit se podle potřeby, například vozidlo vybavené systémem pro detekci ospalosti může informovat řidiče, aby byl pozorný a může navrhnout, aby si udělal krátkou přestávku, aby se vyhnul nehodám [††].’

Článek článku se nazývá Odvozování uživatelského obličejového afektu v pracovních prostředích a pochází od tří výzkumníků z Affective Intelligence & Robotics Lab v Cambridge.

Testovací podmínky

Jelikož předchozí práce v tomto oboru závisela převážně na ad hoc sběru obrazů ze internetu, výzkumníci z Cambridge provedli místní experimenty se sběrem dat s 12 dobrovolníky z kampusu, 5 muži a 7 ženami. Dobrovolníci pocházeli z devíti zemí a byli ve věku 22-41 let.

Cílem projektu bylo rekonstruovat tři potenciálně stresující pracovní prostředí: kancelář; výrobní linka; a telekonferenční hovor – takový jako typické skupinové chaty na Zoom, které se staly častým rysem domácí práce od začátku pandemie.

Subjekty byly monitorovány různými prostředky, včetně tří kamer, Jabra krku nasazeného mikrofonu, Empatica náramku (bezdrátový multi-senzorový nositelný přístroj nabízející reálnou biofeedback), a Muse 2 senzorové čelenky (které také nabízí biofeedback). Kromě toho byli dobrovolníci požádáni, aby vyplnili dotazníky a sami ohodnotili svou náladu periodicky.

Nicméně, to neznamená, že budoucí systémy Ambient Assistive Living “připojí vás” do té míry (pokud pouze z důvodů nákladů); všechny ne-kamerové monitorovací zařízení a metody použité ve sběru dat, včetně písemných sebehodnocení, jsou určeny k ověření systémů pro rozpoznávání obličejových výrazů, které jsou umožněny kamerovým záznamem.

Zvyšování tlaku: Kancelářský scénář

V prvních dvou scénářích (‘Kancelář’ a ‘Továrna’) byli dobrovolníci začínali na snadném tempu, s tlakem postupně zvyšujícím se během čtyř fází, s různými typy úkolů pro každou.

Na nejvyšší úrovni navozeného stresu museli dobrovolníci také snášet “bílou halenku efekt” někoho, kdo se dívá přes rameno, plus 85 dB dalšího hluku, což je právě pět decibelů pod legální limit pro kancelářské prostředí ve Spojených státech a přesně stanovený maximální limit stanovený Národním úřadem pro bezpečnost a ochranu zdraví při práci (NIOSH).

V kancelářském prostředí pro sběr dat byli subjekti úkolováni k zapamatování předchozích písmen, která blikala na jejich obrazovce, s rostoucími úrovněmi obtížnosti (jako například zapamatování sekvencí dvou písmen, které se objevily dvě obrazovky předtím).

Továrnický scénář

Aby se simulovalo manuální pracovní prostředí, byli subjekti požádáni, aby hráli hru Operation, která vyžaduje uživatelskou zručnost tím, že vyžaduje od hráče extrahovat malé objekty z desky přes úzké, kovové rámy bez dotyku, což spustí “selhání” signál.

Do chvíle, kdy nastoupila nejobtížnější fáze, byl dobrovolník vyzván k extrahování všech 12 položek bez chyby do jedné minuty. Pro kontext, světový rekord pro tuto úlohu, stanovený ve Spojeném království v roce 2019, činí 12,68 sekund.

Telekonferenční scénář

Nakonec, v testu domácí práce/telekonference, byli dobrovolníci požádáni experimentátorem přes hovor MS Teams, aby si vzpomněli na své vlastní pozitivní a negativní vzpomínky. Pro nejobtížnější fázi tohoto scénáře byl dobrovolník požádán, aby si vzpomněl na velmi negativní nebo smutnou vzpomínku ze své nedávné minulosti.

Různé úkoly a scénáře byly provedeny v náhodném pořadí a zkompilovány do vlastního datasetu s názvem Working-Environment-Context-Aware Dataset (WECARE-DB).

Metoda a trénink

Výsledky uživatelů sebehodnocení jejich nálady byly použity jako základní pravda a mapovány na valence a arousal dimenze. Zachycený video experimentů bylo spuštěno prostřednictvím sítě pro detekci obličejových znaků sítě, a zarovnané obrázky byly krmeny do ResNet-18 sítě trénované na AffectNet datasetu.

450 000 obrazů z AffectNet, všechny nakreslené/označené z internetu pomocí emocionálních dotazů, byly ručně anotovány, uvádí článek, s valence a arousal dimenzemi.

Další, výzkumníci rafinují síť pouze na základě svého vlastního WECARE datasetu, zatímco spektrální reprezentační kódování bylo použito k souhrnu rámcových předpovědí.

Výsledky

Výkon modelu byl vyhodnocen na tři metriky běžně spojené s automatickým předpovězením afektu: Concordance Coefficient Correlation; Pearson Coefficient Correlation; a Root Mean Square Error (RMSE).

Autoři uvádějí, že model jemně upravený na jejich vlastním WECARE datasetu překonal ResNet-18 a usuzují z toho, že způsob, jakým řídíme naše obličejové výrazy, je velmi odlišný v pracovním prostředí než v abstraktnějších kontextech, ze kterých předchozí studie odvodily materiály z internetu.

Uvádějí:

‘Podívejte se na tabulku, pozorujeme, že model jemně upravený na WECARE-DB překonal ResNet-18 model předtrénovaný na [AffectNet], což naznačuje, že obličejové chování zobrazené v pracovních prostředích se liší od kontextů v divočině na internetu, které se využívají v AffectNet DB. Takže je nutné získat datové sady a trénovat modely pro rozpoznávání obličejového afektu v pracovních prostředích.’

Pokud jde o budoucnost rozpoznávání afektu na pracovišti, umožněného sítěmi kamer zaměřených na zaměstnance a neustále činících předpovědi jejich emocionálních stavů, autoři uzavírají*:

‘Konečným cílem je implementovat a použít trénované modely v reálném čase a v reálných pracovních prostředích, aby poskytovaly vstup do systémů pro podporu rozhodování pro podporu zdraví a pohody lidí během jejich pracovního věku v kontextu projektu EU Working Age.’

* Můj důraz.

† Zde autoři uvádějí tři citace:

Automatické, dimenzionální a kontinuální rozpoznávání emocí – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Prozkoumání domény ambient assistive living: systematický přehled – https://link.springer.com/article/10.1007/s12652-016-0374-3
Přehled internetu věcí pro ambient assistive living prostředí – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Zde autoři uvádějí dvě citace:

Detekce ospalosti řidiče v reálném čase pro vestavěný systém pomocí komprese hlubokých neuronových sítí – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Systém pro detekci ospalosti řidiče v reálném čase pomocí obličejových rysů – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532