การตระหนักความเครียดของพนักงานผ่านการวิเคราะห์ใบหน้าในที่ทำงาน

ในบริบทของวัฒนธรรมที่เปลี่ยนแปลงไปรอบๆ การประชุมทางวิดีโอด้วย Zoom และการเกิดของ “ความเหนื่อยหน่ายจาก Zoom” นักวิจัยจาก剑桥ได้เผยแพร่การศึกษาที่ใช้การเรียนรู้ของเครื่องจักรเพื่อกำหนดระดับความเครียดของเราผ่านการวิเคราะห์ใบหน้าโดยใช้กล้องเว็บแคมที่ทำงาน

ทางซ้าย คือ สภาพแวดล้อมในการรวบรวมข้อมูล โดยมีอุปกรณ์ตรวจจับหลายตัวที่ถูกฝึกหรือติดกับอาสาสมัคร และทางขวา คือ ใบหน้าที่ถูกสร้างขึ้นโดยอาสาสมัครในระดับความยากของงานต่างๆ Source: https://arxiv.org/pdf/2111.11862.pdf

การวิจัยนี้มีจุดมุ่งหมายเพื่อการวิเคราะห์อารมณ์ (เช่น การตระหนักอารมณ์) ในระบบ “Ambient Assistive Living” และดูเหมือนว่าจะถูกออกแบบมาเพื่อใช้ในการติดตามใบหน้าผ่านวิดีโอโดยใช้ AI ในระบบเหล่านี้ แม้ว่าเอกสารจะไม่ได้ขยายความในเรื่องนี้ แต่ความพยายามในการวิจัยไม่มี意义ในบริบทอื่น

การตระหนักอารมณ์ผ่านใบหน้าในที่ทำงาน

” Ambient Assistive Living” อาจดูเหมือนเป็นแผนสำหรับการดูแลผู้สูงอายุ แต่ไม่ใช่กรณีนี้ เมื่อพูดถึง “ผู้ใช้ปลายทาง” ผู้เขียนระบุว่า*:

‘ระบบที่สร้างขึ้นสำหรับสภาพแวดล้อม Ambient Assistive Living มีจุดมุ่งหมายเพื่อให้สามารถทำการวิเคราะห์อารมณ์แบบอัตโนมัติและตอบสนองได้ สภาพแวดล้อม Ambient Assistive Living ขึ้นอยู่กับการใช้เทคโนโลยีสารสนเทศและการสื่อสาร (ICT) เพื่อช่วยเหลือบุคคลในการทำงานและชีวิตประจำวัน เพื่อให้พวกเขาสามารถมีสุขภาพที่ดีและแข็งแรงนานขึ้น และสามารถอยู่อาศัยได้อย่างอิสระเมื่ออายุเพิ่มขึ้น ดังนั้น สภาพแวดล้อม Ambient Assistive Living มีจุดมุ่งหมายเพื่อช่วยเหลือผู้ให้บริการสุขภาพ ผู้ให้บริการดูแล ผู้เชี่ยวชาญด้านสุขภาพ ผู้ให้บริการในโรงงาน ผู้ขับขี่ ผู้บิน ครู และอุตสาหกรรมต่างๆ โดยใช้การตรวจจับ การประเมิน และการแทรกแซง.

‘ระบบนี้มีจุดมุ่งหมายเพื่อกำหนดระดับความเครียดทางกายภาพ อารมณ์ และจิตใจ และตอบสนองและปรับเปลี่ยนตามความจำเป็น ตัวอย่างเช่น รถที่มีระบบตรวจจับการนอนหลับสามารถแจ้งเตือนผู้ขับขี่ให้ให้ความสนใจและแนะนำให้พักผ่อนเพื่อหลีกเลี่ยงอุบัติเหตุ [††].’

เอกสาร เรื่องนี้ มีชื่อว่า การอนุมานอารมณ์ของผู้ใช้จากใบหน้าในสภาพแวดล้อมที่คล้ายกับการทำงาน และมาจากนักวิจัยสามคนจากห้องปฏิบัติการ Affective Intelligence & Robotics ที่剑桥

สภาพทดลอง

เนื่องจาก งานวิจัยก่อนหน้านี้ ในสาขานี้ขึ้นอยู่กับการรวบรวมภาพจากอินเทอร์เน็ต นักวิจัยจาก剑桥ได้ดำเนินการรวบรวมข้อมูลทดลองในท้องถิ่นโดยมีอาสาสมัคร 12 คน 5 คนเป็นชายและ 7 คนเป็นหญิง อาสาสมัครมาจาก 9 ประเทศ และมีอายุระหว่าง 22-41 ปี

โครงการนี้มีจุดมุ่งหมายเพื่อสร้างสภาพแวดล้อมที่ทำงานที่อาจทำให้เกิดความเครียดได้ 3 แบบ คือ สำนักงาน โรงงาน และการประชุมทางวิดีโอ เช่น การประชุมกลุ่มที่ใช้ Zoom ที่กลายเป็นเรื่องปกติในการทำงานที่บ้านตั้งแต่การระบาดของโควิด-19

อาสาสมัครถูกตรวจสอบโดยวิธีต่างๆ รวมถึงกล้อง 3 ตัว ไมโครโฟน Jabra ที่สวมคอ อุปกรณ์ Empatica ที่สวมข้อมือ (อุปกรณ์ไร้สายที่มีเซ็นเซอร์หลายตัวที่ให้ข้อมูลย้อนกลับแบบเรียลไทม์) และเซ็นเซอร์ Muse 2 ที่สวมศีรษะ (ที่ให้ข้อมูลย้อนกลับแบบเรียลไทม์) นอกจากนี้ อาสาสมัครยังถูกขอให้ทำแบบสอบถามและประเมินอารมณ์ของตนเองเป็นระยะๆ

แต่นี่ไม่ได้หมายความว่าระบบ Ambient Assistive Living ในอนาคตจะ “ต่ออุปกรณ์” กับคุณในระดับนี้ (ถ้าไม่ใช่เพื่อเหตุผลด้านต้นทุน) อุปกรณ์ตรวจจับและวิธีการที่ไม่ใช่กล้องที่ใช้ในการรวบรวมข้อมูล รวมถึงการประเมินตนเองที่เขียนไว้ เป็นเพียงการยืนยันระบบการตรวจจับอารมณ์จากใบหน้าที่ได้รับจากกล้อง

การเพิ่มความเครียด: สภาพแวดล้อมสำนักงาน

ในสองสภาพแวดล้อมแรก (“สำนักงาน” และ “โรงงาน”) อาสาสมัครเริ่มต้นด้วยงานที่ไม่ยาก และความเครียดเพิ่มขึ้นใน 4 ระยะ โดยมีงานที่แตกต่างกันในแต่ละระยะ

ในระดับความเครียดที่สูงสุด อาสาสมัครยังต้องทนต่อ “ผลกระทบของเสื้อขาว” ของการมีคนอยู่ด้านหลังและเสียงเพิ่มเติม 85 เดซิเบล ซึ่งเป็นเพียง 5 เดซิเบลต่ำกว่าขีดจำกัดทางกฎหมายสำหรับสภาพแวดล้อมสำนักงานในสหรัฐอเมริกา และเป็นขีดจำกัดสูงสุดที่กำหนดโดย National Institute for Occupational Safety and Health (NIOSH)

ในระยะการรวบรวมข้อมูลที่คล้ายกับสภาพแวดล้อมสำนักงาน อาสาสมัครถูกขอให้จำตัวอักษรที่ปรากฏบนจอของพวกเขา โดยมีระดับความยากที่เพิ่มขึ้น (เช่น จำลำดับตัวอักษรสองตัวที่ปรากฏบนจอสองจอก่อนหน้า)

สภาพแวดล้อมโรงงาน

เพื่อจำลองสภาพแวดล้อมการทำงานด้วยมือ อาสาสมัครถูกขอให้เล่นเกม การผ่าตัด ซึ่งท้าทายความคล่องตัวของผู้เล่นโดยต้องถอดวัตถุเล็กๆ ออกจากกระดานโดยไม่สัมผัสขอบ金属 ซึ่งจะทำให้เสียงบัซเซอร์ทำงาน

เมื่อถึงระยะที่ยากที่สุด อาสาสมัครถูกท้าทายให้ถอดวัตถุ 12 ชิ้นออกจากกระดานโดยไม่ผิดพลาดภายใน 1 นาที เพื่อเปรียบเทียบ สถิติโลกสำหรับการทำเกมนี้คือ 12.68 วินาที ซึ่งทำไว้ในสหราชอาณาจักรในปี 2019

สภาพแวดล้อมการประชุมทางวิดีโอ

สุดท้าย ในการทดสอบการทำงานที่บ้าน/การประชุมทางวิดีโอ อาสาสมัครถูกขอให้โดยผู้ทดลองผ่านการโทร MS Teams เพื่อระลึกถึงความทรงจำที่ดีและไม่ดีของตนเอง สำหรับระยะที่ยากที่สุดของสภาพแวดล้อมนี้ อาสาสมัครถูกขอให้ระลึกถึงความทรงจำที่ไม่ดีหรือเศร้าในอดีตที่ผ่านมา

งานและสถานการณ์ต่างๆ ถูกดำเนินการในลำดับแบบสุ่ม และรวบรวมเข้าด้วยกันเป็นชุดข้อมูลที่เรียกว่า Working-Environment-Context-Aware Dataset (WECARE-DB)

วิธีการและฝึกอบรม

ผลลัพธ์ของการประเมินตนเองของอาสาสมัครถูกใช้เป็นข้อมูลจริง และถูกแมปไปยังมิติของความสุขและความตื่นตัว วิดีโอของการทดลองถูกผ่านเครือข่ายการตรวจจับใบหน้า landmark และรูปภาพที่ถูกจัดตำแหน่งถูกส่งไปยังเครือข่าย ResNet-18 ที่ถูกฝึกอบรมบนชุดข้อมูล AffectNet

450,000 รูปภาพจาก AffectNet ทั้งหมดถูกดึงมาจากอินเทอร์เน็ตโดยใช้คำค้นหาที่เกี่ยวข้องกับอารมณ์ และถูกทำเครื่องหมายด้วยมิติของความสุขและความตื่นตัว

ต่อไป นักวิจัยได้ปรับปรุงเครือข่ายโดยอาศัยชุดข้อมูล WECARE ของตนเอง ในขณะที่ การเข้ารหัสการแสดงผลสเปกตรัม ถูกใช้ในการสรุปการคาดการณ์แบบเฟรม

ผลลัพธ์

การทำงานของแบบจำลองถูกประเมินโดยใช้เมตริกที่เกี่ยวข้องกับการคาดการณ์อารมณ์แบบอัตโนมัติสามแบบ คือ สัมประสิทธิ์สหสัมพันธ์ของการเท่ากัน สัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน และ_ROOT Mean Square Error (RMSE)

ผู้เขียนระบุว่าแบบจำลองที่ถูกปรับปรุงโดยใช้ชุดข้อมูล WECARE-DB ของตนเองมีประสิทธิภาพมากกว่าแบบจำลอง ResNet-18 และสรุปจากสิ่งนี้ว่าการควบคุมใบหน้าของเราที่ทำงานแตกต่างจากสภาพแวดล้อมที่ไม่ใช่การทำงานที่ได้รับจากอินเทอร์เน็ต

พวกเขาระบุว่า:

‘เมื่อดูตารางเราจะเห็นว่าแบบจำลองที่ถูกปรับปรุงโดยใช้ชุดข้อมูล WECARE-DB มีประสิทธิภาพมากกว่าแบบจำลอง ResNet-18 ที่ถูกฝึกอบรมบน AffectNet ซึ่งบ่งชี้ว่าพฤติกรรมใบหน้าที่แสดงในสภาพแวดล้อมที่คล้ายกับการทำงานแตกต่างจากสภาพแวดล้อมอินเทอร์เน็ตที่ใช้ใน AffectNet DB ดังนั้นจึงจำเป็นต้องได้รับชุดข้อมูลและฝึกอบรมแบบจำลองสำหรับการตระหนักอารมณ์จากใบหน้าในสภาพแวดล้อมที่คล้ายกับการทำงาน’

เกี่ยวกับอนาคตของการตระหนักอารมณ์ที่ทำงานโดยใช้เครือข่ายกล้องที่ฝึกอบรมให้มองผู้ทำงานอยู่เสมอและคาดการณ์อารมณ์ของพวกเขาอย่างต่อเนื่อง ผู้เขียนสรุปว่า*:

‘เป้าหมายสูงสุดคือการนำแบบจำลองที่ถูกฝึกอบรมไปใช้จริงและในเวลาจริงในสภาพแวดล้อมที่ทำงานจริงเพื่อให้ข้อมูลเข้าสู่ระบบสนับสนุนการตัดสินใจเพื่อส่งเสริมสุขภาพและความเป็นอยู่ที่ดีของคนในช่วงอายุทำงานในบริบทของโครงการ EU Working Age’

* เน้นของฉัน.

† ที่นี่ผู้เขียนอ้างอิงสามครั้ง:

การรู้จักอารมณ์แบบอัตโนมัติ มิติ และต่อเนื่อง – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
การสำรวจสภาพแวดล้อม Ambient Assisted Living – https://link.springer.com/article/10.1007/s12652-016-0374-3
การรีวิวเทคโนโลยี Internet of Things สำหรับสภาพแวดล้อม Ambient Assisted Living – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† ที่นี่ผู้เขียนอ้างอิงสองครั้ง:

การตรวจจับการนอนหลับของคนขับในระบบฝังตัวโดยใช้การบีบอัดแบบจำลองเครือข่ายประสาทเทียม – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
ระบบตรวจจับการนอนหลับของคนขับแบบเรียลไทม์โดยใช้ลักษณะใบหน้า – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532