รับรู้ความเครียดของพนักงานผ่านการวิเคราะห์ใบหน้าในที่ทำงาน

ในบริบทของการ เปลี่ยนวัฒนธรรม เกี่ยวกับมารยาทการประชุม Zoom และการเกิดขึ้นของ ความเมื่อยล้าของการซูมนักวิจัยจากเคมบริดจ์ได้เปิดตัวการศึกษาที่ใช้การเรียนรู้ของเครื่องเพื่อกำหนดระดับความเครียดของเราผ่านการครอบคลุมเว็บแคมที่เปิดใช้งาน AI ของการแสดงออกทางสีหน้าในที่ทำงาน

ด้านซ้าย สภาพแวดล้อมการรวบรวมข้อมูลพร้อมอุปกรณ์ตรวจสอบหลายชิ้นที่ได้รับการฝึกฝนหรือแนบมากับอาสาสมัคร ทางด้านขวา ตัวอย่างการแสดงสีหน้าที่เกิดจากผู้ทดสอบในระดับความยากของงานที่แตกต่างกัน ที่มา: https://arxiv.org/pdf/2111.11862.pdf

การวิจัยมีวัตถุประสงค์เพื่อการวิเคราะห์ผลกระทบ (เช่น การรับรู้อารมณ์) ในระบบ 'Ambient Assistive Living' และน่าจะได้รับการออกแบบมาเพื่อให้สามารถใช้งานเฟรมเวิร์กการตรวจสอบการแสดงออกทางสีหน้าของ AI ที่ใช้วิดีโอในระบบดังกล่าว แม้ว่าบทความจะไม่ได้ขยายความในด้านนี้ แต่ความพยายามในการวิจัยก็ไม่มีความหมายในบริบทอื่นใด

เป้าหมายเฉพาะของโครงการคือการเรียนรู้รูปแบบการแสดงออกทางสีหน้า ในสภาพแวดล้อมการทำงาน – รวมถึงการเตรียมการทำงานจากระยะไกล – แทนที่จะเป็นสถานการณ์ 'พักผ่อน' หรือ 'เฉย ๆ ' เช่น การเดินทาง

การจดจำอารมณ์ตามใบหน้าในที่ทำงาน

แม้ว่า 'Ambient Assistive Living' อาจฟังดูเหมือนแผนการดูแลผู้สูงอายุ แต่ก็ไม่เป็นเช่นนั้น เมื่อพูดถึง 'ผู้ใช้ปลายทาง' ผู้เขียนระบุ *:

'ระบบที่สร้างขึ้นสำหรับสภาพแวดล้อมที่เอื้ออำนวยต่อการอยู่อาศัย - มีเป้าหมายเพื่อให้สามารถดำเนินการทั้งการวิเคราะห์ผลกระทบโดยอัตโนมัติและการตอบสนอง สิ่งอำนวยความสะดวกในการดำรงชีวิตอาศัยการใช้เทคโนโลยีสารสนเทศและการสื่อสาร (ICT) เพื่อช่วยในการดำรงชีวิตประจำวันและสภาพแวดล้อมในการทำงานเพื่อให้พวกเขามีสุขภาพที่ดีขึ้นและใช้งานได้นานขึ้น และช่วยให้พวกเขาใช้ชีวิตได้อย่างอิสระเมื่ออายุมากขึ้น ดังนั้น, สภาพแวดล้อมที่เอื้อต่อการอยู่อาศัยมีจุดมุ่งหมายเพื่ออำนวยความสะดวกแก่เจ้าหน้าที่สาธารณสุข พยาบาล แพทย์ คนงานในโรงงาน คนขับรถ นักบิน ครู ตลอดจนอุตสาหกรรมต่างๆ ผ่านการรับรู้ การประเมิน และการแทรกแซง.

'ระบบนี้มีจุดประสงค์เพื่อระบุความเครียดทางร่างกาย อารมณ์ และจิตใจ และตอบสนองและปรับตัวตามและเมื่อจำเป็น ตัวอย่างเช่น รถยนต์ที่ติดตั้งระบบตรวจจับอาการง่วงนอนสามารถแจ้งให้คนขับระวังและสามารถแนะนำให้หยุดพักเล็กน้อย เพื่อหลีกเลี่ยงอุบัติเหตุ [††].'

พื้นที่ กระดาษ มีบรรดาศักดิ์ การสรุปผลใบหน้าของผู้ใช้ในการตั้งค่าลักษณะการทำงานและมาจากนักวิจัย XNUMX คนจาก AFfactive Intelligence & Robotics Lab ที่เคมบริดจ์

เงื่อนไขการทดสอบ

ตั้งแต่ งานก่อนหน้า ในสาขานี้ขึ้นอยู่กับการรวบรวมเฉพาะกิจของภาพที่คัดลอกมาจากอินเทอร์เน็ต นักวิจัยของเคมบริดจ์ได้ทำการทดลองรวบรวมข้อมูลในท้องถิ่นกับอาสาสมัครในวิทยาเขต 12 คน เป็นชาย 5 คน และหญิง 7 คน อาสาสมัครมาจากเก้าประเทศ อายุระหว่าง 22-41 ปี

โครงการนี้มีเป้าหมายเพื่อสร้างสภาพแวดล้อมการทำงานที่อาจตึงเครียดขึ้นใหม่สามแห่ง ได้แก่ สำนักงาน; สายการผลิตของโรงงาน และการประชุมทางไกลทางโทรศัพท์ เช่น Zoom group chat แบบที่กลายเป็น คุณสมบัติที่พบบ่อย ของการบ้านตั้งแต่เกิดโรคระบาด

วัตถุถูกตรวจสอบด้วยวิธีต่างๆ รวมถึงกล้องสามตัว ไมโครโฟนแบบคล้องคอของ Jabra และ สายรัดข้อมือ Empatica (เซ็นเซอร์หลายตัวแบบไร้สายที่สวมใส่ได้ซึ่งเสนอไบโอฟีดแบ็คแบบเรียลไทม์) และเซ็นเซอร์แถบคาดศีรษะ Muse 2 (ซึ่งมีไบโอฟีดแบ็คด้วย) นอกจากนี้ อาสาสมัครยังถูกขอให้ทำแบบสำรวจและประเมินอารมณ์ของตนเองเป็นระยะๆ

อย่างไรก็ตาม นี่ไม่ได้หมายความว่าอุปกรณ์ Ambient Assistive Living ในอนาคตจะ 'เสียบคุณเข้าไป' ในระดับนั้น (ถ้าเหตุผลด้านต้นทุนเท่านั้น) อุปกรณ์และวิธีการตรวจสอบที่ไม่ใช่กล้องทั้งหมดที่ใช้ในการรวบรวมข้อมูล รวมถึงการประเมินตนเองที่เป็นลายลักษณ์อักษร มีวัตถุประสงค์เพื่อตรวจสอบระบบการจดจำผลกระทบจากใบหน้าที่เปิดใช้งานโดยภาพจากกล้อง

เพิ่มความกดดัน: สถานการณ์ในสำนักงาน

ใน XNUMX ใน XNUMX สถานการณ์แรก ('สำนักงาน' และ 'โรงงาน') อาสาสมัครจะเริ่มต้นอย่างง่าย ๆ โดยความกดดันจะค่อย ๆ เพิ่มขึ้นเรื่อย ๆ ในสี่ขั้นตอน โดยมีประเภทงานที่แตกต่างกันสำหรับแต่ละช่วง

ในระดับสูงสุดของความเครียดที่เหนี่ยวนำ อาสาสมัครยังต้องทนกับ 'เอฟเฟกต์เสื้อคลุมสีขาว' ของใครบางคนที่มองข้ามไหล่ของพวกเขา รวมถึงเสียงรบกวนเพิ่มเติมอีก 85db ซึ่งเป็นเพียง ห้าเดซิเบลด้านล่าง ขีดจำกัดทางกฎหมายสำหรับสภาพแวดล้อมในสำนักงานในสหรัฐอเมริกา และขีดจำกัดสูงสุดที่กำหนดโดย National Institute for Occupational Safety and Health (NIOSH)

ในขั้นตอนการรวบรวมข้อมูลแบบสำนักงาน อาสาสมัครจะได้รับมอบหมายให้จำตัวอักษรก่อนหน้าที่กระพริบผ่านหน้าจอด้วยระดับความยากที่เพิ่มขึ้น (เช่น ต้องจำลำดับตัวอักษรสองตัวที่เกิดขึ้นสองหน้าจอที่แล้ว)

สถานการณ์โรงงาน

เพื่อจำลองสภาพแวดล้อมการใช้แรงงาน อาสาสมัครถูกขอให้เล่นเกม การดำเนินการซึ่งท้าทายความคล่องแคล่วของผู้ใช้โดยกำหนดให้ผู้เล่นดึงวัตถุขนาดเล็กออกจากกระดานผ่านช่องรับแสงขอบโลหะแคบๆ โดยไม่ต้องสัมผัสด้านข้าง ซึ่งเหตุการณ์นี้จะเรียกเสียงเตือนว่า 'ล้มเหลว'

เมื่อถึงขั้นตอนที่ยากที่สุด อาสาสมัครถูกท้าทายให้ดึงสิ่งของทั้ง 12 ชิ้นออกมาโดยไม่มีข้อผิดพลาดภายในหนึ่งนาที สำหรับบริบท สถิติโลกสำหรับภารกิจนี้ ซึ่งจัดขึ้นในสหราชอาณาจักรในปี 2019 อยู่ที่ 12.68 วินาที.

สถานการณ์การประชุมทางไกล

สุดท้าย ในการทดสอบการบ้าน/การประชุมทางไกล อาสาสมัครถูกถามโดยผู้ทดลองเกี่ยวกับการโทรของ MS Teams เพื่อระลึกถึงความทรงจำในเชิงบวกและเชิงลบของตนเอง สำหรับขั้นตอนที่ตึงเครียดที่สุดของสถานการณ์นี้ อาสาสมัครจำเป็นต้องระลึกถึงความทรงจำที่เป็นลบหรือน่าเศร้าจากอดีตล่าสุดของพวกเขา

งานและสถานการณ์ต่างๆ ถูกดำเนินการตามลำดับแบบสุ่ม และรวบรวมเป็นชุดข้อมูลที่กำหนดเองซึ่งมีชื่อว่า Working-Environment-Context-Aware Dataset (WECARE-DB)

วิธีการและการฝึกอบรม

ผลลัพธ์ของการประเมินอารมณ์ของผู้ใช้ด้วยตนเองถูกนำมาใช้เป็นความจริงพื้นฐาน และแมปเข้ากับมิติแห่งความตื่นตัวและความตื่นตัว วิดีโอการทดลองที่บันทึกได้ดำเนินการผ่านการตรวจจับจุดสังเกตบนใบหน้า เครือข่ายและภาพที่จัดตำแหน่งที่ป้อนให้กับ เครือข่าย ResNet-18 อบรมเรื่อง เอฟเฟคเน็ต ชุดข้อมูล

รูปภาพ 450,000 รูปจาก ImpactNet ซึ่งวาด/ติดป้ายกำกับทั้งหมดจากอินเทอร์เน็ตโดยใช้ข้อความค้นหาเกี่ยวกับอารมณ์ ได้รับการใส่คำอธิบายประกอบด้วยตนเอง เอกสารระบุด้วยมิติวาเลนซ์และความเร้าอารมณ์

ต่อไป นักวิจัยได้ปรับปรุงเครือข่ายตามชุดข้อมูล WECARE ของตนเองเท่านั้น การเข้ารหัสการแสดงสเปกตรัม ถูกใช้เพื่อสรุปการคาดคะเนตามเฟรม

ผลสอบ

ประสิทธิภาพของโมเดลได้รับการประเมินโดยใช้เมตริกสามตัวที่มักเกี่ยวข้องกับการทำนายผลกระทบอัตโนมัติ: ค่าสัมประสิทธิ์สหสัมพันธ์ที่สอดคล้องกัน; ความสัมพันธ์สัมประสิทธิ์เพียร์สัน; และ Root Mean Square Error (RMSE)

ผู้เขียนทราบว่าโมเดลที่ปรับแต่งอย่างละเอียดบนชุดข้อมูล WECARE ของพวกเขาเองมีประสิทธิภาพดีกว่า ResNet-18 และสรุปได้จากสิ่งนี้ว่าวิธีที่เราควบคุมการแสดงสีหน้าของเรานั้นแตกต่างกันมากในสภาพแวดล้อมการทำงานมากกว่าในบริบทที่เป็นนามธรรมซึ่งได้รับการศึกษาก่อนหน้านี้ แหล่งข้อมูลจากอินเทอร์เน็ต

พวกเขาระบุ:

'เมื่อดูที่ตาราง เราสังเกตว่าโมเดลที่ปรับแต่งอย่างละเอียดบน WECARE-DB มีประสิทธิภาพดีกว่าโมเดล ResNet-18 ที่ฝึกไว้ล่วงหน้าบน [AffectNet] ซึ่งบ่งชี้ว่าพฤติกรรมใบหน้าที่แสดงในสภาพแวดล้อมเหมือนที่ทำงานนั้นแตกต่างกันเมื่อเทียบกับใน - การตั้งค่าอินเทอร์เน็ตแบบไวด์ที่ใช้ใน DB ของ ImpactNet ดังนั้นจึงจำเป็นต้องได้รับชุดข้อมูลและฝึกโมเดลสำหรับการจดจำผลกระทบบนใบหน้าในการตั้งค่าเหมือนการทำงาน'

ในส่วนที่เกี่ยวกับอนาคตของการจดจำผลกระทบในการทำงาน เปิดใช้งานโดยเครือข่ายกล้องที่ได้รับการฝึกฝนจากพนักงาน และคาดการณ์สถานะทางอารมณ์ของพวกเขาอย่างต่อเนื่อง ผู้เขียนสรุป*:

'เป้าหมายสูงสุดคือการนำและใช้แบบจำลองที่ผ่านการฝึกอบรมตามเวลาจริงและในสถานที่ทำงานจริงเพื่อให้ข้อมูลเข้าสู่ระบบสนับสนุนการตัดสินใจเพื่อส่งเสริมสุขภาพและความเป็นอยู่ที่ดีของผู้คนในช่วงวัยทำงานในบริบทของ โครงการวัยทำงานของสหภาพยุโรป.'

* เน้นของฉัน

† ที่นี่ผู้เขียนทำการอ้างอิงสามครั้ง:

การจดจำอารมณ์อัตโนมัติ มิติ และต่อเนื่อง – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
การสำรวจขอบเขตสิ่งมีชีวิตที่ได้รับความช่วยเหลือจากสิ่งแวดล้อม: การทบทวนอย่างเป็นระบบ – https://link.springer.com/article/10.1007/s12652-016-0374-3
การทบทวนเทคโนโลยี Internet of Things สำหรับสภาพแวดล้อมที่เอื้อต่อการอยู่อาศัย – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† ที่นี่ผู้เขียนทำการอ้างอิงสองครั้ง:

การตรวจจับอาการง่วงนอนของผู้ขับขี่ตามเวลาจริงสำหรับระบบฝังตัวโดยใช้แบบจำลองการบีบอัดของ Deep Neural Networks – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
ระบบตรวจจับอาการง่วงนอนของผู้ขับแบบเรียลไทม์โดยใช้คุณสมบัติใบหน้า – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532