ตรวจจับการสัมผัสสายตาจากท่าทางของร่างกายด้วย Machine Learning

นักวิจัยจากประเทศฝรั่งเศสและสวิตเซอร์แลนด์ได้พัฒนาระบบการมองเห็นคอมพิวเตอร์ที่สามารถประมาณการได้ว่าบุคคลนั้นกำลังมองตรงเข้าไปที่ ‘อีโก้’ ของระบบ AI หรือไม่ โดยอาศัยข้อมูลที่ได้รับจากท่าทางของร่างกายของบุคคลนั้น

เฟรมเวิร์กใหม่นี้ใช้ข้อมูลที่ลดลงมากเพื่อประเมินสิ่งนี้ โดยใช้ข้อมูลคีย์พอยต์เชิงคำนวณ (ดูภาพด้านล่าง) แทนที่จะพยายามวิเคราะห์ที่ตั้งของดวงตาในภาพของใบหน้า ซึ่งทำให้วิธีการตรวจจับนี้มีความเบาและคล่องตัวมากเมื่อเทียบกับโครงสร้างการตรวจจับวัตถุที่ใช้ข้อมูลมากขึ้น เช่น YOLO

เฟรมเวิร์กใหม่ประเมินว่าบุคคลในถนนมองไปที่เซ็นเซอร์ของ AI หรือไม่ โดยอาศัยการวางท่าทางของร่างกายของพวกเขา Source: https://arxiv.org/pdf/2112.04212.pdf

แม้ว่างานนี้ได้รับแรงบันดาลใจจากการพัฒนาระบบความปลอดภัยที่ดีกว่าสำหรับยานพาหนะอัตโนมัติ แต่นักวิจัยที่เขียนบทความใหม่นี้ยอมรับว่ามันสามารถมีการใช้งานที่กว้างขึ้นในอุตสาหกรรมอื่น ๆ โดยสังเกตเห็นว่า ‘แม้ในเมืองอัจฉริยะ การตรวจจับการสัมผัสสายตาสามารถมีประโยชน์ในการเข้าใจพฤติกรรมของผู้เดินถนน เช่น ระบุว่าพวกเขาให้ความสนใจไปที่ไหนหรือสิ่งใด’

เพื่อช่วยให้การพัฒนาและระบบต่อเนื่องนี้ นักวิจัยได้รวบรวมชุดข้อมูลใหม่และครอบคลุมที่เรียกว่า LOOK ซึ่งจัดการกับความท้าทายเฉพาะของการตรวจจับการสัมผัสสายตาที่ไม่แน่นอน เช่น ภาพถนนจากกล้องรถยนต์หรือภาพคนเดินในฝูงชนผ่านเส้นทางที่หุ่นยนต์อาจต้องเดินผ่านและหลีกเลี่ยงเส้นทางของผู้เดินถนน

ผลลัพธ์จากเฟรมเวิร์ก โดยมีผู้ที่มองไปที่กล้องระบุเป็นสีเขียว

การวิจัย นี้ มีชื่อเรื่องว่า ผู้เดินถนนให้ความสนใจหรือไม่? การตรวจจับการสัมผัสสายตาที่ไม่แน่นอน และมาจากนักวิจัยสี่คนจาก Visual Intelligence for Transportation (VITA) ในสวิตเซอร์แลนด์ และหนึ่งคนจาก Sorbonne Université

สถาปัตยกรรม

งานวิจัยก่อนหน้านี้ส่วนใหญ่ในด้านนี้มุ่งเน้นไปที่ความสนใจของคนขับ โดยใช้การเรียนรู้ของเครื่องจักรเพื่อวิเคราะห์ผลลัพธ์จากกล้องที่มองคนขับ และพึ่งพามุมมองที่คงที่และใกล้ของคนขับ – สิ่งที่ไม่น่าจะมีในกล้องโทรทัศน์สาธารณะที่มีความละเอียดต่ำ ซึ่งบุคคลอาจอยู่ห่างไกลเกินกว่าที่ระบบวิเคราะห์ใบหน้าจะสามารถระบุการวางท่าทางของดวงตาได้ และมีการบดบังอื่น ๆ (เช่น แว่นกันแดด) ที่เข้ามาขัดขวางด้วย

สิ่งที่สำคัญกว่านั้นสำหรับโครงการคือกล้องที่มองออกไปข้างนอกในรถยนต์แบบอัตโนมัติอาจไม่ได้อยู่ในสถานการณ์ที่เหมาะสมที่สุด ทำให้ข้อมูลคีย์พอยต์ ‘ระดับต่ำ’ เหมาะสมที่จะใช้เป็นพื้นฐานสำหรับเฟรมเวิร์กการวิเคราะห์มองเห็น รถยนต์แบบอัตโนมัติต้องการวิธีการที่ตอบสนองได้อย่างรวดเร็วและรวดเร็วในการเข้าใจว่าผู้เดินถนน – ที่อาจเดินออกจากทางเท้าเข้าไปในเส้นทางของรถ – ได้เห็นรถยนต์แบบอัตโนมัติหรือไม่ ในสถานการณ์ดังกล่าว การล่าช้าอาจหมายถึงความแตกต่างระหว่างชีวิตและความตาย

สถาปัตยกรรมแบบโมดูลาร์ที่นักวิจัยพัฒนาขึ้นนี้รับภาพ (โดยทั่วไป) ของคนเต็มตัว ซึ่งสามารถ 추출ข้อมูลจุดต่อจุด 2 มิติออกมาเป็นรูปแบบพื้นฐานและร่างกระดูก

สถาปัตยกรรมของระบบตรวจจับการสัมผัสสายตาของฝรั่งเศส/สวิสใหม่

ท่าทางถูกปรับให้มาตรฐานเพื่อลบข้อมูลบนแกน Y เพื่อสร้างการแสดงภาพ ‘แบน’ ของท่าทางที่ทำให้มันเทียบเท่ากับพózที่ทราบหลายพันตำแหน่งที่ได้เรียนรู้โดยอัลกอริทึม (ซึ่งได้ถูก ‘แบน’ ในลักษณะเดียวกัน) และธงไบนารี่/ป้ายกำกับ (เช่น 0: ไม่มอง หรือ 1:มอง)

ท่าทางถูกเปรียบเทียบกับความรู้ภายในของอัลกอริทึมว่าท่าทางนั้นตรงกับภาพของผู้เดินถนนอื่น ๆ ที่ถูกระบุว่า ‘มองไปที่กล้อง’ – การบันทึกที่ทำโดยใช้เครื่องมือเบราว์เซอร์ที่พัฒนาขึ้นโดยผู้เขียนสำหรับคนงาน Amazon Mechanical Turk ที่เข้าร่วมในการพัฒนาเซตข้อมูล LOOK

ภาพแต่ละภาพใน LOOK ถูกตรวจสอบโดยคนงาน AMT สี่คน และภาพที่มีคนงานสามคนจากสี่คนเห็นด้วยกับผลลัพธ์ถึงจะถูกนำมาใช้ในคอลเลกชันสุดท้าย

ข้อมูลการถ่ายภาพใบหน้า ซึ่งเป็นแก่นกลางของงานวิจัยก่อนหน้านี้ เป็นตัวบ่งชี้ที่ไม่น่าเชื่อถือที่สุดของการมองเห็นในสถานการณ์เมืองที่ไม่แน่นอน และถูกนำมาใช้เป็นกระแสข้อมูลที่ไม่จำเป็นในสถาปัตยกรรมที่มีคุณภาพการบันทึกและคवरเรจที่เพียงพอเพื่อสนับสนุนการตัดสินใจว่าบุคคลนั้นมองไปที่กล้องหรือไม่ ในกรณีของบุคคลที่อยู่ห่างไกลมาก สิ่งนี้ไม่น่าจะเป็นข้อมูลที่มีประโยชน์

ข้อมูล

นักวิจัยได้พัฒนา LOOK จากเซตข้อมูลก่อนหน้าที่ไม่เหมาะสมกับงานนี้โดยตรง เซตข้อมูลสองชุดที่มีจุดมุ่งหมายเดียวกันกับโครงการคือ JAAD และ PIE และแต่ละเซตมีข้อจำกัด

JAAD เป็นข้อมูลจากปี 2017 จากมหาวิทยาลัย York ในโตรอนโต ซึ่งมีตัวอย่างที่มีฉลาก 390,000 รายการของคนเดินถนน รวมถึงกล่องขอบเขตและคำอธิบายพฤติกรรม จากจำนวนนี้ 17,000 รายการถูกฉลากว่า มองคนขับ (เช่น กล้องอีโก้) เซตข้อมูลนี้มีคลิป 346 คลิปที่มีความถี่ 30 เฟรมต่อวินาที ซึ่งบันทึกจากกล้องบนรถในอเมริกาเหนือและยุโรป JAAD มีการซ้ำกันสูง และจำนวนคนเดินถนนที่ไม่ซ้ำกันคือ 686 คน

PIE ที่ใหม่กว่า (2019) จากมหาวิทยาลัย York ในโตรอนโต มีลักษณะคล้ายกับ JAAD ในด้านการมีคลิปวิดีโอ 30 เฟรมต่อวินาทีจากกล้องบนรถ ซึ่งบันทึกจากการขับรถในเมืองโตรอนโตเป็นเวลา 6 ชั่วโมง ซึ่งให้คนเดินถนนที่มีฉลาก 700,000 คนและคนเดินถนนที่ไม่ซ้ำกัน 1,842 คน โดยมีเพียง 180 คนที่มองไปที่กล้อง

แทนเซตข้อมูลเหล่านั้น นักวิจัยที่เขียนบทความใหม่นี้ได้รวบรวมข้อมูลที่เหมาะสมที่สุดจากเซตข้อมูลการขับรถอัตโนมัติสามชุดก่อนหน้า: KITTI, JRDB และ NuScenes จากสถาบันเทคโนโลยี Karlsruhe ในเยอรมนี, สแตนฟอร์ดและมหาวิทยาลัย Monash ในออสเตรเลีย และ Nutonomy ที่เคยเป็นส่วนหนึ่งของ MIT

การคัดเลือกนี้ส่งผลให้ได้เซตข้อมูลที่หลากหลายจากเมืองสี่เมือง – บอสตัน สิงคโปร์ ทูบิงเงิน และปาโลอัลโต โดยมีมุมมองคนเดินถนนที่มีฉลากประมาณ 8,000 มุมมอง ผู้เขียนอ้างว่า LOOK เป็นเซตข้อมูลที่หลากหลายที่สุดสำหรับการตรวจจับการสัมผัสสายตาที่ไม่แน่นอน

การฝึกอบรมและผลลัพธ์

การถอดรหัส การฝึกอบรม และการประเมินถูกดำเนินการบน NVIDIA GeForce GTX 1080ti ที่มี VRAM 11GB และ Intel Core i7-8700 CPU ที่ทำงานที่ 3.20GHz

ผู้เขียนพบว่าวิธีการของพวกเขาไม่เพียงแต่ดีขึ้นจากผลลัพธ์ฐานที่ดีที่สุด (SOTA) อย่างน้อย 5% แต่ยังพบว่าโมเดลที่ฝึกอบรมจาก JAAD มีการทั่วไปที่ดีมากต่อข้อมูลที่ไม่เคยเห็นมาก่อน ซึ่งถูกทดสอบโดยการผสมผสานเซตข้อมูลหลายชุด

เนื่องจากการทดสอบที่ทำเป็นเรื่องที่ซับซ้อนและต้องจัดเตรียมสำหรับแบบจำลองที่ใช้การถ่ายภาพ (ในขณะที่การแยกและถ่ายภาพใบหน้าไม่ใช่ส่วนกลางของสถาปัตยกรรมใหม่) ดูบทความสำหรับผลลัพธ์ที่ละเอียด

ผลลัพธ์สำหรับความแม่นยำโดยเฉลี่ย (AP) เป็นเปอร์เซ็นต์และฟังก์ชันของความสูงของกล่องขอบเขตในพิกเซลสำหรับการทดสอบทั่วเซตข้อมูล JAAD โดยมีผลลัพธ์ของผู้เขียนเป็นตัวหนา

นักวิจัยได้เผยแพร่โค้ดของตนให้_PUBLIC โดยมีเซตข้อมูลที่มีอยู่ ที่นี่ และโค้ดต้นที่ GitHub

ผู้เขียนสรุปด้วยความหวังที่ว่างานของพวกเขาจะสร้างแรงบันดาลใจให้กับการวิจัยในอนาคตในหัวข้อที่พวกเขาเรียกว่า ‘หัวข้อที่สำคัญแต่ถูกมองข้าม’