AI เปิดเผยการเคลื่อนไหวที่ซ่อนอยู่ที่เปิดเผยโดยผนังที่ว่างเปล่า

การทำงานร่วมกันในการวิจัย ซึ่งรวมถึงผู้ร่วมให้ข้อมูลจาก NVIDIA และ MIT ได้พัฒนา phương phápการเรียนรู้ของเครื่องจักรที่สามารถระบุคนซ่อนอยู่ได้โดยการดูการสะท้อนแสงทางอ้อมบนผนังใกล้เคียง แม้ว่าคนเหล่านั้นจะไม่อยู่ใกล้กับแหล่งกำเนิดแสงเลย ก็สามารถระบุได้ว่ามีคนซ่อนอยู่กี่คน และสามารถระบุการเคลื่อนไหวของคนซ่อนอยู่ได้โดยการขยายการสะท้อนแสงให้มากขึ้น

การเปลี่ยนแปลงของแสงเล็กน้อยที่ขยายโดยวิธีการใหม่ ซึ่งใช้เครือข่ายประสาทเทียมเพื่อระบุพื้นที่ที่เปลี่ยนแปลง Source: https://www.youtube.com/watch?v=K4PapXyX-bI

เอกสารวิจัยใหม่ เอกสาร มีชื่อเรื่องว่า สิ่งที่คุณสามารถเรียนรู้ได้โดยการมองผนังที่ว่างเปล่า โดยมีผู้ร่วมให้ข้อมูลจาก NVIDIA และ MIT รวมถึงสถาบันเทคโนโลยีแห่งอิสราเอล

วิธีการก่อนหน้านี้ในการ “มองเห็นรอบผนัง” ได้พึ่งพาแหล่งกำเนิดแสงหรือความรู้เกี่ยวกับแหล่งกำเนิดแสง แต่วิธีการใหม่นี้สามารถใช้ได้กับห้องใดๆ โดยไม่ต้องตั้งค่าใหม่ เครือข่ายประสาทเทียมสองเครือข่ายที่ใช้ในการระบุคนซ่อนอยู่ได้ใช้ข้อมูลจากเพียง 20 สถานการณ์

โครงการนี้มีเป้าหมายเพื่อใช้ในสถานการณ์ที่มีความเสี่ยงสูง เช่น การค้นหาและช่วยเหลือ การสังเกตการณ์ของตำรวจ การตอบสนองต่อเหตุฉุกเฉิน การตรวจจับคนตกในผู้สูงอายุ และการตรวจจับคนเดินข้ามถนนสำหรับรถยนต์ไร้คนขับ

การประเมินแบบพาสซีฟ

เช่นเดียวกับโครงการวิชาการที่เกี่ยวข้องกับการมองเห็นของเครื่องจักร การทำงานหลักคือการระบุ การจำแนก และใช้การเปลี่ยนแปลงสถานะที่รับรู้ในกระแสภาพ การเชื่อมต่อการเปลี่ยนแปลงเหล่านี้จะนำไปสู่รูปแบบที่สามารถใช้ในการระบุจำนวนคนหรือตรวจจับการเคลื่อนไหวของคน

งานนี้เปิดโอกาสให้สามารถประเมินสถานการณ์ได้อย่างสมบูรณ์แบบโดยไม่ต้องใช้พื้นผิวสะท้อนแสง Wi-Fi สัญญาณเรดาร์ เสียง หรือสภาพพิเศษอื่นๆ ที่จำเป็นในการวิจัยล่าสุดเพื่อตรวจจับคนซ่อนอยู่ในสถานการณ์ที่มีความเสี่ยง

สถานการณ์การเก็บข้อมูลตัวอย่างที่ใช้ในการวิจัยใหม่ ผู้เข้าร่วมถูกวางตำแหน่งอย่างระมัดระวังเพื่อไม่ให้โยนเงาหรือปิดบังแสงโดยตรง และไม่มีพื้นผิวสะท้อนแสงหรือเวกเตอร์ ‘การโกง’ อื่นๆ ที่อนุญาต Source: https://arxiv.org/pdf/2108.13027.pdf

โดยทั่วไปแล้ว แสงในสถานการณ์ที่คาดหวังสำหรับการใช้งานจะครอบงำการเปลี่ยนแปลงเล็กน้อยที่เกิดจากแสงสะท้อนจากคนซ่อนอยู่ในสถานการณ์ นักวิจัยคำนวณว่าส่วนการเปลี่ยนแปลงของแสงจากคนจะน้อยกว่า 1% ของแสงเห็นได้ทั้งหมด

การลบแสงแบบสแตติก

เพื่อแยกการเคลื่อนไหวออกจากภาพผนังที่ดูเหมือนจะอยู่นิ่งๆ จึงจำเป็นต้องคำนวณค่าเฉลี่ยของวิดีโอและลบออกจากแต่ละเฟรม รูปแบบการเคลื่อนไหวที่ได้จะอยู่ต่ำกว่าระดับเสียงของอุปกรณ์วิดีโอคุณภาพดี และโดยทั่วไปแล้วการเคลื่อนไหวเกิดขึ้นในพื้นที่พิกเซลลบ

เพื่อแก้ปัญหานี้ นักวิจัยจะลดความละเอียดของวิดีโอโดยลดขนาดลง 16 เท่าและขยายขนาดขึ้น 50 เท่า ในขณะเดียวกันก็เพิ่มระดับพื้นฐานของสีเทาเพื่อระบุการมีอยู่ของพิกเซลลบ (ซึ่งไม่สามารถคำนวณได้จากเสียงของเซ็นเซอร์วิดีโอ)

ความแตกต่างระหว่างผนังที่มองเห็นได้และรูปแบบการเปลี่ยนแปลงของคนซ่อนอยู่

ช่วงเวลาในการรับรู้การเคลื่อนไหวมีความอ่อนไหวมากและสามารถถูกส่งผลกระทบได้แม้กระทั่งการกระพริบของแสงไฟที่ความถี่ 60 Hz ดังนั้นการเปลี่ยนแปลงตามธรรมชาตินี้จึงต้องถูกประเมินและลบออกจากวิดีโอ قبلที่จะเกิดการเคลื่อนไหวที่เกิดจากคน

สุดท้าย ระบบจะสร้างแผนภูมิอวกาศ-เวลาเพื่อส่งสัญญาณจำนวนคนซ่อนอยู่ในห้อง – สัญญาณภาพอวกาศ-เวลาที่เฉพาะเจาะจง:

แผนภูมิอวกาศ-เวลาที่แสดงจำนวนคนซ่อนอยู่ในห้อง

การเคลื่อนไหวของมนุษย์ที่แตกต่างกันจะทำให้เกิดรูปแบบการเปลี่ยนแปลงที่เฉพาะเจาะจงซึ่งสามารถจำแนกและรู้จักได้:

แผนภูมิอวกาศ-เวลาที่แสดงการเคลื่อนไหวที่แตกต่างกัน

เพื่อสร้างกระบวนการทำงานอัตโนมัติของเครื่องจักรเพื่อการรู้จักคนซ่อนอยู่ นักวิจัยใช้วิดีโอต่างๆ จาก 20 สถานการณ์ที่เหมาะสมเพื่อฝึกเครือข่ายประสาทเทียมสองเครือข่ายที่ทำงานในโครงสร้างที่คล้ายคลึงกัน – หนึ่งเครือข่ายสำหรับการนับจำนวนคนในสถานการณ์ และอีกเครือข่ายหนึ่งสำหรับการระบุการเคลื่อนไหวที่เกิดขึ้น

การทดสอบ

นักวิจัยทดสอบระบบที่ฝึกแล้วใน 10 สภาพแวดล้อมที่ไม่เคยเห็นมาก่อนที่ออกแบบมาเพื่อสร้างข้อจำกัดที่คาดหวังสำหรับการใช้งานสุดท้าย ระบบสามารถบรรลุความแม่นยำสูงถึง 94.4% (ใน 256 เฟรม – โดยทั่วไปคือ 8 วินาทีของวิดีโอ) ในการจำแนกจำนวนคนซ่อนอยู่ และความแม่นยำสูงถึง 93.7% (ในเงื่อนไขเดียวกัน) ในการจำแนกการเคลื่อนไหว แม้ว่าความแม่นยำจะลดลงเมื่อมีเฟรมน้อยลง แต่ก็ไม่ได้ลดลงในลักษณะเชิงเส้น และแม้กระทั่ง 64 เฟรมก็สามารถบรรลุอัตราความแม่นยำ 79.4% สำหรับการประเมิน ‘จำนวนคน’ (เมื่อเทียบกับเกือบ 95% สำหรับจำนวนเฟรมสี่เท่า)

แม้ว่าวิธีการนี้จะทนต่อการเปลี่ยนแปลงของสภาพอากาศ แต่ก็ยังต้องดิ้นรนในสถานการณ์ที่มีแสงจากโทรทัศน์ หรือเมื่อคนสวมเสื้อผ้าที่มีสีเดียวกับผนังสะท้อนแสง

รายละเอียดเพิ่มเติมเกี่ยวกับการวิจัย รวมถึงวิดีโอคุณภาพสูงของการดึงข้อมูลออกมา สามารถดูได้ในวิดีโอต่อไปนี้