การระบุตำแหน่งผู้ใช้ในอาคารโดยใช้การรู้จำสถานที่ด้วยภาพ

การรู้จำสถานที่ด้วยภาพเป็นหนึ่งในรากฐานของ การพัฒนาด้านการมองเห็นของคอมพิวเตอร์ และหุ่นยนต์ อัลกอริทึม VPR มีหน้าที่ในการระบุสถานที่ที่ตรวจสอบตามภาพ เทคโนโลยีนี้สามารถรองรับหุ่นยนต์อัตโนมัติและกำลังคนได้เช่นกัน โดยการระบุสถานที่โดยรอบและอำนวยความสะดวกในการดำเนินการตามที่ต้องการ

นักวิจัยที่ NeuroSYS ใช้อัลกอริทึมการมองเห็นของคอมพิวเตอร์เป็นส่วนหนึ่งของแพลตฟอร์ม AR ที่พัฒนา Nsflow ซึ่งทำให้สามารถทำงานแบบโต้ตอบและฝึกอบรมแบบมืออาชีพได้ โดยระบุตำแหน่งผู้ใช้ระหว่างการฝึกอบรมที่ไซต์ ในกรณีนี้ การใช้ VPR ทำให้กระบวนการฝึกอบรมและเรียนรู้เร็วขึ้นอย่างมาก เนื่องจากไม่ต้องการการฝึกอบรมและกำกับดูแลล่วงหน้า

การค้นหาหรือระบุตำแหน่งบุคคลหรือสถานที่โดยใช้ GPS เป็นเรื่องเก่าแล้ว แต่จะทำอย่างไรเมื่อระบบนำทางด้วยดาวเทียมไม่สามารถทำงานได้ ระบบระบุตำแหน่งในอาคาร (IPS) มาเพื่อช่วยเหลือ

เมื่อค้นหาสิ่งที่เล็กๆ ในกองสิ่งของ คุณสามารถใช้เทคนิคต่างๆ เช่น บีคนสัญญาณ, ระบบตำแหน่งแม่เหล็ก, หน่วยวัดความเร่งและจyroscopes ที่วัดการเคลื่อนไหวจากจุดที่ทราบก่อนหน้า ระบบตำแหน่งโดยใช้ Wi-Fi หรือใช้เครื่องหมายภาพ

วิธีการทั้งหมดนี้มีข้อบกพร่อง (เช่น ต้องการติดตั้งเครื่องหมายหรือบีคนสัญญาณ, ระบบตำแหน่งแม่เหล็กที่เพิ่มข้อผิดพลาดของการวัดเมื่อเวลาผ่านไปและต้องการตำแหน่งใหม่) ที่มีมากกว่าข้อดีของมัน วิธีแก้ปัญหาที่ตอบคำถามสำคัญ – ตำแหน่งผู้ใช้ทั่วไปด้วยความแม่นยำถึงไม่กี่เมตร – อยู่ในขอบเขตของอัลกอริทึม

กระบวนการ การรู้จำสถานที่ ขึ้นอยู่กับขั้นตอนสองขั้นตอน โดยสร้างฐานข้อมูลสองฐานข้อมูล ในตอนแรก สถานที่เป้าหมายถูกถ่ายภาพและบางสิ่งๆ เช่น คีย์พอยต์ ถูกทำเครื่องหมายโดยตัวตรวจจับคุณลักษณะเพื่อระบุองค์ประกอบที่มีลักษณะเฉพาะของพื้นที่ หลังจากนั้น จุดที่มีเครื่องหมายถูกเปรียบเทียบกับภาพอ้างอิง เมื่อจุดที่ประเมินถือว่าเหมือนกันโดยตัวจับคู่คุณลักษณะ ภาพถือว่าเป็นภาพของสถานที่เดียวกัน

ฐานข้อมูล ภาพ รวมภาพของสถานที่เป้าหมายในกรณีนี้ คือพื้นที่ทำงาน และชุดของคุณสมบัติ รวมถึงตัวระบุเฉพาะ ต่อไปนี้คือตัวอธิบายท้องถิ่นและทั่วโลก อีกชุดหนึ่ง คือ ฐานข้อมูลห้อง ซึ่งจับคู่จุดเดี่ยวๆ กับพื้นที่เฉพาะในพื้นที่ที่พิจารณา

โดยใช้ SuperPoint, SuperGlue และ netVLAD จากสาขาการรู้จำสถานที่ด้วยภาพ นักวิจัยใช้กระบวนการดังกล่าวในการระบุตำแหน่งผู้ใช้ โครงข่ายประสาทที่ลึก SuperPoint และ SuperGlue ร่วมมือกันในการตรวจจับคุณลักษณะและการจับคู่ โดยดึงข้อมูลจากฐานข้อมูล

ตัวอธิบายทั่วโลกเข้าสู่เวที

กระบวนการนี้ต้องการตัวอธิบายทั่วโลก ซึ่งเป็นตัวแทนเวกเตอร์ที่แยกความแตกต่างของสถานที่ โดยระบุพื้นที่ด้วยวิธีที่ไม่มีความกำกวม เวกเตอร์เหล่านี้ควรไม่ขึ้นอยู่กับการส่องสว่างและจุดมอง – ไม่ว่าจะมีมุมมองหรือสภาพแสงเช่นใด ตัวอธิบายทั่วโลกควรไม่ทำให้เกิดความสับสนเมื่อแยกความแตกต่างของสถานที่ในภาพต่างๆ

นอกจากนี้ วัตถุที่ปรากฏในพื้นที่ที่สนใจไม่ควรผูกกับตัวอธิบายทั่วโลกเป็นคุณลักษณะที่แยกความแตกต่างของสถานที่ สิ่งของ เช่น เฟอร์นิเจอร์และอุปกรณ์ มีการเปลี่ยนแปลง (การตกแต่งใหม่ การแยกออก) หมายความว่าไม่สามารถกำหนดพื้นที่ผ่านการมีอยู่ของพวกมัน

การรู้จำสถานที่ด้วยภาพที่ใช้ การมองเห็นของคอมพิวเตอร์ ขึ้นอยู่กับองค์ประกอบถาวรของสถานที่ที่ตรวจสอบ เช่น ประตู หน้าต่าง บันได และสิ่งของอื่นๆ ที่มีลักษณะเฉพาะที่คงทน ในการวิจัยนี้ โครงข่ายประสาทที่ลึก NetVLAD ถูกใช้ในการคำนวณ โดยนำเสนอเวกเตอร์ที่ตรงตามข้อกำหนดที่ตั้งไว้ ในกระบวนการของการจับคู่ตัวอธิบายทั่วโลก ภาพที่มีเวกเตอร์ที่คล้ายกันที่สุดจะถูกประมวลผล โดยติดตามระยะห่างระหว่างจุดยึดที่มีลักษณะเฉพาะแต่ละจุด

เมื่อประมวลผลฐานข้อมูลสองฐานข้อมูล – ฐานข้อมูลห้องและอีกฐานข้อมูลหนึ่งที่มีคีย์พอยต์และตัวอธิบายทั่วโลก – ระบบจัดการกับคุณสมบัติของภาพ หลังจากการประเมินความคล้ายคลึงและระยะทางที่สั้นที่สุด โครงข่ายประสาทที่สอง SuperGlue จะระบุภาพที่แสดงถึงตำแหน่ง ระบบที่ใช้ VPR ช่วยให้สามารถระบุตำแหน่งผู้ใช้ได้โดยอาศัยจำนวนจุดคีย์ที่ตรงกัน

อัลกอริทึมเหล่านี้ถูกนำไปใช้ใน แพลตฟอร์ม AI & AR ซึ่งช่วยให้ผู้ใช้สามารถฝึกอบรมโดยใช้แว่นอัจฉริยะ VPR ช่วยให้ผู้ฝึกอบรมสามารถระบุตำแหน่งในพื้นที่ทำงาน และเริ่มคำแนะนำและคู่มือที่กำหนดให้กับจุดที่เฉพาะเจาะจง ซึ่งจะช่วยปรับปรุงความปลอดภัยและลดความจำเป็นในการกำกับดูแลโดยตรง

โครงการที่ได้รับทุนจากกองทุนสหภาพยุโรปภายใต้โครงการ Smart Growth Operational Programme ซึ่งเป็นส่วนหนึ่งของ National Centre for Research and Development: Fast Track