การพัฒนาระบบ AR และ VR ด้วยกล้องข้อมือใหม่

ความเป็นจริงเสริม (AR) และความเป็นจริงเสมือน (VR) ได้ก้าวหน้าไปอีกขั้นด้วยการสร้างอุปกรณ์ใหม่ที่สวมบนข้อมือสำหรับการประมาณค่าตำแหน่งมือ 3 มิติ อุปกรณ์นี้ถูกสร้างโดยนักวิจัยจากสถาบันเทคโนโลยีโตเกียว (Tokyo Tech) ร่วมกับทีมจากมหาวิทยาลัยคาร์เนกีเมลลอน มหาวิทยาลัยเซนต์แอนดรูวส์ และมหาวิทยาลัยนิวเซาท์เวลส์

จุดสำคัญของระบบใหม่นี้คือกล้องที่สามารถบันทึกภาพบนหลังมือได้ โดยใช้เครือข่ายประสาทเทียมที่เรียกว่า DorsalNet เครือข่ายประสาทเทียมสามารถระบุการเคลื่อนไหวที่ซับซ้อนได้

การใช้อุปกรณ์ AR และ VR เพิ่มขึ้น โดยเฉพาะในอุตสาหกรรมด้านสุขภาพ กีฬา และความบันเทิง การพัฒนานี้จะช่วยย้ายอุตสาหกรรมออกจากวิธีการที่มีขนาดใหญ่และไม่สะดวกต่อการเคลื่อนไหว ซึ่งรวมถึงถุงมือขนาดใหญ่ที่ทำให้การเคลื่อนไหวเป็นธรรมชาติได้ยาก

ระบบการรู้จำท่าทางมือ 3 มิติ

ทีมวิจัยนำโดย Hideki Koike จาก Tokyo Tech

ตามที่นักวิจัยกล่าวว่า “งานนี้เป็นงานแรกที่ใช้การรู้จำท่าทางมือ 3 มิติแบบเรียลไทม์โดยใช้คุณลักษณะการมองเห็นจากพื้นที่หลังมือ ระบบประกอบด้วยกล้องที่รองรับโดยเครือข่ายประสาทเทียมที่เรียกว่า DorsalNet ซึ่งสามารถประมาณค่าท่าทางมือ 3 มิติได้อย่างแม่นยำโดยการตรวจจับการเปลี่ยนแปลงบนหลังมือ”

อุปกรณ์มีกล้องและสวมบนข้อมือ และทำหน้าที่เป็นระบบการรู้จำท่าทางมือ 3 มิติ ด้านที่สำคัญที่สุดของอุปกรณ์ ซึ่งอาจคล้ายกับสมาร์ทวอทช์ คือสามารถบันทึกการเคลื่อนไหวมือได้แม้ว่าสภาพแวดล้อมและอุปกรณ์เองจะเคลื่อนไหว

ความแม่นยำและการทดสอบเบื้องต้น

การวิจัยแสดงให้เห็นว่าระบบใหม่ที่พัฒนามีความแม่นยำมากกว่าความพยายามก่อนหน้านี้ โดยเฉพาะอย่างยิ่ง มีความแม่นยำมากกว่า 20% ในการรู้จำท่าทางที่ซับซ้อน เมื่อพูดถึงการระบุประเภทการจับ 11 ประเภทที่แตกต่างกัน มีอัตราความแม่นยำ 75%

การทดสอบเบื้องต้นแสดงให้เห็นว่าระบบสามารถใช้สำหรับการควบคุมอุปกรณ์สมาร์ทได้ ซึ่งรวมถึงการเปลี่ยนเวลาในสมาร์ทวอทช์โดยการเปลี่ยนมุมของนิ้ว นอกจากนี้ นักวิจัยยังแสดงให้เห็นว่าสามารถใช้เป็นเมาส์หรือคีย์บอร์ดเสมือนได้ โดยการควบคุมการเคลื่อนไหวของข้อมือเพื่อควบคุมจุดชี้

ตามที่นักวิจัยกล่าวว่า จะต้องมีการปรับปรุงอีกมากเพื่อให้ระบบสามารถใช้ได้ในโลกแห่งความเป็นจริง ตัวอย่างเช่น พวกเขาจะต้องใช้กล้องที่มีความสามารถสูงกว่าและมีอัตราเฟรมสูงกว่าเพื่อจับภาพการเคลื่อนไหวของข้อมือที่เร็วขึ้น เช่นเดียวกับการจัดการกับสภาพแวดล้อมที่มีแสงสว่างต่างกัน

การวิจัยจะนำเสนอที่ สัมมนาสัญจร ACM เรื่องซอฟต์แวร์และเทคโนโลยีสำหรับอินเทอร์เฟซผู้ใช้ (UIST) ซึ่งจะจัดขึ้นแบบออนไลน์ในวันที่ 20-23 ตุลาคม 2020