ระบบโฟกัสแบบออทενติกสำหรับ ‘ราคาถูก’ ของความเป็นจริงเสริม

นักวิจัยจาก Institute of Electrical and Electronics Engineers (IEEE) ได้พัฒนาวิธีการเพิ่มความสมจริงของการแสดงผลความเป็นจริงเสริมที่มีราคาไม่แพง โดยใช้เครื่องมือพิเศษที่ทำให้ภาพ 3 มิติที่ถูกฉายออกมาเปลี่ยนโฟกัสในแบบเดียวกับที่วัตถุจริงจะทำ ทำให้สามารถ克服อุปสรรคการรับรู้ที่สำคัญสำหรับการใช้งานระบบฉายภาพในบรรยากาศที่ควบคุมได้

ระบบ IEEE นี้สร้างระนาบความลึกสำหรับภาพจริงและ CGI ที่จะถูกซ้อนทับลงในห้อง ในกรณีนี้ มีกระต่าย Stanford CGI สามตัวที่ถูกซ้อนทับลงในระนาบความลึกเดียวกันกับวัตถุจริงสามชิ้น และความ模糊ของมันถูกควบคุมโดยที่ผู้ชมกำลังมองและโฟกัส 3D Projectors สามารถฉายภาพลงบนพื้นผิวที่ตายตัว พื้นผิวที่เคลื่อนไหว หรือแม้กระทั่งเรขาคณิตที่ซับซ้อน โดยมีการครอบคลุมที่กว้างขวางซึ่งยากที่จะสร้างขึ้นภายใต้ข้อจำกัดการประมวลผลของระบบ AR เช่น HoloLens Source: https://www.youtube.com/watch?v=I8DGTQnxm38

ระบบนี้ใช้เลนส์ที่สามารถปรับโฟกัสได้ด้วยไฟฟ้า (ETL) ที่ฝังอยู่ในแว่นตาของผู้ชม (ซึ่งจำเป็นต้องแยกสตรีมภาพออกเป็นประสบการณ์ 3 มิติที่สมจริง) และซึ่งสื่อสารกับระบบฉายภาพ ซึ่งจะเปลี่ยนระดับความ模糊ของภาพที่ผู้ชมเห็นโดยอัตโนมัติ

เลนส์ ETL ส่งกลับข้อมูลเกี่ยวกับการมุ่งเน้นของผู้ใช้และเปลี่ยนระดับความ模糊ในระนาบต่างๆ สำหรับการเรนเดอร์เรขาคณิตที่ถูกฉายออกมา การพัฒนาของระบบนี้ได้รับการอธิบายในวิดีโอที่แนบมาไว้ที่สิ้นสุดของบทความนี้

บทความวิจัย นี้ ที่มีชื่อว่า Multifocal Stereoscopic Projection Mapping นำเสนอความสามารถในการใช้งานที่ใหม่สำหรับสาขานี้ ซึ่งได้รับจำกัดจากความไม่เข้ากันของการโฟกัสของวัตถุ และซึ่งpromiseto 克服ปัญหาเหล่านั้นที่ระบบเหล่านี้มีเกี่ยวกับ conflict ของการโฟกัส (VAC) – สภาพที่ระยะห่างที่รับรู้ระหว่างวัตถุไม่ตรงกับระยะห่างการโฟกัสที่สมเหตุสมผล ทำให้วัตถุ ‘ลอย’ ในลักษณะที่ไม่สมจริงที่ควรจะถูกทำให้ไม่ชัดเจนในบริบทของการวางตำแหน่ง

ในสภาพแวดล้อม AR เช่น Microsoft’s HoloLens foveated rendering ใช้ เพื่อเพิ่มพลังการประมวลผล โดยการเรนเดอร์รายละเอียดและโฟกัสตามที่ผู้ใช้กำลังมองและโฟกัส อย่างไรก็ตาม ระบบ AR ที่สวมใส่ เช่น HoloLens มีภาระการประมวลผลที่หนักกว่า เนื่องจากต้องส่งภาพ 3 มิติไปยังผู้ใช้

ข้อได้เปรียบของความเป็นจริงเสริมแบบฉายภาพ

ในทางตรงกันข้าม แว่นตาที่มีเลนส์ ETL จะส่งเฉพาะข้อมูลโฟกัสเป็นตัวแปรเพิ่มเติมไปยัง파イプไลน์ CGI จาก xa ซึ่งสามารถเปลี่ยนโฟกัสของภาพที่ถูกฉายออกมาได้เร็วกว่าการเดินทางของข้อมูลโฟกัสในอุปกรณ์ AR ที่สวมใส่ (เช่น ข้อมูลโฟกัส > ส่งไปยังโปรเซสเซอร์ > เรนเดอร์ > ส่งกลับไปยังผู้ใช้) ซึ่งจะปรับปรุงความล่าช้า ซึ่งเป็น สาเหตุหนึ่งที่อาจทำให้ผู้ใช้สับสน ในระบบ AR

โดยผลลัพธ์ การเรนเดอร์แบบ foveated ใช้เพื่อปรับให้เข้ากับทรัพยากรที่มีอยู่จำกัด และเพื่อให้ผู้ใช้มีประสบการณ์แบบโฟกัสที่สมจริง โดยพื้นที่ภาพที่ซ้อนทับกันขนาดใหญ่ยากที่จะบรรลุในระบบ HoloLens และ ‘letterbox rendering’ และขอบที่ไม่เสถียร เป็นข้อร้องเรียนที่พบบ่อย

จาก SIGGRAPH 98 – วิสัยทัศน์ของความเป็นจริงเสริมในสำนักงาน อ้างอิงในบทความใหม่นี้ Source: https://www.youtube.com/watch?v=I8DGTQnxm38 และ https://web.media.mit.edu/~raskar/UNC/Office/

บทความนี้สังเกตเห็นข้อได้เปรียบหลายประการที่การฉายภาพแบบสเตอริโอ (PM) มีเหนือการนำไปใช้ความเป็นจริงเสริมสมัยใหม่ ซึ่งพึ่งพาอุปกรณ์ที่สวมใส่หนักและเข้มข้น ซึ่งผู้เขียนสังเกตเห็นว่า*:

ประการแรก พื้นที่มองเห็น (FOV) สามารถขยายให้กว้างที่สุดโดยการเพิ่มจำนวนโปรเจคเตอร์เพื่อครอบคลุมสภาพแวดล้อมทั้งหมด ประการที่สอง แว่นตาที่ใช้การปิด-เปิดแบบแอคทีฟมักจะเบากว่า และภาระทางกายภาพจึงน้อยกว่า HMDs ประการที่สาม ผู้ใช้หลายคนสามารถใช้ประสบการณ์ AR ร่วมกันหากมุมมองของพวกเขาใกล้กันมากพอที่จะแบ่งปันสิ่งนี้ ด้วยข้อได้เปรียบนี้ นักวิจัยพบว่าการฉายภาพแบบสเตอริโอเหมาะสมสำหรับการใช้งานที่หลากหลาย รวมถึง คู่มือพิพิธภัณฑ์ การวางแผนการก่อสร้าง การออกแบบผลิตภัณฑ์ การฝึกอบรมทางการแพทย์ การฝึกอบรมทางการแพทย์ อินเทอร์เฟซที่เปลี่ยนรูป และการประชุมทางไกล

การนำไปใช้แบบหนึ่งถูกสร้างขึ้นโดย Microsoft Research ในปี 2012 ก่อนที่บริษัทจะเน้นไปที่ AR บนอุปกรณ์ในปัจจุบัน:

นักวิจัยจาก IEEE ยืนยันว่าระบบการรับข้อมูลโฟกัสใหม่นี้เป็นระบบแรกที่แก้ปัญหา VAC โดยการควบคุมระนาบโฟกัสหลายระดับ และเป็นระบบแรกที่แก้ปัญหานี้ในลักษณะทั่วไปและใช้ได้กับทั่วไป โดยไม่ต้องใช้อุปกรณ์ฉายภาพที่มีราคาแพงและพิเศษ

การเรนเดอร์แบบโฟกัสที่ผู้วิจัยสร้างขึ้นนี้รวมข้อมูลโฟกัสที่ได้รับจากแว่นตาของผู้ใช้ ETL ที่จุดเริ่มต้นของกระบวนการเรนเดอร์ ไม่ใช่หลังจากรender และทำให้เบลอ ซึ่งสามารถช่วยประหยัดทรัพยากรการประมวลผลและลดความล่าช้าเมื่อผู้ใช้กำลังดูสิ่งต่างๆ ที่อยู่รอบๆ

เทคนิคนี้ได้รับการรายงานว่าทำงานได้ดีบนพื้นผิวที่ฉายภาพได้หลายแบบ รวมถึงพื้นผิวราบ พื้นผิวที่ไม่ใช่ระนาบ (เช่น พื้นผิวโค้งหรือเรขาคณิตที่ซับซ้อน เช่น ตัวแบบที่สามารถวางภาพเอ็กซเรย์ทางการแพทย์ลงไปได้) และพื้นผิวที่เคลื่อนไหว

ตัวแบบผสมความเป็นจริงที่ใช้การฉายภาพ 3 มิติ สำหรับสภาพแวดล้อมทางการศึกษาแพทย์ อ้างอิงในบทความ Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

ระบบฉายภาพประเภทนี้ต้องการสภาพแวดล้อมที่มีแสงสว่างน้อย เช่น สภาพแวดล้อมในพิพิธภัณฑ์ และระบบ ETL ลดมุมมองของผู้ใช้ แต่นักวิจัยยืนยันว่าแนวโน้มที่จะเพิ่มขนาดของ ETL จะช่วยบรรเทาผลกระทบนี้ในอนาคต แม้ว่าผู้เขียนจะสังเกตเห็นว่าระบบต้องการโปรเจคเตอร์ที่มีความเร็วสูงเพื่อให้สามารถแยกสตรีมออกเป็นสองสตรีมได้ แต่พวกเขาก็ใช้โปรเจคเตอร์ที่มีจำหน่ายในตลาดสำหรับการนำไปใช้

*การแปลงอ้างอิงภายในให้เป็นลิงก์โดยฉัน