ซีจีไอใหม่: การสร้างพื้นที่ใกล้เคียงโดยใช้บล็อก-เนอร์ฟ

ฟิลด์ของรัศมีประสาท (NeRF) ช่วยให้สามารถสร้างและสำรวจวัตถุภายในเครือข่ายประสาทโดยใช้เพียงภาพถ่ายจากหลายมุมมองเป็นข้อมูลเข้า โดยไม่ต้องใช้วิธีการสร้างซีจีไที่ซับซ้อนและแพง

อย่างไรก็ตาม การประมวลผลนี้ต้องใช้ความสามารถในการคำนวณสูง ซึ่งในช่วงแรกจำกัดพื้นที่ของ NeRF ให้แคบลงสู่ขนาดแบบตารางโมเดลเท่านั้น แต่ไม่ว่าจะด้วยวิธีใด NeRF ก็ได้รับการยอมรับจากชุมชนการวิจัยที่มุ่งมั่นและกระตือรือร้น ซึ่งในช่วงหนึ่งปีที่ผ่านมาได้สามารถสร้างการบันทึกภาพภายนอก และการสร้างภาพมนุษย์ที่สามารถแก้ไขได้ นอกเหนือจากนวัตกรรมอื่นๆ อีกมากมาย

ขณะนี้ มีการวิจัยใหม่ที่รวมถึงการมีส่วนร่วมของ Google Research ซึ่งรับรู้ถึงข้อจำกัดที่อาจเกิดขึ้นในการปรับให้เหมาะสมของ NeRF และมุ่งเน้นไปที่การเชื่อมต่อระหว่างสภาพแวดล้อมของ NeRF เพื่อสร้างพื้นที่ใกล้เคียงตามความต้องการที่ประกอบด้วยหลายๆ ตัวอย่างของ NeRF ที่ประสานกัน

มุมมองจากเครือข่าย Block-NeRF ของ NeRF ที่เชื่อมต่อกัน ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูสิ่งอำนวยความสะดวกสำหรับวิดีโอส่วนเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/

การนำทางเครือข่ายของ NeRF ที่เชื่อมต่อกันทำให้ NeRF มีความสามารถในการปรับขนาดและแบบจำลอง โดยให้สภาพแวดล้อมที่สามารถนำทางได้ซึ่งจะโหลดส่วนเพิ่มเติมของพื้นที่ใกล้เคียงเมื่อจำเป็น ในลักษณะที่คล้ายกับวิธีการเพิ่มประสิทธิภาพของวิดีโอเกม ซึ่งจะไม่โหลดสิ่งที่อยู่รอบๆ จนกว่าจะชัดเจนว่าสภาพแวดล้อมนั้นจำเป็นต้องใช้

ในการขับเคลื่อนการแยกส่วนต่างๆ เช่น สภาพอากาศและเวลา Block-NeRF ยังแนะนำ ‘รหัสการปรากฏ’ ซึ่งช่วยให้สามารถเปลี่ยนเวลาของวันได้:

การเปลี่ยนแปลงเวลาของวันด้วย Block-NeRF ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูสิ่งอำนวยความสะดวกสำหรับวิดีโอส่วนเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/

เอกสารวิจัยใหม่แนะนำว่าการปรับให้เหมาะสมของ NeRF กำลังเข้าใกล้ขีดจำกัดของมันเอง และการนำไปใช้งานในอนาคตของสภาพแวดล้อมรัศมีประสาทในความเป็นจริงเสมือน อีกทั้งการทำงานอื่นๆ ที่เกี่ยวข้องกับวิดีโอและเอฟเฟกต์ภาพนั้น อาจต้องอาศัยการดำเนินการแบบขนาน เช่นเดียวกับการที่กฎหมายของมัวร์ cuốiท้ายก็ให้ทางเลือกในการออกแบบหลายแกนและวิธีการใหม่ๆ ในการเพิ่มประสิทธิภาพ

ผู้เขียนเอกสาร (ชื่อเรื่อง Block-NeRF: การสังเคราะห์ภาพมุมมองแบบปรับขนาดสำหรับสภาพแวดล้อมขนาดใหญ่) ใช้ภาพถ่าย 2.8 ล้านภาพเพื่อสร้างสภาพแวดล้อมรัศมีประสาทที่ใหญ่ที่สุดที่เคยพยายามทำมา – ซีรีส์ของพื้นที่ใกล้เคียงในซานฟรานซิสโก

Block-NeRF นำทางไปยัง Grace Cathedral ของซานฟรานซิสโก ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูสิ่งอำนวยความสะดวกสำหรับวิดีโอส่วนเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/

ผู้เขียนเอกสารหลักของงานวิจัยนี้ คือ Matthew Tancik จาก UC Berkley ซึ่งเป็นผู้คิดค้นร่วมกันของฟิลด์ของรัศมีประสาท และได้ทำการวิจัยนี้ในขณะที่เป็นนักศึกษาฝึกงานที่ Waymo ซึ่งเป็นบริษัทที่พัฒนาเทคโนโลยีการขับขี่อัตโนมัติ และเป็นเจ้าของหน้าโครงการ

เอกสารนี้ได้รับการเขียนร่วมกันโดยผู้คิดค้น NeRF อีกหลายคน รวมถึง Ben Mildenhall, Pratul P. Srinivasan และ Jonathan T. Barron จาก Google Research และผู้เขียนอื่นๆ จาก Waymo

Block-NeRF ถูกพัฒนาขึ้นหลักๆ สำหรับการวิจัยสภาพแวดล้อมเสมือนสำหรับระบบยานพาหนะอัตโนมัติ รวมถึงรถยนต์และโดรน

ถนน Embarcadero จากมุมมอง 180 องศาใน Block-NeRF ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูสิ่งอำนวยความสะดวกสำหรับวิดีโอส่วนเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/

ปัจจัยอื่นๆ ที่สามารถเปลี่ยนแปลงได้ใน Block-NeRF รวมถึงการเปิดเลนส์ (ดูภาพด้านบน) สภาพอากาศ และฤดูกาล

อย่างไรก็ตาม การเปลี่ยนแปลงฤดูกาลอาจทำให้เกิดการเปลี่ยนแปลงที่เกี่ยวข้องในสภาพแวดล้อม เช่น ต้นไม้ที่ไม่มีใบ ซึ่งต้องการชุดข้อมูลที่กว้างขึ้นกว่าที่สร้างขึ้นสำหรับ Block-NeRF

การแสดงภาพแบบโลกาวินาศ

หากคุณดูวิดีโอที่ฝังอยู่ที่สิ้นสุดของบทความ คุณจะสังเกตเห็นความเป็นแบบโลกาวินาศของสภาพแวดล้อม Block-NeRF ที่เชื่อมต่อกัน เนื่องจากสาเหตุหลายประการ ไม่ว่าจะเป็นการให้สภาพแวดล้อมที่เริ่มต้นสำหรับระบบหุ่นยนต์ ยานพาหนะ ผู้เดินเท้า และวัตถุอื่นๆ ที่ถูกตัดออกจากวัสดุแหล่งที่มาโดยเจตนา แต่นี่ทำให้เกิดสิ่งอื่นๆ ตามมา เช่น เงาของรถยนต์ที่ถูกลบออก:

เงาของรถยนต์ที่ถูกลบออก Source: https://waymo.com/research/block-nerf/

เพื่อให้เข้ากับสภาพแวดล้อมที่มีแสงสว่างต่างๆ เช่น วันหรือคืน เครือข่ายได้รับการฝึกอบรมให้รวมข้อมูลที่แยกออกจากกันเกี่ยวกับสภาพที่ต้องการ ในรูปด้านล่าง เราจะเห็นข้อมูลที่มีส่วนร่วมสำหรับภาพ Block-NeRF ของทางหลวงในช่วงวันและคืน:

ส่วนประกอบที่มีอยู่เบื้องหลังภาพ Block-NeRF ที่ดูเหมือน ‘ถูกอบ’ โดยให้ผู้ใช้สามารถเปลี่ยนเป็นเวลาค่ำได้ตามต้องการ Source: https://waymo.com/research/block-nerf/

การคำนึงถึงสิ่งแวดล้อมและจริยธรรม

ในช่วงไม่กี่ปีที่ผ่านมา การส่งงานวิจัยได้เริ่มรวมถึงข้อจำกัดและข้อควรระวังเกี่ยวกับผลกระทบทางจริยธรรมและสิ่งแวดล้อมที่อาจเกิดขึ้นจากงานวิจัยนั้น ในกรณีของ Block-NeRF ผู้เขียนเน้นย้ำถึงความต้องการพลังงานที่สูง และการบัญชีสำหรับวัตถุชั่วคราวและระยะยาว (เช่น ใบไม้บน cây และการก่อสร้าง) จะต้องมีการสแกนซ้ำข้อมูลแหล่งที่มาอย่างสม่ำเสมอ ซึ่งจะนำไปสู่การเพิ่มขึ้นของ ‘การเฝ้าดู’ ในพื้นที่เมืองที่ต้องการอัปเดตแบบจำลองประสาท

ผู้เขียนระบุว่า:

‘ขึ้นอยู่กับขนาดที่งานนี้ถูกนำไปใช้ การคำนวณที่ต้องการอาจนำไปสู่หรือทำให้ความเสียหายต่อสิ่งแวดล้อมแย่ลง หากพลังงานที่ใช้ในการคำนวณนำไปสู่การเพิ่มการปล่อยก๊าซคาร์บอน เราเห็นถึงการทำงานในอนาคต เช่น วิธีการแคชที่สามารถลดความต้องการในการคำนวณและลดความเสียหายต่อสิ่งแวดล้อม’

เกี่ยวกับการเฝ้าดู พวกเขายังคงระบุว่า:

‘การนำไปใช้งานในอนาคตของงานนี้อาจต้องมีการรวบรวมข้อมูลที่ใหญ่ขึ้น ซึ่งทำให้เกิดความกังวลเกี่ยวกับความเป็นส่วนตัวมากขึ้น แม้ว่าภาพถ่ายที่มีรายละเอียดของถนนสาธารณะสามารถพบได้บนบริการเช่น Google Street View แต่วิธีการของเราอาจส่งเสริมการ扫描ซ้ำและบ่อยขึ้นของสภาพแวดล้อม บริษัทหลายแห่งในพื้นที่ยานพาหนะอัตโนมัติทำการ扫描พื้นที่โดยใช้ฝูงยานพาหนะของตน แต่บางแห่งอาจใช้การ扫描 LiDAR ซึ่งอาจน้อยกว่าการรวบรวมภาพถ่ายจากกล้อง’

วิธีการและวิธีแก้ปัญหา

สภาพแวดล้อม NeRF แต่ละตัวสามารถปรับขนาดลงได้ตามที่ต้องการก่อนที่จะถูกนำมารวมกันเป็น Block-NeRF ซึ่งเปิดทางให้สามารถรวมเนื้อหาที่เปลี่ยนแปลงได้อย่างชัดเจน เช่น ต้นไม้ และการระบุและการจัดการการก่อสร้าง ซึ่งอาจคงอยู่เป็นเวลานาน แต่จะเปลี่ยนแปลงและกลายเป็นหน่วยที่สม่ำเสมอ

ในงานวิจัยนี้ สภาพแวดล้อม NeRF ที่แยกจากกันถูกจำกัดให้เท่ากับบล็อกของเมืองที่แสดง ซึ่งถูกเชื่อมต่อกันด้วยการ重叠 50% เพื่อให้แน่ใจว่ามีการเปลี่ยนแปลงที่สม่ำเสมอจากบล็อกหนึ่งไปยังอีกบล็อกหนึ่งเมื่อผู้ใช้นำทางเครือข่าย

แต่ละบล็อกถูกจำกัดด้วยฟิลเตอร์ทางภูมิศาสตร์ ผู้เขียนระบุว่าส่วนนี้ของเฟรมเวิร์กเปิดให้การอัตโนมัติ และใช้ OpenStreetMap มากกว่า Google Maps

รัศมีของการเชื่อมต่อสำหรับพื้นที่แสดงผล Block-NeRF ‘ที่ใช้งาน’ Source: Waymo

บล็อกถูกฝึกอบรมในแบบขนาน โดยมีการแสดงผลที่ต้องการเมื่อถูกเรียกใช้ รหัสการปรากฏที่สร้างสรรค์ยังถูกจัดเรียงในหมู่บล็อกเพื่อให้แน่ใจว่าไม่มีการเปลี่ยนแปลงที่ไม่คาดคิดไปสู่สภาพอากาศ เวลา หรือแม้แต่ฤดูกาลที่แตกต่าง

ส่วนของ Block-NeRF ที่ถูกปรับให้เหมาะสมกับการเปิดรับแสง ในลักษณะที่คล้ายกับ High Dynamic Range (HDR) ในภาพถ่ายที่มีแหล่งที่มา Source: Waymo

ความสามารถในการเปลี่ยนแสงและตัวแปรสภาพแวดล้อมอื่นๆ มาจากการเพิ่มประสิทธิภาพแบบ Latent ที่ถูกนำมาใช้ใน NeRF ในที่ราบ (NeRF-W) ซึ่งได้รับวิธีการจากเอกสารวิจัยของ Facebook AI ในปี 2019 เรื่อง การเพิ่มประสิทธิภาพพื้นที่ Latent ของเครือข่ายสร้างสรรค์

แบบจำลองการแบ่งส่วนแบบ语义ที่ถูกสร้างขึ้นสำหรับ Panoptic-DeepLab ในปี 2020 ถูกใช้เพื่อขจัดองค์ประกอบที่ไม่ต้องการ (เช่น คนและยานพาหนะ)

ข้อมูล

การค้นพบว่าชุดข้อมูลเมืองทั่วไป เช่น CityScapes ไม่เหมาะสมสำหรับการทำงานที่ต้องการรายละเอียดสูง เช่น Block-NeRF นักวิจัยจึงสร้างชุดข้อมูลของตนเองขึ้นมา ภาพถ่ายถูกบันทึกจากกล้อง 12 ตัวที่ครอบคลุมมุมมอง 360 องศา โดยมีการบันทึกที่ 10 Hz และค่าความเปิดรับแสงแบบสเกลาร์

พื้นที่ใกล้เคียงในซานฟรานซิสโกที่ครอบคลุม ได้แก่ Alamo Square และ Mission Bay สำหรับการบันทึกใน Alamo Square พื้นที่ประมาณ 960m x 570m ถูกครอบคลุม และแบ่งออกเป็น 35 ตัวอย่างของ Block-NeRF แต่ละตัวอย่างถูกฝึกอบรมด้วยข้อมูลจาก 38 ถึง 48 การบันทึกข้อมูลที่แตกต่างกัน โดยมีเวลาการขับขี่ทั้งหมด 18-28 นาที

จำนวนภาพที่มีส่วนร่วมสำหรับแต่ละ Block-NeRF อยู่ระหว่าง 64,575 ถึง 108,216 และเวลาการขับขี่ที่แสดงถึงพื้นที่นี้คือ 13.4 ชั่วโมงจากการบันทึกข้อมูล 1,330 ครั้ง ซึ่งส่งผลให้มีภาพฝึกอบรม 2,818,745 ภาพสำหรับ Alamo Square เท่านั้น ดูเอกสารสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการรวบรวมข้อมูลสำหรับ Mission Bay

เผยแพร่ครั้งแรกเมื่อวันที่ 11 กุมภาพันธ์ 2022