มุมมองของ Anderson
ซีจีไอรูปแบบใหม่: สร้างย่านเมืองด้วยโครงข่ายประสาทผ่าน Block-NeRF

ประเด็นสำคัญBlock-NeRF เย็บชิ้นส่วน NeRF…
ดูเพิ่มเติม
- Block-NeRF เย็บชิ้นส่วน NeRF ที่แยกจากกันเข้าด้วยกันเป็นย่านที่สามารถนำทางได้แบบปรับขนาดได้ซึ่งโหลดตามความต้องการ
- รหัสลักษณะที่ปรากฏใน Block-NeRF ช่วยให้เกิดการเปลี่ยนแปลงแบบไดนามิก เช่น ช่วงเวลาของวัน โดยไม่ต้องฝึกอบรมทั้งฉากใหม่
- โปรเจกต์นี้ใช้ภาพ 2.8 ล้านภาพจาก Waymo เพื่อสร้างฉากประสาทที่ใหญ่ที่สุดของบล็อกในซานฟรานซิสโก
สนามเรเดียนซ์เชิงประสาท (Neural Radiance Fields หรือ NeRF) ช่วยให้สามารถสร้างและสำรวจวัตถุภายในเครือข่ายประสาทโดยใช้เพียงภาพถ่ายจากหลายมุมมองเป็นข้อมูลเข้า โดยไม่ต้องใช้วิธีการสร้างซีจีไที่ซับซ้อนและแพง
อย่างไรก็ตาม การประมวลผลนี้ต้องใช้ความสามารถในการคำนวณสูง ซึ่งในช่วงแรกจำกัดพื้นที่ของ NeRF ให้แคบลงสู่ฉากจำลองขนาดตั้งโต๊ะเท่านั้น แต่ไม่ว่าจะด้วยวิธีใด NeRF ก็ได้รับการยอมรับจากชุมชนการวิจัยที่มุ่งมั่นและกระตือรือร้น ซึ่งในช่วงหนึ่งปีที่ผ่านมาได้สามารถสร้างการสร้างสภาพแวดล้อมกลางแจ้งขึ้นใหม่ และการสร้างมนุษย์ด้วยโครงข่ายประสาทที่สามารถแก้ไขได้ นอกเหนือจากนวัตกรรมอื่นๆ อีกมากมาย
ขณะนี้ มีการวิจัยใหม่ที่รวมถึงการมีส่วนร่วมของ Google Research ซึ่งรับรู้ถึงข้อจำกัดที่อาจเกิดขึ้นในการปรับให้เหมาะสมของ NeRF และมุ่งเน้นไปที่การเชื่อมต่อระหว่างสภาพแวดล้อมของ NeRF เพื่อสร้างพื้นที่ใกล้เคียงตามความต้องการที่ประกอบด้วยหลายๆ ตัวอย่างของ NeRF ที่ประสานกัน

มุมมองจากเครือข่าย Block-NeRF ของ NeRF ที่เชื่อมต่อกัน ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูลิงก์แหล่งที่มาสำหรับวิดีโอเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/
การนำทางเครือข่ายของ NeRF ที่เชื่อมต่อกันทำให้ NeRF มีความสามารถในการปรับขนาดและประกอบเป็นโมดูล โดยให้สภาพแวดล้อมที่สามารถนำทางได้ซึ่งจะโหลดส่วนเพิ่มเติมของพื้นที่ใกล้เคียงเมื่อจำเป็น ในลักษณะที่คล้ายกับวิธีการเพิ่มประสิทธิภาพของวิดีโอเกม ซึ่งจะไม่โหลดสิ่งที่อยู่รอบๆ จนกว่าจะชัดเจนว่าสภาพแวดล้อมนั้นจำเป็นต้องใช้
ในการมุ่งแยกองค์ประกอบต่าง ๆ ออกจากกัน เช่น สภาพอากาศและเวลา Block-NeRF ยังแนะนำ ‘รหัสลักษณะปรากฏ’ ซึ่งช่วยให้สามารถเปลี่ยนเวลาของวันได้:


การเปลี่ยนแปลงเวลาของวันด้วย Block-NeRF ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูลิงก์แหล่งที่มาสำหรับวิดีโอเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/
เอกสารวิจัยใหม่แนะนำว่าการปรับให้เหมาะสมของ NeRF กำลังเข้าใกล้ขีดจำกัดด้านความร้อนของมันเอง และการนำไปใช้งานในอนาคตของสภาพแวดล้อมที่สร้างด้วยสนามเรเดียนซ์เชิงประสาทในความเป็นจริงเสมือน อีกทั้งการทำงานอื่นๆ ที่เกี่ยวข้องกับวิดีโอและเอฟเฟกต์ภาพนั้น อาจต้องอาศัยการดำเนินการแบบขนาน เช่นเดียวกับการที่กฎของมัวร์ในที่สุดก็เปิดทางให้สถาปัตยกรรมแบบหลายคอร์ การเพิ่มประสิทธิภาพแบบขนาน และแนวทางใหม่ในการแคชข้อมูล
ผู้เขียนเอกสารวิจัย (ชื่อเรื่อง Block-NeRF: การสังเคราะห์ภาพมุมมองแบบปรับขนาดสำหรับสภาพแวดล้อมขนาดใหญ่) ใช้ภาพถ่าย 2.8 ล้านภาพเพื่อสร้างสภาพแวดล้อมที่สร้างด้วยสนามเรเดียนซ์เชิงประสาทที่ใหญ่ที่สุดที่เคยพยายามทำมา – ซีรีส์ของพื้นที่ใกล้เคียงในซานฟรานซิสโก

Block-NeRF นำทางไปยัง Grace Cathedral ของซานฟรานซิสโก ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูลิงก์แหล่งที่มาสำหรับวิดีโอเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/
ผู้เขียนเอกสารหลักของงานวิจัยนี้ คือ Matthew Tancik จาก UC Berkeley ซึ่งเป็นหนึ่งในผู้ร่วมคิดค้น Neural Radiance Fields และได้ทำการวิจัยนี้ในขณะที่เป็นนักศึกษาฝึกงานที่ Waymo ซึ่งเป็นบริษัทที่พัฒนาเทคโนโลยีการขับขี่อัตโนมัติ และเป็นผู้จัดทำหน้าโครงการ โครงการยังมีวิดีโอภาพรวมบน YouTube ที่ฝังไว้ท้ายบทความ รวมถึงตัวอย่างวิดีโอเสริมอีกมากมายในหน้าโครงการ
เอกสารนี้ได้รับการเขียนร่วมกันโดยผู้คิดค้น NeRF อีกหลายคน รวมถึง Ben Mildenhall, Pratul P. Srinivasan และ Jonathan T. Barron จาก Google Research และผู้ร่วมเขียนจาก Waymo ได้แก่ Vincent Casser, Xinchen Yan, Sabeek Pradhan และ Henrik Kretzschmar
Block-NeRF ถูกพัฒนาขึ้นหลักๆ สำหรับการวิจัยสภาพแวดล้อมเสมือนสำหรับระบบยานพาหนะอัตโนมัติ รวมถึงรถยนต์และโดรน

ถนน Embarcadero จากมุมมอง 180 องศาใน Block-NeRF ดูวิดีโอฝังตัวที่สิ้นสุดของบทความ และดูลิงก์แหล่งที่มาสำหรับวิดีโอเสริมที่มีความละเอียดสูง Source: https://waymo.com/research/block-nerf/
ปัจจัยอื่นๆ ที่สามารถเปลี่ยนแปลงได้ใน Block-NeRF รวมถึงรูรับแสงของเลนส์ (ดูภาพด้านบน) สภาพอากาศ และฤดูกาล
อย่างไรก็ตาม การเปลี่ยนแปลงฤดูกาลอาจทำให้เกิดการเปลี่ยนแปลงที่เกี่ยวข้องในสภาพแวดล้อม เช่น ต้นไม้ที่ไม่มีใบ ซึ่งต้องการชุดข้อมูลที่กว้างขึ้นกว่าที่สร้างขึ้นสำหรับ Block-NeRF
‘[ใบไม้] เปลี่ยนไปตามฤดูกาลและเคลื่อนไหวตามลม ทำให้ภาพต้นไม้และพืชพร่ามัว ในทำนองเดียวกัน ความไม่สอดคล้องกันตามเวลาในข้อมูลฝึก เช่น งานก่อสร้าง ไม่ได้รับการจัดการโดยอัตโนมัติ และจำเป็นต้องฝึกบล็อกที่ได้รับผลกระทบใหม่ด้วยตนเอง’
การแสดงภาพแบบโลกาวินาศ
หากคุณดูวิดีโอที่ฝังอยู่ที่สิ้นสุดของบทความ คุณจะสังเกตเห็นความร้างผู้คนแบบ Walking Dead ของสภาพแวดล้อม Block-NeRF ที่เชื่อมต่อกัน เนื่องจากสาเหตุหลายประการ ไม่ว่าจะเป็นการให้สภาพแวดล้อมที่เริ่มต้นสำหรับระบบหุ่นยนต์ ยานพาหนะ ผู้เดินเท้า และวัตถุอื่นๆ ที่ถูกตัดออกจากวัสดุแหล่งที่มาโดยเจตนา แต่นี่ทำให้เกิดสิ่งอื่นๆ ตามมา เช่น เงาของรถยนต์ที่ถูกลบออก:

เงาของรถยนต์ที่ถูกลบออก Source: https://waymo.com/research/block-nerf/
เพื่อให้เข้ากับสภาพแวดล้อมที่มีแสงสว่างต่างๆ เช่น วันหรือคืน เครือข่ายได้รับการฝึกอบรมให้รวมข้อมูลที่แยกออกจากกันเกี่ยวกับสภาพที่ต้องการ ในรูปด้านล่าง เราจะเห็นข้อมูลที่มีส่วนร่วมสำหรับภาพ Block-NeRF ของทางหลวงในช่วงวันและคืน:

ส่วนประกอบที่มีอยู่เบื้องหลังภาพ Block-NeRF ที่ดูเหมือน ‘คำนวณไว้ล่วงหน้า’ โดยให้ผู้ใช้สามารถเปลี่ยนเป็นเวลาค่ำได้ตามต้องการ Source: https://waymo.com/research/block-nerf/
การคำนึงถึงสิ่งแวดล้อมและจริยธรรม
ในช่วงไม่กี่ปีที่ผ่านมา การส่งงานวิจัยได้เริ่มรวมถึงข้อจำกัดและข้อควรระวังเกี่ยวกับผลกระทบทางจริยธรรมและสิ่งแวดล้อมที่อาจเกิดขึ้นจากงานวิจัยนั้น ในกรณีของ Block-NeRF ผู้เขียนเน้นย้ำถึงความต้องการพลังงานที่สูง และการคำนึงถึงวัตถุชั่วคราวทั้งระยะสั้นและระยะยาว (เช่น ใบไม้บนต้นไม้และงานก่อสร้าง ตามลำดับ) จะต้องมีการสแกนซ้ำข้อมูลแหล่งที่มาอย่างสม่ำเสมอ ซึ่งจะนำไปสู่การเพิ่มขึ้นของ ‘การเฝ้าดู’ ในพื้นที่เมืองที่ต้องการอัปเดตแบบจำลองประสาท
ผู้เขียนระบุว่า:
‘ขึ้นอยู่กับขนาดที่งานนี้ถูกนำไปใช้ การคำนวณที่ต้องการอาจนำไปสู่หรือทำให้ความเสียหายต่อสิ่งแวดล้อมแย่ลง หากพลังงานที่ใช้ในการคำนวณนำไปสู่การเพิ่มการปล่อยก๊าซคาร์บอน เราเห็นถึงการทำงานในอนาคต เช่น วิธีการแคชที่สามารถลดความต้องการในการคำนวณและลดความเสียหายต่อสิ่งแวดล้อม’
เกี่ยวกับการเฝ้าดู พวกเขายังคงระบุว่า:
‘การนำไปใช้งานในอนาคตของงานนี้อาจต้องมีความพยายามเก็บข้อมูลในขนาดที่ใหญ่ขึ้น ซึ่งทำให้เกิดความกังวลเกี่ยวกับความเป็นส่วนตัวมากขึ้น แม้ว่าภาพถ่ายที่มีรายละเอียดของถนนสาธารณะสามารถพบได้บนบริการเช่น Google Street View แต่วิธีการของเราอาจส่งเสริมการสแกนซ้ำและบ่อยขึ้นของสภาพแวดล้อม บริษัทหลายแห่งในพื้นที่ยานพาหนะอัตโนมัติทำการสแกนพื้นที่โดยใช้ฝูงยานพาหนะของตน แต่บางแห่งอาจใช้การสแกน LiDAR ซึ่งอาจกระทบความเป็นส่วนตัวน้อยกว่าการเก็บภาพจากกล้อง’
วิธีการและวิธีแก้ปัญหา
สภาพแวดล้อม NeRF แต่ละตัวสามารถปรับขนาดลงได้ตามที่ต้องการก่อนที่จะถูกนำมารวมกันเป็น Block-NeRF ซึ่งเปิดทางให้สามารถรวมเนื้อหาที่เปลี่ยนแปลงได้อย่างชัดเจน เช่น ต้นไม้ และการระบุและการจัดการการก่อสร้าง ซึ่งอาจดำเนินต่อเนื่องตลอดการเก็บภาพซ้ำเป็นเวลาหลายปี แต่จะเปลี่ยนแปลงและกลายเป็นหน่วยที่สม่ำเสมอ
ในงานวิจัยนี้ สภาพแวดล้อม NeRF ที่แยกจากกันถูกจำกัดให้เท่ากับบล็อกของเมืองที่แสดง ซึ่งถูกเชื่อมต่อกันด้วยการซ้อนทับกัน 50% เพื่อให้แน่ใจว่ามีการเปลี่ยนแปลงที่สม่ำเสมอจากบล็อกหนึ่งไปยังอีกบล็อกหนึ่งเมื่อผู้ใช้นำทางเครือข่าย
แต่ละบล็อกถูกจำกัดด้วยฟิลเตอร์ทางภูมิศาสตร์ ผู้เขียนระบุว่าส่วนนี้ของเฟรมเวิร์กเปิดให้การอัตโนมัติ และใช้ OpenStreetMap มากกว่า Google Maps

รัศมีของการเชื่อมต่อสำหรับพื้นที่แสดงผล Block-NeRF ‘ที่ใช้งาน’ Source: Waymo
บล็อกถูกฝึกอบรมในแบบขนาน โดยมีการแสดงผลที่ต้องการเมื่อถูกเรียกใช้ รหัสลักษณะปรากฏที่สร้างสรรค์ยังถูกจัดเรียงในหมู่บล็อกเพื่อให้แน่ใจว่าไม่มีการเปลี่ยนแปลงที่ไม่คาดคิดไปสู่สภาพอากาศ เวลา หรือแม้แต่ฤดูกาลที่แตกต่าง

ส่วนของ Block-NeRF ที่ถูกปรับให้เหมาะสมกับการเปิดรับแสง ในลักษณะที่คล้ายกับ High Dynamic Range (HDR) ในภาพถ่ายที่มีแหล่งที่มา Source: Waymo
ความสามารถในการเปลี่ยนแสงและตัวแปรสภาพแวดล้อมอื่นๆ มาจากการเพิ่มประสิทธิภาพแบบ Latent ที่ถูกนำมาใช้ใน NeRF in the Wild (NeRF-W) ซึ่งได้รับวิธีการจากเอกสารวิจัยของ Facebook AI ในปี 2019 เรื่อง การเพิ่มประสิทธิภาพพื้นที่ Latent ของเครือข่ายสร้างสรรค์
แบบจำลองการแบ่งส่วนภาพเชิงความหมายที่พัฒนาขึ้นสำหรับ Panoptic-DeepLab ในปี 2020 ถูกใช้เพื่อขจัดองค์ประกอบที่ไม่ต้องการ (เช่น คนและยานพาหนะ)
ข้อมูล
เมื่อพบว่าชุดข้อมูลเมืองทั่วไป เช่น CityScapes ไม่เหมาะสมสำหรับการทำงานที่ต้องการรายละเอียดสูง เช่น Block-NeRF นักวิจัยจึงสร้างชุดข้อมูลของตนเองขึ้นมา ภาพถ่ายถูกบันทึกจากกล้อง 12 ตัวที่ครอบคลุมมุมมอง 360 องศา โดยมีการบันทึกที่ 10 Hz และค่าความเปิดรับแสงแบบสเกลาร์

พื้นที่ใกล้เคียงในซานฟรานซิสโกที่ครอบคลุม ได้แก่ Alamo Square และ Mission Bay สำหรับการบันทึกใน Alamo Square พื้นที่ประมาณ 960m x 570m ถูกครอบคลุม และแบ่งออกเป็น 35 ตัวอย่างของ Block-NeRF แต่ละตัวอย่างถูกฝึกอบรมด้วยข้อมูลจาก 38 ถึง 48 การบันทึกข้อมูลที่แตกต่างกัน โดยมีเวลาการขับขี่ทั้งหมด 18-28 นาที
จำนวนภาพที่มีส่วนร่วมสำหรับแต่ละ Block-NeRF อยู่ระหว่าง 64,575 ถึง 108,216 และเวลาการขับขี่ที่แสดงถึงพื้นที่นี้คือ 13.4 ชั่วโมงจากการบันทึกข้อมูล 1,330 ครั้ง ซึ่งส่งผลให้มีภาพฝึกอบรม 2,818,745 ภาพสำหรับ Alamo Square เท่านั้น ดูเอกสารสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการรวบรวมข้อมูลสำหรับ Mission Bay
เผยแพร่ครั้งแรกเมื่อวันที่ 11 กุมภาพันธ์ 2022












