NeRF ขยับเข้าใกล้การแทนที่ CGI อีกขั้น

นักวิจัยจาก MIT และ Google ได้ทำการก้าวหน้าไปอีกขั้นในการแก้ปัญหาอุปสรรคที่สำคัญที่สุดสำหรับเทคโนโลยี AI ที่กำลังพัฒนาซึ่งอาจจะมาแทนที่ CGI ในอนาคต – การแยกภาพ Neural Radiance Field (NeRF) ออกเป็นส่วนประกอบภาพที่แตกต่างกัน เพื่อให้สามารถเปลี่ยนรูปภาพและแสงได้

วิธีการใหม่นี้เรียกว่า NeRFactor ซึ่งสามารถแยกภาพที่ถูกบันทึกออกเป็นส่วนประกอบต่างๆ เช่น โน้มตัว (normals) ของวัตถุ, ความสามารถในการมองเห็นของแสง, สีของพื้นผิว (albedo) และฟังก์ชันการสะท้อนแสง (Bidirectional Reflectance Distribution Functions, BRDFs)

ด้วยการแยกส่วนประกอบเหล่านี้ออกมาแล้ว ก็สามารถเปลี่ยนรูปภาพและแสงได้ไม่เพียงแต่สำหรับวัตถุเดียวเท่านั้น แต่ยังสามารถเพิ่มแสงและเงาใหม่ๆ ได้โดยไม่ต้องใช้การบันทึกจากกล้องหลายตัวที่ใช้ในการสร้างภาพ NeRF

Normals, visibility, albedo and BRDF separated under NeRFactor. Source: https://www.youtube.com/watch?v=UUVSPJlwhPg

โมเดลนี้สามารถรองรับเงาแบบอ่อนหรือแข็งจากแหล่งกำเนิดแสงใดๆ ที่กำหนดโดยผู้ใช้ และสามารถแยกส่วนประกอบที่แตกต่างกันของวิดีโอได้โดยอัตโนมัติ โดยใช้การคำนวณความสูญเสียของการสร้างภาพ (reconstruction loss) และข้อมูลจากการคำนวณ BRDF ก่อนหน้านี้

NeRFactor’s work-flow, extracting separately actionable facets of imagery derived from multiple-camera arrays. Source: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor ใช้การตรวจสอบแสง HDR ซึ่งเป็นวิธีการที่ได้รับการยอมรับอย่างกว้างขวางในอุตสาหกรรมและศิลปะตั้งแต่การแนะนำในปี 1998 เพื่อประเมินเส้นทางที่เป็นไปได้ของแสง ซึ่งช่วยให้สามารถสร้างแสงได้แบบอิสระ

Two neural radiance field models are used to demonstrate five lighting models possible under NeRFactor. Click image for higher resolution.

สาเหตุของการสะท้อน

การวิจัยใหม่นี้อาจจะมีความสำคัญที่สุดในการแยกชั้นของภาพที่ถูกบันทึกออกมา ซึ่งควบคุมการสะท้อนของภาพ ซึ่งเป็นหนึ่งในความท้าทายที่ใหญ่ที่สุดสำหรับภาพ NeRF เนื่องจากระบบ NeRF ที่ยืดหยุ่นและใหม่จะต้องไม่เพียงแต่สามารถเปลี่ยนรูปภาพได้ แต่ยังต้องสามารถสะท้อนภาพของวัตถุที่เคลื่อนไหวได้ (นอกเหนือจากสภาพแวดล้อมที่ตายตัว) ซึ่งปกติจะถูกบันทึกในกระบวนการ CGI

ปัญหานี้ได้รับการกล่าวถึงเมื่อเร็วๆ นี้เกี่ยวกับการวิจัยใหม่ของ Intel ที่สามารถเปลี่ยนภาพวิดีโอเกมให้เป็นวิดีโอที่มีลักษณะเหมือนจริงผ่านเครือข่ายประสาทเทียม

โฟโตแกรมเมทริกซ์กับ NeRF

ภาพ NeRF ใช้การวิเคราะห์โดยใช้เครื่องมือการเรียนรู้ของเครื่องจักรเพื่อสร้างพื้นที่สามมิติจากภาพหรือวัตถุที่ถูกบันทึกจากหลายมุม

วิธีการ NeRF ที่หลากหลายที่ได้ปรากฏขึ้นในรอบปีที่ผ่านมาได้ใช้กล้องหลายตัวที่แตกต่างกันในการบันทึกภาพ บางวิธีใช้กล้อง 16 ตัวหรือมากกว่านั้น ในขณะที่บางวิธีใช้กล้องเพียง 1 หรือ 2 ตัว

NeRF ในบริบทของ ‘CGI ใหม่’

ภาพ NeRF ถูกสร้างขึ้นโดยตรงจากภาพของโลกแห่งความเป็นจริง รวมถึงภาพเคลื่อนไหวของคน, วัตถุ และฉาก ซึ่งตรงกันข้ามกับวิธีการ CGI ที่ต้องมีการสร้างแบบจำลอง, ริก, และข้อความที่ใช้ภาพของโลกแห่งความเป็นจริง

นอกจากนี้ CGI ยังมีปัญหาเรื่อง ‘หุบเหวที่ไม่สบาย’ ในการสร้างภาพคนเหมือนจริง ซึ่งไม่ใช่ข้อจำกัดสำหรับวิธีการ NeRF ที่สามารถบันทึกวิดีโอหรือภาพของคนจริงๆ และแก้ไขมันได้

ความท้าทายสำหรับ NeRF

การวิจัยใหม่นี้จาก MIT และ Google มาในบริบทของการวิจัย NeRF จำนวนมากที่ได้ปรากฏขึ้นในรอบปีที่ผ่านมา ซึ่งหลายๆ วิธีได้ให้คำตอบสำหรับความท้าทายที่เกิดขึ้นจากกระดาษปี 2020

ในเดือนเมษายน การวิจัยจากกลุ่มวิจัยจีนได้ให้คำตอบสำหรับการแยกส่วนประกอบของภาพ NeRF ออกเป็นส่วนต่างๆ รวมถึงคน

The Chinese research allows end-users to copy, paste and resize captured elements, disentangling them from the linear timeline of the original source video. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

วิธีการนี้ไม่เพียงแต่ช่วยให้สามารถมองเห็นภาพจากมุมที่แตกต่างกันเท่านั้น แต่ยังช่วยให้สามารถสร้างภาพใหม่ๆ ได้โดยไม่ต้องใช้การบันทึกจากกล้องหลายตัว

เมื่อ NeRF จะมี ‘Jurassic Park’?

尽管มีการก้าวหน้าอย่างรวดเร็วในการสังเคราะห์ภาพโดยใช้ NeRF แต่ก็ยังไม่มีการกำหนด ‘กฎของการเปลี่ยนแปลง’ สำหรับการใช้งาน NeRF ที่สามารถใช้งานได้จริง ในแง่ของเส้นเวลาในการพัฒนาของ CGI NeRF อยู่ในระยะที่คล้ายกับปี 1973 ก่อนที่จะใช้ CGI ในภาพยนตร์เรื่อง Westworld

ไม่ใช่หมายความว่า NeRF จะต้องรอ 9 ปีเพื่อให้ได้มาถึงจุดเดียวกับ Wrath Of Khan หรือหลายทศวรรษเพื่อให้ได้มาถึงจุดเดียวกับ The Abyss หรือ Terminator 2 แต่การเปลี่ยนแปลงในอุตสาหกรรมภาพอาจจะไม่เหมือนกับการเปลี่ยนแปลงในอุตสาหกรรมภาพยนตร์

หากปัญหาการสะท้อนของ NeRF ได้รับการแก้ไข และการวิจัยต่างๆ ที่กำลังดำเนินอยู่สามารถหาวิธีแก้ปัญหาได้ NeRF อาจจะมีโอกาสที่จะกลายเป็น ‘CGI ใหม่’ ในอีก 5 ปี