การเรนเดอร์แบบニューラル: คุณสามารถลดอินพุตให้ต่ำได้แค่ไหน?

เมื่อวานนี้ มีการเปิดเผยผลงานวิจัยใหม่เกี่ยวกับการสังเคราะห์ภาพแบบニューラล์ที่น่าสนใจ ซึ่งได้รับความสนใจและจินตนาการของอินเทอร์เน็ต เนื่องจากนักวิจัยจาก Intel ได้เปิดเผย วิธีการใหม่ สำหรับการเพิ่มความสมจริงของภาพสังเคราะห์

ระบบนี้ตามที่แสดงใน วิดีโอ จาก Intel จะเข้ามาแทรกแซงโดยตรงในกระบวนการสร้างภาพสำหรับเกม Grand Theft Auto V และเพิ่มความสมจริงของภาพโดยใช้อัลกอริทึมสังเคราะห์ภาพที่ได้รับการฝึกฝนจากเครือข่ายニューラล์ (CNN) โดยใช้ภาพจากโลกแห่งความเป็นจริงจาก Mapillary และการเปลี่ยนแสงและพื้นผิวที่ไม่สมจริงของเกม

ผู้แสดงความคิดเห็นในหลายๆ ชุมชน เช่น Reddit และ Hacker News ได้แสดงความคิดเห็นที่หลากหลายเกี่ยวกับระบบการเรนเดอร์แบบニューラล์ของ Intel โดยบางคนคิดว่าระบบนี้สามารถแทนที่การผลิตภาพจากเกมและ VFX ได้ และบางคนคิดว่าระบบนี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก

ข้อมูลที่จับคู่

หลักการนี้ได้รับการแสดงให้เห็นโดยระบบ GAN และ encoder/decoder รุ่นใหม่ เช่น GauGAN ของ NVIDIA ซึ่งสามารถสร้างภาพที่มีคุณภาพสูงจากภาพที่ไม่สมบูรณ์แบบ

โดยหลักการแล้ว ระบบเหล่านี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

ระบบการเรนเดอร์แบบニューラล์ที่ใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ Source: http://ais.informatik.uni-freiburg.de/publications/papers/valada17icra.pdf

ระบบเหล่านี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

การพลิกผันของเซ็กเมนต์

Google ได้พัฒนาระบบที่สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ระบบ GauGAN และ SPADE

Source: https://www.youtube.com/watch?v=oXUf6anNAtc

ระบบนี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

การแทนที่พื้นผิวและแสงด้วยการเรนเดอร์แบบニューラล์

ระบบการเรนเดอร์แบบニューラล์ของ Intel สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

ระบบนี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

การลดอินพุตสำหรับการเรนเดอร์แบบニューラล์

ระบบการเรนเดอร์แบบニューラล์ของ Intel สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

ระบบนี้สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ

การทำงานก่อนหน้าของ Intel ISL กับเซ็กเมนต์>ภาพ

Intel ISL ได้พัฒนาระบบที่สามารถสร้างภาพที่มีคุณภาพสูงจากอินพุตที่ง่ายมาก โดยใช้ข้อมูลที่จับคู่กันระหว่างภาพที่มีคุณภาพสูงและภาพที่ไม่สมบูรณ์แบบ