Rendering Neural: Seberapa Rendah Anda Bisa Pergi Dalam Hal Input?

Kemarin beberapa pekerjaan baru yang luar biasa dalam sintesis gambar neural menarik perhatian dan imajinasi internet, karena peneliti Intel mengungkapkan metode baru untuk meningkatkan realisme gambar sintetis.

Sistem ini, seperti yang ditunjukkan dalam video dari Intel, mengintervensi langsung ke dalam pipa gambar untuk permainan video Grand Theft Auto V, dan secara otomatis meningkatkan gambar-gambar tersebut melalui algoritma sintesis gambar yang dilatih pada jaringan saraf konvolusi (CNN), menggunakan citra dunia nyata dari dataset Mapillary, dan menggantikan pencahayaan dan tekstur yang kurang realistis dari mesin permainan GTA.

Komentator, dalam berbagai reaksi di komunitas seperti Reddit dan Hacker News, mempertanyakan tidak hanya apakah rendering neural dari jenis ini dapat menggantikan output yang kurang fotorealistis dari mesin permainan tradisional dan CGI-level VFX, tetapi juga apakah proses ini dapat dicapai dengan input yang jauh lebih dasar daripada yang ditunjukkan dalam demo GTA5 Intel — secara efektif menciptakan ‘boneka’ input proksi dengan output yang sangat realistis.

Dataset Berpasangan

Prinsip ini telah diilustrasikan oleh generasi baru sistem GAN dan encoder/decoder selama tiga tahun terakhir, seperti GauGAN NVIDIA, yang menghasilkan citra pemandangan yang fotorealistis dari coretan kasar.

Secara efektif, prinsip ini membalikkan penggunaan segmentasi semantik dalam penglihatan komputer dari metode pasif yang memungkinkan sistem mesin untuk mengidentifikasi dan mengisolasi objek yang diamati menjadi input kreatif, di mana pengguna ‘mewarnai’ peta segmentasi semantik palsu dan sistem menghasilkan citra yang konsisten dengan hubungan yang dipahami dari telah mengklasifikasikan dan membagi domain tertentu, seperti pemandangan.

Kerangka kerja pembelajaran mesin menerapkan segmentasi semantik pada berbagai adegan luar, menyediakan paradigma arsitektur yang memungkinkan pengembangan sistem interaktif, di mana pengguna mewarnai blok segmentasi semantik dan sistem mengisi blok dengan citra yang sesuai dari dataset spesifik domain, seperti dataset tampilan jalan Mapillary Jerman, yang digunakan dalam demo rendering neural GTA5 Intel. Sumber: http://ais.informatik.uni-freiburg.de/publications/papers/valada17icra.pdf

Sistem sintesis gambar dataset berpasangan bekerja dengan mengorelasikan label semantik pada dua dataset: set gambar yang kaya dan lengkap, baik yang dihasilkan dari citra dunia nyata (seperti dataset Mapillary yang digunakan untuk meningkatkan GTA5 dalam demo Intel kemarin) atau dari gambar sintetis, seperti gambar CGI.

Contoh dataset berpasangan untuk sistem sintesis gambar yang dirancang untuk membuat karakter yang di-render neural dari sketsa yang tidak rapi. Kiri, sampel dari dataset CGI. Tengah, sampel yang sesuai dari dataset ‘sketsa’. Kanan, render neural yang telah menerjemahkan sketsa kembali menjadi gambar berkualitas tinggi. Sumber: https://www.youtube.com/watch?v=miLIwQ7yPkA

Lingkungan luar relatif tidak menantang ketika membuat transformasi dataset berpasangan dari jenis ini, karena tonjolan biasanya terbatas, topografi memiliki rentang varians yang terbatas yang dapat ditangkap secara menyeluruh dalam dataset, dan kita tidak perlu membuat orang buatan atau menegosiasikan Lembah yang Tidak Nyaman (belum).

Membalikkan Peta Segmentasi

Google telah mengembangkan versi animasi dari skema GauGAN, yang disebut Infinite Nature, yang mampu secara sengaja ‘mengalami halusinasi’ lanskap fiksi yang berkelanjutan dan tidak berakhir dengan menerjemahkan peta semantik palsu menjadi citra fotorealistis melalui sistem infill SPADE NVIDIA:

Sumber: https://www.youtube.com/watch?v=oXUf6anNAtc

Namun, Infinite Nature menggunakan satu gambar sebagai titik awal dan menggunakan SPADE hanya untuk mengisi bagian yang hilang dalam bingkai berikutnya, sedangkan SPADE itu sendiri menciptakan transformasi gambar langsung dari peta segmentasi.

Sumber: https://nvlabs.github.io/SPADE/

Kapasitas ini tampaknya telah membangkitkan penggemar sistem Peningkatan Gambar Intel – kemungkinan untuk mendapatkan citra fotorealistis yang sangat berkualitas, bahkan dalam waktu nyata (akhirnya), dari input yang sangat kasar.

Menggantikan Tekstur dan Pencahayaan dengan Rendering Neural

Dalam kasus input GTA5, beberapa orang bertanya-tanya apakah beberapa tekstur dan pencahayaan prosedural yang mahal komputasi dari output mesin permainan benar-benar diperlukan dalam sistem rendering neural di masa depan, atau apakah mungkin untuk mengubah input wireframe-level yang rendah resolusi menjadi video fotorealistis yang mengungguli kemampuan shading, tekstur, dan pencahayaan mesin permainan, menciptakan adegan hiper-realistik dari input proksi ‘placeholder’.

Ini mungkin tampak jelas bahwa aspek-aspek yang dihasilkan permainan seperti refleksi, tekstur, dan detail lingkungan lainnya adalah sumber informasi penting untuk sistem rendering neural jenis yang ditunjukkan oleh Intel. Namun, telah beberapa tahun sejak NVIDIA’s UNIT (Jaringan Terjemahan Gambar-Terjemahan yang Tidak Terawasi) menunjukkan bahwa hanya domain yang penting, dan bahwa bahkan aspek-aspek seperti ‘malam atau siang’ pada dasarnya adalah masalah yang harus ditangani oleh transfer gaya:

Dalam hal input yang diperlukan, ini berpotensi meninggalkan mesin permainan hanya perlu menghasilkan geometri dasar dan simulasi fisika, karena mesin rendering neural dapat menggantikan semua aspek lainnya dengan mensintesis citra yang diinginkan dari dataset yang ditangkap, menggunakan peta semantik sebagai lapisan interpretasi.

Sistem Intel meningkatkan bingkai yang sudah selesai dan di-render dari GTA5, menambahkan peta segmentasi dan peta kedalaman yang dievaluasi — dua aspek yang bisa dipasok langsung oleh mesin permainan yang disederhanakan. Sumber: https://www.youtube.com/watch?v=P1IcaBn3ej0

Pendekatan rendering neural Intel melibatkan analisis bingkai yang sudah di-render dari buffer GTA5, dan sistem neural memiliki beban tambahan untuk menciptakan peta kedalaman dan peta segmentasi. Karena peta kedalaman tersedia secara implisit dalam pipa 3D tradisional (dan kurang menantang untuk dihasilkan daripada tekstur, ray-tracing, atau iluminasi global), mungkin lebih baik menggunakan sumber daya untuk membiarkan mesin permainan menangani mereka.

Input yang Disederhanakan untuk Mesin Rendering Neural

Implementasi saat ini dari jaringan peningkatan gambar Intel, oleh karena itu, mungkin melibatkan banyak siklus komputasi yang berlebihan, karena mesin permainan menghasilkan tekstur dan pencahayaan yang mahal komputasi yang tidak benar-benar dibutuhkan oleh mesin rendering neural. Sistem ini tampaknya dirancang dengan cara ini tidak karena ini adalah pendekatan yang optimal, tetapi karena lebih mudah untuk menyesuaikan mesin rendering neural dengan pipa yang ada daripada menciptakan mesin permainan baru yang dioptimalkan untuk pendekatan rendering neural.

Penggunaan sumber daya yang paling ekonomis dalam sistem permainan seperti ini bisa jadi adalah pengambilalihan GPU oleh sistem rendering neural, dengan input proksi yang disederhanakan ditangani oleh CPU.

Selain itu, mesin permainan bisa dengan mudah menghasilkan peta segmentasi yang representatif sendiri, dengan mematikan semua shading dan pencahayaan dalam outputnya. Selain itu, bisa menyediakan video dengan resolusi yang jauh lebih rendah daripada yang biasanya diperlukan, karena video hanya perlu secara umum representatif dari konten, dengan detail resolusi tinggi yang ditangani oleh mesin neural, lebih membebaskan sumber daya komputasi lokal.

Pekerjaan Sebelumnya Intel ISL dengan Segmentasi>Image

Terjemahan langsung dari segmentasi ke video fotorealistis jauh dari hipotetis. Pada 2017, Intel ISL, pencipta kehebohan kemarin, merilis penelitian awal yang mampu melakukan sintesis video perkotaan langsung dari segmentasi semantik.

Intel ISL – segmentasi ke gambar dari 2017. Sumber: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

Pada dasarnya, pipa 2017 asli itu hanya diperluas untuk sesuai dengan output yang sudah di-render dari GTA5.

Rendering Neural dalam VFX

Rendering neural dari peta segmentasi buatan juga tampaknya menjadi teknologi yang menjanjikan untuk VFX, dengan kemungkinan menerjemahkan videogram dasar langsung menjadi footage efek visual yang selesai, dengan menghasilkan dataset spesifik domain yang diambil dari model atau citra sintetis (CGI).

Sistem rendering neural hipotetis, di mana cakupan luas dari setiap objek target diabstraksikan menjadi dataset kontributor, dan di mana peta segmentasi buatan digunakan sebagai dasar untuk output fotorealistis resolusi penuh. Sumber: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Pengembangan dan adopsi sistem seperti ini akan menggeser fokus upaya artistik dari alur kerja interpretatif ke alur kerja representatif, dan meningkatkan pengumpulan data yang didorong domain dari peran pendukung ke peran sentral dalam seni visual.

Artikel diperbarui pukul 4:55 pm untuk menambahkan materi tentang penelitian Intel ISL 2017.