Neural Rendering: NeRF Nyandak Leumpang dina Hawa Seger

Kolaborasi antara Google Research sareng Universitas Harvard parantos ngembangkeun metode énggal pikeun nyiptakeun pidéo saraf 360-derajat tina pamandangan lengkep ngagunakeun Neural Radiance Widang (NeRF). Pendekatan novél nyandak NeRF langkung caket kana panggunaan abstrak kasual di lingkungan mana waé, tanpa diwatesan model tabletop or skenario interior katutup.

Tempo tungtung artikel pikeun video pinuh. Sumber: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 tiasa ngadamel backgrounds nambahan sarta objék 'teu aya watesna' kayaning langit, sabab, kawas paling iterations saméméhna, éta nangtukeun wates dina cara sinar lampu diinterpretasi, sarta nyiptakeun wates perhatian nu rationalize waktu latihan disebutkeun lengthy. Tingali pidéo énggal anu dipasang dina tungtung tulisan ieu kanggo conto langkung seueur, sareng wawasan anu langkung ageung kana prosésna.

nu kertas anyar judulna Mip-NeRF 360: Widang Radiance Neural Anti-Aliased Tanpa wates, sarta dipingpin ku Staf Senior Panalungtikan Élmuwan di Google Panalungtikan Jon Barron.

Pikeun ngartos terobosan, peryogi gaduh pamahaman dasar kumaha fungsi sintésis gambar dumasar-medan sinar saraf.

Naon NeRF?

Éta masalah pikeun ngajelaskeun jaringan NeRF tina segi 'video', sabab langkung caket kana 3D-realisasi tapi. Dumasarkeun AI lingkungan maya, dimana sababaraha sudut pandang tina poto tunggal (kaasup pigura vidéo) dipaké pikeun ngahijikeun adegan anu sacara teknis ngan aya dina rohangan laten tina algoritma pembelajaran mesin - tapi ti mana sajumlah sudut pandang sareng pidéo anu luar biasa tiasa diékstrak di will. .

Gambaran tina sababaraha titik néwak kaméra anu nyayogikeun data anu NeRF ngumpul janten pamandangan saraf (gambar katuhu).

Inpormasi anu diturunkeun tina poto anu nyumbang dilatih kana matriks anu sami sareng tradisional grid voxel dina workflows CGI, dina éta unggal titik dina spasi 3D ditungtungan make nilai a, sahingga adegan navigable.

Matriks voxel tradisional nempatkeun inpormasi piksel (anu biasana aya dina kontéks 2D, sapertos grid piksel file JPEG) kana rohangan tilu diménsi. Sumber: ResearchGate

Saatos ngitung spasi interstitial antara poto (upami diperlukeun), jalur unggal piksel mungkin unggal poto contributing sacara éféktif 'sinar-traced' sarta ditugaskeun nilai warna, kaasup nilai transparansi (tanpa matrix neural bakal sagemblengna opak. atawa sagemblengna kosong).

Kawas grids voxel, jeung kawas spasi koordinat 3D basis CGI, 'interior' objék 'tutup' euweuh ayana dina matrix NeRF. Anjeun tiasa ngabagi kabuka kit kendang CGI sareng tingali ka jero, upami anjeun resep; tapi sajauh NeRF prihatin, ayana kit kendang ends nalika nilai opacity permukaan na sarua '1'.

Panempoan anu langkung lega tina piksel

Mip-NeRF 360 mangrupa extension tina panalungtikan ti Maret 2021, nu éféktif diwanohkeun efisien anti aliasing mun NeRF tanpa supersampling tuntas.

NeRF tradisional ngitung ngan hiji jalur piksel, nu condong ngahasilkeun jenis 'jaggies' nu dicirikeun format gambar internét mimiti, kitu ogé sistem kaulinan baheula. Ujung jagged ieu direngsekeun ku rupa-rupa métode, biasana ngalibetkeun sampling piksel padeukeut jeung manggihan hiji ngagambarkeun rata.

Kusabab NeRF tradisional ngan ukur conto hiji jalur piksel, Mip-NeRF ngenalkeun daérah tangkapan 'kerucut', sapertos obor balok lebar, anu nyayogikeun inpormasi anu cukup ngeunaan padeukeut piksel pikeun ngahasilkeun antialiasing ekonomis kalawan rinci ningkat.

Kerucut tangkapan kerucut nu Mip-NeRF ngagunakeun ieu sliced ​​nepi kana frustums kerucut (gambar handap), nu salajengna 'kabur' nyieun spasi Gaussian samar nu bisa dipaké pikeun ngitung akurasi sarta aliasing hiji piksel. Sumber: https://www.youtube.com/watch?v=EpH175PY1A0

Perbaikan tina palaksanaan NeRF standar kasohor:

Mip-NeRF (katuhu), dileupaskeun dina Maret 2021, nyayogikeun detil anu langkung saé ngalangkungan pipa aliasing anu langkung komprehensif tapi ekonomis, sanés ngan ukur piksel 'kabur' pikeun ngahindarkeun ujung anu bergerigi. Sumber: https://jonbarron.info/mipnerf/

NeRF Unbounded

Makalah Maret ngantepkeun tilu masalah teu kaungkab ngeunaan ngagunakeun Mip-NeRF dina lingkungan anu teu terbatas anu tiasa kalebet objék anu jauh pisan, kalebet langit. Makalah anyar ngajawab ieu ku nerapkeun a Kalman-gaya Lungsi ka Mip-NeRF Gaussians.

Kadua, pamandangan anu langkung ageung peryogi kakuatan pamrosésan anu langkung ageung sareng waktos latihan anu diperpanjang, anu direngsekeun ku Mip-NeRF 360 ku cara 'nyulingan' géométri pamandangan kalayan 'usul' leutik. perceptron multi-lapisan (MLP), nu pre-bounds géométri diprediksi ku standar badag NeRF MLP. Ieu speeds latihan up ku faktor tilu.

Tungtungna, pamandangan anu langkung ageung condong ngajantenkeun diskrétisasi tina géométri anu diinterpretasi janten ambigu, nyababkeun jinis artefak anu mungkin para pamaén wawuh nalika kaluaran kaulinan 'air mata'. Tulisan anyar alamat ieu ku nyieun regularizer anyar pikeun interval sinar Mip-NeRF.

Di beulah katuhu, urang ningali artefak anu teu dihoyongkeun dina Mip-NeRF kusabab kasusah dina ngabeungkeut pamandangan anu ageung. Di kénca, urang tingali yén regularizer anyar parantos ngaoptimalkeun pamandangan anu cekap pikeun ngaleungitkeun gangguan ieu.

Pikeun neangan nu leuwih seueur tentang kertas anyar, pariksa kaluar video handap, sarta ogé Maret 2021 bubuka video mun Mip-NeRF. Anjeun oge bisa manggihan nu leuwih seueur tentang panalungtikan NeRF ku pariksa kaluar liputan kami dugi ka ayeuna.

Asalna diterbitkeun 25 Nopémber 2021
21 Désémber 2021, 12:25pm - Ngaganti pidéo maot. – MA