NeRF: Latihan Drones dina Lingkungan Radiance Neural

Panaliti ti Universitas Stanford parantos nyiptakeun cara anyar pikeun ngalatih drone pikeun nganapigasi lingkungan fotoréalistis sareng akurat pisan, ku ngamangpaatkeun longsoran dipikaresep dina Neural Radiance Widang (NeRF).

Drones tiasa dilatih dina lingkungan maya anu dipetakeun langsung tina lokasi kahirupan nyata, sareng henteu peryogi rekonstruksi pamandangan 3D khusus. Dina gambar ieu ti proyék nu, gangguan angin geus ditambahkeun salaku halangan poténsial pikeun drone nu, tur urang tiasa ningali drone nu keur momentarily diverted ti lintasan sarta compensating di momen panungtungan pikeun nyegah poténsial halangan. Sumber: https://mikh3x4.github.io/nerf-navigation/

Metoda nawarkeun kamungkinan pikeun latihan interaktif drones (atawa tipe séjén objék) dina skenario maya nu otomatis ngawengku informasi volume (pikeun ngitung ngahindarkeun tabrakan), texturing digambar langsung ti poto kahirupan nyata (pikeun mantuan ngalatih jaringan pangakuan gambar drones dina. fashion leuwih realistis), sarta cahaya dunya nyata (pikeun mastikeun rupa-rupa skenario cahaya meunang dilatih kana jaringan, Ngahindarkeun over-pas atawa over-optimasi kana snapshot aslina tina adegan).

Obyék dipan nganapigasi lingkungan maya anu kompleks anu bakal sesah pisan dipetakeun nganggo néwak géométri sareng retexturing dina alur kerja AR / VR tradisional, tapi anu didamel deui sacara otomatis dina NeRF tina jumlah poto anu terbatas. Sumber: https://www.youtube.com/watch?v=5JjWpv9BaaE

Palaksanaan NeRF anu biasa henteu gaduh mékanisme lintasan, sabab kalolobaanana ngabunuh proyék NeRF dina 18 sasih terakhir parantos konsentrasi dina tantangan sanés, sapertos relighting adegan, réfléksi rendering, compositing jeung panyabutan tina unsur kawengku. Ku alatan éta, inovasi primér kertas anyar nyaéta pikeun nerapkeun lingkungan NeRF salaku spasi navigable, tanpa parabot éksténsif jeung prosedur laborious nu bakal diperlukeun model salaku lingkungan 3D dumasar kana newak sensor jeung rekonstruksi CGI.

NeRF sakumaha VR / AR

nu anyar keretas judulna Navigasi Robot Ngan Visi dina Dunya Radiance Neural, tur mangrupakeun kolaborasi antara tilu departemén Stanford: Aeronautics na Astronautics, Téknik Mesin, sarta Élmu Komputer.

Karya ngajukeun kerangka navigasi anu nyayogikeun robot sareng lingkungan NeRF anu tos dilatih, anu kapadetan volume ngawatesan jalur anu mungkin pikeun alat éta. Éta ogé kalebet saringan pikeun ngira-ngira dimana robot aya di jero lingkungan virtual, dumasar kana pangakuan gambar tina kaméra RGB on-board robot. Ku cara kieu, drone atanapi robot tiasa 'halusinasi' langkung akurat naon anu dipiharep tiasa ditingali dina lingkungan anu tangtu.

Optimasi lintasan proyék napigasi ngaliwatan modél NeRF of Stonehenge anu dihasilkeun ngaliwatan fotogrammétri sareng interpretasi gambar (dina hal ieu, model bolong) kana lingkungan Neural Radiance. Planner lintasan ngitung sababaraha jalur anu mungkin sateuacan ngadamel lintasan anu optimal dina lengkungan.

Kusabab lingkungan NeRF ngagaduhan oklusi anu dimodelkeun pinuh, drone tiasa diajar ngitung halangan langkung gampang, sabab jaringan saraf di tukangeun NeRF tiasa peta hubungan antara halangan sareng cara sistem navigasi dumasar visi onboard drone ningali lingkungan. Pipa generasi NeRF otomatis nawiskeun metode anu kawilang trivial pikeun nyiptakeun rohangan latihan hiper-nyata kalayan ngan ukur sababaraha poto.

Kerangka replanning online anu dikembangkeun pikeun proyék Stanford ngagampangkeun pipa navigasi anu tahan banting sareng dumasar kana visi.

Inisiatif Stanford mangrupikeun anu munggaran mertimbangkeun kamungkinan ngajalajah rohangan NeRF dina konteks lingkungan gaya VR anu tiasa dilayari sareng immersive. Widang Neural Radiance mangrupikeun téknologi anu muncul, sareng ayeuna tunduk kana sababaraha usaha akademik pikeun ngaoptimalkeun syarat sumber daya komputasi anu luhur, ogé pikeun ngaleungitkeun unsur-unsur anu dicandak.

Nerf Henteu (Leres) CGI

Kusabab lingkungan NeRF mangrupikeun pamandangan 3D anu tiasa dilayari, éta janten téknologi anu salah kahartos ti saprak mecenghulna taun 2020, sering dianggap sacara lega salaku metode pikeun ngajadikeun otomatis nyiptakeun bolong sareng tékstur, tibatan ngagentos lingkungan 3D anu biasa pikeun pemirsa ti departemén VFX Hollywood sareng. pamandangan fantastis tina lingkungan Augmented Reality sareng Virtual Reality.

NeRF extracts géométri jeung tékstur informasi tina jumlah pohara kawates sudut pandang gambar, ngitung bédana antara gambar salaku informasi volumetric. Sumber: https://www.matthewtancik.com/nerf

Nyatana, lingkungan NeRF langkung sapertos rohangan rendering 'live', dimana gabungan piksel sareng inpormasi cahaya disimpen sareng dilayari dina jaringan neural anu aktip sareng ngajalankeun.

Konci pikeun poténsi NeRF nyaéta yén éta ngan ukur meryogikeun sajumlah gambar anu terbatas pikeun nyiptakeun lingkungan, sareng yén lingkungan anu dihasilkeun ngandung sadaya inpormasi anu dipikabutuh pikeun rekonstruksi kasatiaan anu luhur, tanpa peryogi jasa modél, seniman tékstur, cahaya. spesialis sareng gerombolan kontributor sanés pikeun CGI 'tradisional'.

Segmentasi Semantik

Malah lamun NeRF éféktif constitutes 'Computer-Generated Imagery' (CGI), eta nawarkeun hiji metodologi sagemblengna béda, sarta pipa kacida-otomatis. Salaku tambahan, NeRF tiasa ngasingkeun sareng 'encapsulate' bagian-bagian anu gerak tina pamandangan, supados tiasa nambihan, ngaleungitkeun, ngagancangkeun, sareng umumna beroperasi salaku aspek diskrit dina lingkungan virtual - kamampuan anu jauh saluareun kaayaan ayeuna. seni dina interpretasi 'Hollywood' naon CGI.

A gawe babarengan ti Universitas Shanghai Tech, dileupaskeun dina usum panas 2021, nawiskeun metode pikeun ngarobih elemen NeRF sacara individu kana aspek 'pastable' pikeun pamandangan. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatipna, arsitéktur NeRF rada 'kotak hideung'; ayeuna teu mungkin pikeun nimba hiji obyék tina lingkungan NeRF tur langsung ngamanipulasi eta kalawan tradisional bolong-basis jeung parabot dumasar-gambar, sanajan sajumlah usaha panalungtikan dimimitian nyieun breakthroughs dina deconstructing matrix balik NeRF urang jaringan neural hirup render lingkungan.