NeRF: Nöral Işınım Ortamlarında Drone Eğitimi

Stanford Üniversitesi’nden araştırmacılar, dronların fotogerçekçi ve yüksek doğrulukta ortamları gezinmelerini sağlamak için yeni bir yöntem geliştirdiler. Bu yöntem, son zamanlarda Nöral Işınım Alanları (NeRF) ile ilgili ilgi patlamasından yararlanıyor.

Dronlar, gerçek yaşam lokasyonlarından doğrudan haritalanan sanal ortamlarda eğitilebilir. Bu resim, projeden bir görüntüde, rüzgar bozukluğu potansiyel bir engel olarak eklenmiştir ve dronun geçici olarak rotasından saptığını ve son anda engeli tránh etmek için telafi ettiğini görebiliriz. Kaynak: https://mikh3x4.github.io/nerf-navigation/

Yöntem, dronların (veya diğer nesnelerin) sanal senaryolarda etkileşimli eğitimi olanağı sunar. Bu senaryolar, otomatik olarak hacim bilgisi (çarpışma önleme hesabı), gerçek yaşam fotoğraflarından alınan metin bilgileri (dronların görüntü tanıma ağlarını daha gerçekçi bir şekilde eğitmek için) ve gerçek dünya aydınlatması (ağın orijinal sahne anlık görüntüsüne aşırı uyumlu olmaktan kaçınmak için çeşitli aydınlatma senaryolarını eğitmek için) içerir.

Bir kanepe nesnesi, geleneksel AR/VR iş akışlarında geometri yakalama ve yeniden metinleme ile çok zor olabilecek bir sanal ortamda geziniyor. Bu ortam, NeRF’den sınırlı sayıda fotoğrafla otomatik olarak yeniden oluşturuldu. Kaynak: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tipik NeRF uygulamaları, genellikle son 18 ayda NeRF projelerinin çoğunun diğer zorluklara odaklanması nedeniyle yol bulma mekanizmaları içermez. Bu nedenle, yeni makalenin temel yeniliği, bir navigasyon alanı olarak NeRF ortamını uygulamaktır. Bu, geniş ekipman ve laboratuvar işlemlerine gerek kalmadan 3D ortam olarak modellemeye gerek duymadan gerçekleşir.

NeRF as VR/AR

Yeni makale, Vision-Only Robot Navigation in a Neural Radiance World başlığını taşır ve Stanford Üniversitesi’nin üç bölümü arasındaki bir işbirliğidir: Havacılık ve Uzay Mühendisliği, Makine Mühendisliği ve Bilgisayar Bilimi.

Çalışma, bir robotun önceden eğitilmiş bir NeRF ortamına sahip olduğu bir navigasyon çerçevesi sunar. Bu ortam, cihazın possível yollarını sınırlayan bir hacim yoğunluğuna sahiptir. Ayrıca, robotun sanal ortam içindeki konumunu tahmin etmek için bir filtre içerir. Bu, robotun kendi RGB kameranın görüntü tanıma yeteneğine dayanır. Bu şekilde, bir drone veya robot, belirli bir ortamda neler bekleyebileceğini daha doğru bir şekilde “hayal edebilir”.

Projenin yol optimizatörü, fotogrametri ve görüntü yorumlama yoluyla bir Nöral Işınım ortamına dönüştürülen Stonehenge modelinde geziniyor. Yol planlayıcısı, kemerin üzerinden optimal bir yol belirlemeden önce olası yolları hesaplar.

NeRF ortamı, tam olarak modelledilmiş gizlemeleri içerir, bu nedenle drone, engelleri daha kolay hesaplayabilir. Neural ağ, NeRF’nin arkasındaki ilişkiyi drone’un görüş tabanlı navigasyon sistemlerinin ortamı nasıl algıladığını haritalayabilir. Otomatik NeRF oluşturma işlem hattı, sadece birkaç fotoğrafla hyper-gerçekçi eğitim alanları oluşturmanın nispeten basit bir yöntemini sunar.

Stanford projesi için geliştirilen online yeniden planlama çerçevesi, tamamen görüş tabanlı bir navigasyon işlem hattını sağlar.

Stanford girişimi, NeRF uzayını navigasyon ve immersif bir VR-style ortam olarak keşfetme olasılıklarını değerlendiren ilk çalışmalardan biridir. Nöral Işınım alanları, yüksek hesaplama kaynağı gereksinimlerini optimize etmeye ve yakalanan öğeleri ayırmaya yönelik çoklu akademik çabalarla karşı karşıya kalan bir teknolojidir.

Nerf Gerçekten CGI Değil

NeRF ortamı, navigasyon için bir 3D sahne olduğu için, ortaya çıkmasından bu yana yanlış anlaşılan bir teknoloji haline geldi. Genellikle, 3D ortamların ve metinlerin otomatik oluşturulmasına yönelik bir yöntem olarak algılanmaktadır. Ancak NeRF, daha çok bir “canlı” render alanıdır. Burada, piksel ve aydınlatma bilgileri birleştirilir ve aktif bir neural ağda navigasyon için kullanılır.

NeRF, sınırlı sayıda görüntü açısından geometri ve metin bilgilerini çıkarır ve görüntüler arasındaki farkı hacim bilgisi olarak hesaplar. Kaynak: https://www.matthewtancik.com/nerf

Aslında, NeRF ortamı, sadece sınırlı sayıda görüntü gerektirir ve oluşturulan ortamlar, yüksek doğrulukta yeniden oluşturulma için gerekli tüm bilgileri içerir. Bu, modelleyiciler, metin sanatçıları, aydınlatma uzmanları ve geleneksel CGI’nin diğer katkımcılarının hizmetlerine gerek kalmadan gerçekleşir.

Anlamsal Segmentasyon

NeRF, gerçekten “Bilgisayar Oluşturulmuş Görüntü” (CGI) oluşturur, ancak tamamen farklı bir metodoloji sunar ve yüksek derecede otomatikleştirilmiş bir işlem hattı sağlar. Ek olarak, NeRF, bir sahnenin hareketli kısımlarını izole edebilir ve “kapsülleyebilir”, böylece bunlar eklenebilir, kaldırılabilir, hızlandırılabilir ve sanal bir ortamda ayrı ayrı işlenebilir. Bu, “Hollywood” CGI’nin current state-of-the-art’ın çok ötesinde bir yetenektir.

Şangay Teknoloji Üniversitesi’nden bir işbirliği, 2021 yazında, sahnenin hareketli NeRF öğelerini ‘yapışkan’ kısımlar olarak ayırmak için bir yöntem sundu. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Olumsuz olarak, NeRF mimarisi biraz “kara kutu” gibidir;目前, bir NeRF ortamından bir nesneyi çıkarmak ve geleneksel mesh tabanlı ve görüntü tabanlı araçlarla doğrudan manipüle etmek mümkün değildir. Ancak, NeRF’nin neural ağının canlı render ortamlarının arkasındaki matrisi ayırmada ilerleme kaydetmeye başlayan beberapa araştırma çabaları vardır.