NeRF: İnsansız Hava Araçlarının Nöral Parlaklık Ortamlarında Eğitimi

Stanford Üniversitesi’nden araştırmacılar, insansız hava araçlarını fotoğrafik gerçeklikte ve yüksek doğrulukta ortamlarda gezinmeye eğitmenin yeni bir yolunu geliştirdiler ve bu amaçla Nöral Parlaklık Alanları (NeRF) ile ilgili son ilgi patlamasını利用 ettiler.

İnsansız hava araçları, gerçek yaşam lokasyonlarından doğrudan eşlenen sanal ortamlarda eğitilebilir ve bu, özel 3D sahne yeniden yapılandırması gerektirmez. Bu projeden alınan görüntüde, rüzgar bozukluğu potansiyel bir engel olarak eklenmiştir ve insansız hava aracının aniden rotasından sapması ve son anda potansiyel bir engelden kaçınmak için telafi etmesi görülebilir. Kaynak: https://mikh3x4.github.io/nerf-navigation/

Bu yöntem, insansız hava araçlarının (veya diğer tür nesnelerin) sanal senaryolarda etkileşimli olarak eğitilmesine olanak tanır. Bu senaryolar, otomatik olarak hacim bilgisi (çarpışma kaçınma hesaplaması için), gerçek yaşam fotoğraflarından alınan metin bilgileri (insansız hava araçlarının görüntü tanıma ağlarını daha gerçekçi bir şekilde eğitmek için) ve gerçek dünya aydınlatması (ağırlıklı olarak veya aşırı optimize edilmemek için çeşitli aydınlatma senaryolarını eğitmek için) içerir.

Kanepe-nesne, geleneksel AR/VR iş akışlarında geometri yakalama ve yeniden metinleme ile çok zor olan bir sanal ortamda gezinmektedir, ancak bu, NeRF’de konumda çekilen sınırlı sayıda fotoğraftan otomatik olarak yeniden oluşturulmuştur. Kaynak: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tipik NeRF uygulamaları, çoğunlukla son 18 ayda NeRF projelerinin çoğunun sahne yeniden aydınlatma, yansıma işleme, kompozit ve yakalanan öğelerin ayrıştırılması gibi diğer zorluklara odaklanması nedeniyle yol mekanizmaları içermez. Bu nedenle, yeni makalenin birincil yeniliği, bir NeRF ortamını gezilebilir bir alan olarak uygulamaktır ve bu, sensör yakalama ve CGI yeniden yapılandırması temelinde 3D bir ortamı modellemek için gereken geniş ekipman ve zahmetli prosedürlere gerek kalmadan gerçekleştirilir.

NeRF as VR/AR

Yeni makale, Vizyon-Only Robot Navigasyonu bir Nöral Parlaklık Dünyasında başlığını taşımaktadır ve bu, Stanford’un üç bölümü arasındaki bir işbirliğidir: Havacılık ve Uzay Mühendisliği, Makine Mühendisliği ve Bilgisayar Bilimi.

Bu çalışma, bir robota önceden eğitilmiş bir NeRF ortamı sağlayan bir navigasyon çerçevesi önermektedir. Bu ortamın hacim yoğunluğu, cihaz için olası yolları sınırlar. Ayrıca, robota ait RGB kameranın görüntü tanıma yoluyla robotun sanal ortam içindeki konumunu tahmin eden bir filtre içerir. Bu şekilde, bir insansız hava aracı veya robot, belirli bir ortamda ne bekleyebileceğini daha doğru bir şekilde “hayal edebilir”.

Projenin yol оптимизatörü, bir Nöral Parlaklık ortamında Stonehenge’in bir modelini gezinmektedir. Bu model, fotogrametri ve görüntü yorumlama yoluyla (bu durumda, mesh modelleri) oluşturulmuştur. Yol planlayıcısı, kemer üzerinden optimal bir yol belirlemeden önce olası birçok yolu hesaplar.

Bir NeRF ortamı, tam olarak modellenen gizleme özelliklerine sahiptir, bu nedenle insansız hava aracı, engelleri daha kolay hesaplayabilir, çünkü NeRF’nin arkasındaki sinir ağı, gizlemelerin ve insansız hava aracının gömülü görüş tabanlı navigasyon sistemlerinin ortamı algılayış şekli arasındaki ilişkiyi haritalayabilir. Otomatik NeRF oluşturma pipeline, sadece birkaç fotoğrafla çok gerçekçi eğitim alanları oluşturmanın nispeten basit bir yöntemini sunar.

Stanford projesi için geliştirilen çevrimiçi yeniden planlama çerçevesi, tamamen görüş tabanlı bir navigasyon pipeline’ı sağlar.

Stanford girişimi, NeRF uzayını gezilebilir ve daldırıcı bir VR tarzı ortam bağlamında keşfetme olasılıklarını dikkate alan ilk çalışmalardan biridir. Nöral Parlaklık alanları, ortaya çıkan bir teknolojidir ve şu anda yüksek hesaplama kaynağı gereksinimlerini optimize etme ve NeRF’nin canlı render ortamlarının arkasındaki sinir ağını ayrıştırmaya yönelik çoklu akademik çabaların konusudur.

Nerf Asla (Gerçekten) CGI Değildir

Bir NeRF ortamı gezilebilir bir 3D sahne olduğundan, bu teknoloji, 2020’de ortaya çıkmasından bu yana yanlış anlaşılmıştır ve genellikle, mesh ve metin oluşturmanın otomatikleştirilmesini sağlayan bir yöntem olarak değil, 3D ortamların yerine geçmek için değil, Hollywood VFX bölümlerinin ve Artırılmış Gerçeklik ve Sanal Gerçeklik ortamlarının fantastik sahnelerinin alışık olduğu şekilde algılanmaktadır.

NeRF, çok sınırlı sayıda görüntü açısından geometri ve metin bilgilerini çıkarır ve görüntüler arasındaki farkı hacimsel bilgi olarak hesaplar. Kaynak: https://www.matthewtancik.com/nerf

Aslında, NeRF ortamı, bir “canlı” render alanı gibidir, burada piksel ve aydınlatma bilgileri birleştirilir ve aktif ve çalışan bir sinir ağı içinde gezinilir.

NeRF’nin potansiyelinin anahtarı, ortamları yeniden yaratmak için yalnızca sınırlı sayıda görüntünün gerekli olması ve oluşturulan ortamların, modelleyiciler, metin sanatçıları, aydınlatma uzmanları ve “geleneksel” CGI’ye katkıda bulunan diğer birçok kişinin hizmetlerine gerek kalmadan yüksek doğrulukta bir yeniden yapılandırmaya必要 olan tüm bilgileri içermesidir.

Anlamsal Segmentasyon

NeRF, aslında “Bilgisayar Oluşturulmuş Görüntü” (CGI) oluşturuyorsa da, tamamen farklı bir metodoloji sunar ve yüksek düzeyde otomatikleştirilmiş bir pipeline sağlar. Ayrıca, NeRF, bir sahnenin hareketli kısımlarını izole edebilir ve “kapsülleyebilir”, böylece bunlar eklenebilir, kaldırılabilir, hızlandırılabilir ve genel olarak sanal bir ortamda ayrı ayrı yönler olarak çalışabilir – bu, “Hollywood” tarzı CGI’nin current durumundan çok daha ötedir.

2021 yazında yayınlanan Shanghai Tech Üniversitesi’nden bir işbirliği, bir sahnenin hareketli NeRF öğelerini “yapışkan” yönler olarak ayırmanın bir yöntemini sunar. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Olumlu olarak, NeRF’nin mimarisi biraz “kara kutu” gibidir;目前, bir NeRF ortamından bir nesneyi çıkarmak ve doğrudan geleneksel mesh tabanlı ve görüntü tabanlı araçlarla manipüle etmek mümkün değildir, ancak birçok araştırma çalışması NeRF’nin canlı render ortamlarının arkasındaki matrisi ayrıştırmaya yönelik ilerlemeler kaydetmeye başlamıştır.

https://www.youtube.com/watch?v=5JjWpv9BaaE