NeRF: Neural Radiance Ortamlarında Drone Eğitimi

Stanford Üniversitesi'nden araştırmacılar, son teknolojilerden yararlanarak fotogerçekçi ve son derece hassas ortamlarda gezinmek için dronları eğitmenin yeni bir yolunu tasarladılar. ilgi çığ Nöral Radyans Alanlarında (NeRF).

Dronlar, özel 3B sahne yeniden yapılandırmasına gerek kalmadan, doğrudan gerçek hayattaki konumlardan haritalanan sanal ortamlarda eğitilebilir. Projeden alınan bu görüntüde, drone için potansiyel bir engel olarak rüzgar rahatsızlığı eklenmiş ve drone'un olası bir engelden kaçınmak için anlık olarak yörüngesinden saptığını ve son anda telafi ettiğini görebiliyoruz. Kaynak: https://mikh3x4.github.io/nerf-navigation/

Yöntem, otomatik olarak hacim bilgilerini (çarpışmadan kaçınmayı hesaplamak için), doğrudan gerçek hayattaki fotoğraflardan alınan dokuları (dronların görüntü tanıma ağlarını daha gerçekçi bir moda) ve gerçek dünya aydınlatması (sahnenin orijinal anlık görüntüsüne aşırı uydurma veya aşırı optimizasyondan kaçınarak çeşitli aydınlatma senaryolarının ağa alışmasını sağlamak için).

Bir kanepe nesnesi, geleneksel AR/VR iş akışlarında geometri yakalama ve yeniden dokulandırma kullanarak haritalaması çok zor olan, ancak sınırlı sayıda fotoğraftan NeRF'de otomatik olarak yeniden oluşturulan karmaşık bir sanal ortamda geziniyor. Kaynak: https://www.youtube.com/watch?v=5JjWpv9BaaE

Son 18 ayda bir dizi NeRF projesinin çoğu diğer zorluklara odaklandığından, tipik NeRF uygulamaları yörünge mekanizmalarına sahip değildir. sahne yeniden aydınlatma, yansıma oluşturma, birleştirme ve çözülme ele geçirilen unsurlardan Bu nedenle, yeni makalenin birincil yeniliği, NeRF ortamını, sensör yakalama ve CGI yeniden yapılandırmasına dayalı bir 3B ortam olarak modellemek için gerekli olacak kapsamlı ekipman ve zahmetli prosedürler olmadan, gezilebilir bir alan olarak uygulamaktır.

VR/AR olarak NeRF

Yeni kâğıt başlıklı Nöral Işıltılı Bir Dünyada Yalnızca Görme Amaçlı Robot Navigasyonuve üç Stanford departmanı arasındaki bir işbirliğidir: Havacılık ve Uzay Bilimleri, Makine Mühendisliği ve Bilgisayar Bilimi.

Çalışma, bir robota hacim yoğunluğu cihaz için olası yolları sınırlayan önceden eğitilmiş bir NeRF ortamı sağlayan bir navigasyon çerçevesi önermektedir. Ayrıca, robotun yerleşik RGB kamerasının görüntü tanımasına dayalı olarak, robotun sanal ortamın içinde nerede olduğunu tahmin etmek için bir filtre içerir. Bu şekilde, bir drone veya robot, belirli bir ortamda görmeyi bekleyebileceklerini daha doğru bir şekilde 'halüsinasyon' görebilir.

Projenin yörünge iyileştiricisi, bir Neural Radiance ortamına fotogrametri ve görüntü yorumlama (bu durumda ağ modellerinden) yoluyla oluşturulan Stonehenge'in bir NeRF modelinde geziniyor. Yörünge planlayıcı, kemer üzerinde optimum bir yörünge belirlemeden önce bir dizi olası yolu hesaplar.

Bir NeRF ortamı tamamen modellenmiş oklüzyonlara sahip olduğu için, NeRF'nin arkasındaki sinir ağı tıkanmalar arasındaki ilişkiyi ve drone'nun yerleşik görüş tabanlı navigasyon sistemlerinin çevreyi algılama biçimini haritalayabildiğinden, drone engelleri hesaplamayı daha kolay öğrenebilir. Otomatikleştirilmiş NeRF üretim boru hattı, yalnızca birkaç fotoğrafla hiper-gerçek eğitim alanları oluşturmak için nispeten önemsiz bir yöntem sunar.

Stanford projesi için geliştirilen çevrimiçi yeniden planlama çerçevesi, esnek ve tamamen vizyona dayalı bir navigasyon hattını kolaylaştırır.

Stanford girişimi, gezilebilir ve sürükleyici bir VR tarzı ortam bağlamında bir NeRF alanını keşfetme olasılıklarını ilk değerlendirenlerden biridir. Neural Radiance alanları gelişmekte olan bir teknolojidir ve şu anda yüksek bilgi işlem kaynağı gereksinimlerini optimize etmek ve yakalanan öğeleri çözmek için birden fazla akademik çabaya tabidir.

Nerf (Gerçekten) CGI Değildir

Bir NeRF ortamı gezilebilir bir 3D sahne olduğundan, 2020'de ortaya çıkmasından bu yana yanlış anlaşılan bir teknoloji haline geldi ve genellikle Hollywood VFX departmanlarından izleyicilerin aşina olduğu 3D ortamların yerini almak yerine ağların ve dokuların oluşturulmasını otomatikleştirme yöntemi olarak algılandı. Artırılmış Gerçeklik ve Sanal Gerçeklik ortamlarının fantastik sahneleri.

NeRF, çok sınırlı sayıda görüntü bakış açısından geometri ve doku bilgilerini çıkarır ve görüntüler arasındaki farkı hacimsel bilgi olarak hesaplar. Kaynak: https://www.matthewtancik.com/nerf

Aslında, NeRF ortamı daha çok, piksel ve aydınlatma bilgilerinin bir karışımının tutulduğu ve aktif ve çalışan bir sinir ağında gezinildiği 'canlı' bir işleme alanı gibidir.

NeRF'nin potansiyelinin anahtarı, ortamları yeniden oluşturmak için yalnızca sınırlı sayıda görüntü gerektirmesi ve oluşturulan ortamların, modelleyicilerin, doku sanatçılarının, aydınlatmanın hizmetlerine ihtiyaç duymadan yüksek doğrulukta bir yeniden yapılandırma için gerekli tüm bilgileri içermesidir. uzmanlar ve 'geleneksel' CGI'ya katkıda bulunan diğer birçok kişi.

Anlamsal Bölümleme

NeRF etkin bir şekilde 'Bilgisayar Tarafından Oluşturulan Görüntü' (CGI) oluştursa bile, tamamen farklı bir metodoloji ve yüksek düzeyde otomatikleştirilmiş bir ardışık düzen sunar. Ek olarak, NeRF bir sahnenin hareketli parçalarını izole edebilir ve 'kapsalayabilir', böylece bunlar eklenebilir, çıkarılabilir, hızlandırılabilir ve genellikle sanal bir ortamda ayrı yönler olarak çalışabilir - bu, mevcut durumun çok ötesinde bir yetenektir. CGI'nin ne olduğuna dair bir 'Hollywood' yorumundaki sanat.

A işbirliği 2021 yazında piyasaya sürülen Shanghai Tech Üniversitesi'nden, hareketli NeRF öğelerini bir sahne için "yapıştırılabilir" yüzlere ayırmak için bir yöntem sunuyor. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Olumsuz olarak, NeRF'nin mimarisi biraz 'kara kutu' gibidir; Şu anda bir NeRF ortamından bir nesneyi çıkarmak ve onu geleneksel ağ tabanlı ve görüntü tabanlı araçlarla doğrudan manipüle etmek mümkün değil, ancak NeRF'nin sinir ağı canlı oluşturma ortamlarının arkasındaki matrisin yapısökümüne yönelik bir dizi araştırma çabası atılımlar yapmaya başlıyor.