NeRF: Neural Radiance Ortamlarında Drone Eğitimi

Stanford Üniversitesi'nden araştırmacılar, son teknolojilerden yararlanarak fotogerçekçi ve son derece hassas ortamlarda gezinmek için dronları eğitmenin yeni bir yolunu tasarladılar. ilgi çığ Nöral Radyans Alanlarında (NeRF).

Dronlar, özel 3B sahne yeniden yapılandırmasına gerek kalmadan, doğrudan gerçek hayattaki konumlardan haritalanan sanal ortamlarda eğitilebilir. Projeden alınan bu görüntüde, drone için potansiyel bir engel olarak rüzgar rahatsızlığı eklenmiş ve drone'un olası bir engelden kaçınmak için anlık olarak yörüngesinden saptığını ve son anda telafi ettiğini görebiliyoruz. Kaynak: https://mikh3x4.github.io/nerf-navigation/

Bu yöntem, hacim bilgilerini (çarpışmayı önlemeyi hesaplamak için), doğrudan gerçek hayattan alınan dokuları (dronların görüntü tanıma ağlarını daha gerçekçi bir şekilde eğitmeye yardımcı olmak için) ve gerçek dünya aydınlatmasını (sahnenin orijinal anlık görüntüsüne aşırı uyum veya aşırı optimizasyonu önleyerek çeşitli aydınlatma senaryolarının ağa eğitilmesini sağlamak için) otomatik olarak içeren sanal senaryolarda dronların (veya diğer nesne türlerinin) etkileşimli eğitimi için olanak sağlar.

Bir kanepe nesnesi, geleneksel AR/VR iş akışlarında geometri yakalama ve yeniden dokulandırma kullanarak haritalaması çok zor olan, ancak sınırlı sayıda fotoğraftan NeRF'de otomatik olarak yeniden oluşturulan karmaşık bir sanal ortamda geziniyor. Kaynak: https://www.youtube.com/watch?v=5JjWpv9BaaE

Son 18 ayda bir dizi NeRF projesinin çoğu diğer zorluklara odaklandığından, tipik NeRF uygulamaları yörünge mekanizmalarına sahip değildir. sahne yeniden aydınlatma, yansıma oluşturma, birleştirme ve çözülme Yakalanan unsurların. Bu nedenle, yeni makalenin temel yeniliği, sensör yakalama ve CGI yeniden yapılandırmasına dayalı 3B bir ortam olarak modellemek için gereken kapsamlı ekipman ve zahmetli prosedürler olmadan, NeRF ortamını gezilebilir bir alan olarak uygulamaktır.

VR/AR olarak NeRF

Yeni kâğıt başlıklı Nöral Işıltılı Bir Dünyada Yalnızca Görme Amaçlı Robot Navigasyonuve üç Stanford departmanı arasındaki bir işbirliğidir: Havacılık ve Uzay Bilimleri, Makine Mühendisliği ve Bilgisayar Bilimi.

Çalışma, robota önceden eğitilmiş bir NeRF ortamı sağlayan ve hacim yoğunluğunun cihaz için olası yolları belirlediği bir navigasyon çerçevesi önermektedir. Ayrıca, robotun yerleşik RGB kamerasının görüntü tanıma özelliğine dayanarak, robotun sanal ortamda nerede olduğunu tahmin eden bir filtre de içermektedir. Bu sayede, bir dron veya robot, belirli bir ortamda ne görmeyi beklediğini daha doğru bir şekilde "halüsinasyon" edebilmektedir.

Projenin yörünge optimizasyon aracı, fotogrametri ve görüntü yorumlama (bu durumda, ağ modelleri) yoluyla oluşturulan bir NeRF Stonehenge modelini, Neural Radiance ortamına yönlendirir. Yörünge planlayıcısı, kemer üzerinde optimum bir yörünge belirlemeden önce olası yolların sayısını hesaplar.

Bir NeRF ortamı tamamen modellenmiş tıkanıklıklar içerdiğinden, NeRF'in arkasındaki sinir ağı, tıkanıklıklar ile dronun yerleşik görüş tabanlı navigasyon sistemlerinin ortamı algılama şekli arasındaki ilişkiyi haritalayabildiğinden, drone engelleri hesaplamayı daha kolay öğrenebilir. Otomatik NeRF üretim hattı, yalnızca birkaç fotoğrafla hiper-gerçek eğitim alanları oluşturmanın nispeten basit bir yöntemini sunar.

Stanford projesi için geliştirilen çevrimiçi yeniden planlama çerçevesi, esnek ve tamamen vizyona dayalı bir navigasyon hattını kolaylaştırır.

Stanford girişimi, gezilebilir ve sürükleyici bir VR tarzı ortam bağlamında bir NeRF alanını keşfetme olasılıklarını ilk değerlendirenlerden biridir. Neural Radiance alanları gelişmekte olan bir teknolojidir ve şu anda yüksek bilgi işlem kaynağı gereksinimlerini optimize etmek ve yakalanan öğeleri çözmek için birden fazla akademik çabaya tabidir.

Nerf (Gerçekten) CGI Değildir

NeRF ortamı gezilebilir bir 3B sahne olduğundan, 2020'deki ortaya çıkışından bu yana yanlış anlaşılan bir teknoloji haline geldi ve genellikle Hollywood VFX departmanlarından ve Artırılmış Gerçeklik ve Sanal Gerçeklik ortamlarının fantastik sahnelerinden izleyicilere tanıdık gelen 3B ortamların yerini almak yerine, ağların ve dokuların oluşturulmasını otomatikleştirme yöntemi olarak yaygın olarak algılandı.

NeRF, çok sınırlı sayıda görüntü bakış açısından geometri ve doku bilgilerini çıkarır ve görüntüler arasındaki farkı hacimsel bilgi olarak hesaplar. Kaynak: https://www.matthewtancik.com/nerf

Aslında NeRF ortamı, piksel ve aydınlatma bilgilerinin bir karışımının aktif ve çalışan bir sinir ağında tutulduğu ve gezinildiği 'canlı' bir render alanına daha çok benziyor.

NeRF'in potansiyelinin anahtarı, ortamları yeniden yaratmak için yalnızca sınırlı sayıda görüntüye ihtiyaç duyması ve oluşturulan ortamların, modelleyicilerin, doku sanatçılarının, ışıklandırma uzmanlarının ve 'geleneksel' CGI'ya katkıda bulunan diğer kişilerin hizmetlerine ihtiyaç duymadan, yüksek doğrulukta yeniden yapılandırma için gerekli tüm bilgileri içermesidir.

Anlamsal Bölümleme

NeRF, etkili bir şekilde 'Bilgisayarla Üretilmiş Görüntüler' (CGI) oluştursa da, tamamen farklı bir metodoloji ve son derece otomasyonlu bir süreç sunar. Ayrıca NeRF, bir sahnenin hareketli parçalarını izole edip 'kapsülleyebilir', böylece bunlar eklenebilir, çıkarılabilir, hızlandırılabilir ve genel olarak sanal bir ortamda ayrı ayrı yüzeyler olarak çalışabilir. Bu, CGI'nin ne olduğuna dair 'Hollywood' yorumundaki mevcut en son teknolojinin çok ötesinde bir yetenektir.

A işbirliği Şanghay Teknik Üniversitesi'nden 2021 yazında yayınlanan bir çalışma, hareketli NeRF öğelerini bir sahne için 'yapıştırılabilir' yüzeylere dönüştürmek için bir yöntem sunuyor. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Olumsuz olarak, NeRF'in mimarisi biraz 'kara kutu' gibidir; şu anda bir nesneyi NeRF ortamından çıkarmak ve geleneksel ağ tabanlı ve görüntü tabanlı araçlarla doğrudan işlemek mümkün değildir, ancak bir dizi araştırma çalışması, NeRF'in sinir ağı canlı render ortamlarının arkasındaki matrisi parçalamada çığır açan gelişmeler kaydetmeye başlıyor.