NeRF Bir Adım Daha CGI’yi Değiştirmeye Yakınlaşıyor

Araştırmacılar MIT ve Google, CGI’yi потенsiyel olarak değiştirebilecek bir teknoloji olan nöral radyans alanları (NeRF) görüntülerini oluşturan en temel engellerden birini çözmek için büyük bir adım attılar. Bu, NeRF görüntülerini oluşturan görsel bileşenlere ayırma yeteneğini içerir, böylece görüntüler yeniden metinlendirilebilir ve yeniden aydınlatılabilir.

Yeni yaklaşım, NeRFactor olarak adlandırılmaktadır ve etkili bir şekilde yakalanan görüntüleri, nesne başına normal (üzerine metinler atanabilir), ışık görünürlüğü, albedo (yüzeyden yansıyacak ışığın oranı) ve Bidirectional Reflectance Distribution Functions (BRDFs) gibi bileşenlere ayırır.

Bu bileşenler izole edildikten sonra, yalnızca bireysel nesneler veya nesne grupları için metinleri değiştirmek değil, aynı zamanda yeni ve benzersiz ışık kaynakları ve gölge uygulamaları eklemek mümkündür. Bu, çoklu kamera dizileri tarafından oluşturulan NeRF görüntülerinin girdilerini oluşturan yakalanan ışık kaynaklarını hesaba katmaz.

Normals, visibility, albedo and BRDF separated under NeRFactor. Source: https://www.youtube.com/watch?v=UUVSPJlwhPg

Model, keyfi kullanıcı tanımlı ışık kaynaklarından yumuşak veya sert gölgeleri destekler ve dört bileşeni programlı olarak ayırır, bir yeniden yapılandırma kaybı, BRDF’nin önceki hesaplamalarından gelen veriler ve basit bir düzgünleştirme düzenini kullanarak.

NeRFactor’un iş akışı, çoklu kamera dizilerinden türetilen görüntülerin ayrılmaz bileşenlerini çıkarmak. Source: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor, 1998’de tanıtılan iyi kurulmuş bir yaklaşım olan HDR ışık probunu, olası ışın yollarını değerlendirmek için kullanır, bu da keyfi aydınlatmayı sağlar. Bu, parametrelerin kontrol edilemeyen bir sayısını üretir, bu nedenle ışık probu, algılanan geometriyi proba eşleştirmeden tam bir aydınlatma hacmi haritasını hesaplamaya çalışmadan, bir çok katmanlı algılayıcı (MLP) aracılığıyla filtrelenir.

NeRFactor altında beş aydınlatma modeli gösteren iki nöral radyans alanı modeli. Resme tıklayarak daha yüksek çözünürlükte görüntüleyebilirsiniz.

Yansıtma İçin Neden

Yeni araştırma, oluşturulan görüntülerin katmanlarını ayırmada en önemli olanıdır, bu da yansımayı kontrol eder. Bu, nöral radyans alanı görüntülerinin en büyük zorluklarından biri olmaya devam etmektedir, çünkü gerçekten yeni ve esnek bir NeRF sistemi, yalnızca metinleri değiştirebilmekle kalmaz, aynı zamanda hareket eden nesneleri (sadece sabit ortamın yanı sıra) yansıtabilecek bir yol bulmalıdır, bu da normalde bir CGI iş akışında dikkate alınır.

Bu sorun, Intel’in heyecan verici yeni araştırması bağlamında, video oyunu görüntülerini nöral ağlar aracılığıyla fotogerçekçi videoya dönüştürme konusundaki çalışmasında yakın zamanda dikkat çekiciydi. Bu tür iş akışlarında, kaynak materyalin birçok “pişirilmiş” yönü, ayrı ve değiştirilebilir hale gelmelidir ve bu, aydınlatma (NeRF’de işlenen geometri bir fonksiyonudur) için çözülenden daha kolay çözülmesi gereken bir sorun olarak kabul edilebilir.

Yansıma katmanlarını NeRF videolarında izole etmek, NeRF’in ‘yansıma zorluğu’nu çözme yolunda bir adım daha atmaktadır.

HDR ortamın already kullanımı, dünya çevre yansıtmalarını (örneğin, gökyüzü, manzara ve diğer ‘sabit’ ortam faktörleri) oluşturma sorununu çözmektedir, ancak hareketli ve dinamik yansıtmaları tanıtmak için yeni yaklaşımlar gerekli olacaktır.

NeRF ile Fotogrametri

Nöral Radyans Alanı görüntüleri, bir sahne veya nesnenin birçok açından yakalanan görüntülerinden tamamen hacimsel bir alan oluşturmak için makine öğrenimi analizini kullanır.

Geçen yıl ortaya çıkan çeşitli NeRF tabanlı şemalar, katkıda bulunan kamera cihazlarının çeşitli bir sayısını kullanmıştır; bazıları 16 veya daha fazla kamera kullanırken, diğerleri yalnızca bir veya iki kamera kullanmıştır. Tüm durumlarda, ara görünümler ‘doldurulur’ (yani yorumlanır), böylece sahne veya nesne akıcı bir şekilde gezilebilir.

Sonuç, tamamen hacimsel bir alandır ve bu, geleneksel CG mesh’lerini 3D-parsed girdi resimlerinin toplamından oluşturmak da dahil olmak üzere birçok şekilde yararlanılabilecek içkin 3B anlayışına sahiptir.

NeRF, ‘Yeni CGI’ Bağlamında

Nöral Radyans Alanı görüntüleri, gerçek dünyanın resimlerinden doğrudan çekilir, hareketli resimler dahil insan, nesne ve sahneler. Buna karşılık, bir CGI yöntemi dünyayı ‘incelemektedir’ ve ‘yorumlamaktadır’, gerçek dünya görüntülerini (yüz ve çevre yakalamaları gibi) kullanan, mesh’ler, rig’ler ve metinler oluşturmak için yetenekli işçiler gerektirir. Bu, esasen yorumlayıcı ve zanaatkar bir yaklaşımdır ve pahalı ve zahmetlidir.

Dahası, CGI, insan benzerliklerini yeniden yaratma konusunda ‘uncanny valley’ etkisini sürekli olarak sorunlara yol açmıştır, bu da NeRF’ye hiçbir kısıtlama getirmemektedir, çünkü NeRF, video veya resimlerden gerçek insanları yakalar ve manipüle eder.

Ayrıca, NeRF, geleneksel CGI-stil mesh geometrisini fotoğraflardan gerektiği gibi doğrudan oluşturabilir ve bilgisayar tarafından oluşturulan görüntülerde her zaman gerekli olan birçok manuel prosedürü fiilen değiştirebilir.

NeRF için Zorluklar

Bu son araştırma, MIT ve Google’dan, NeRF’in çeşitli zorluklarına çözüm öneren birçok NeRF makalesinin son bir yıl içinde ortaya çıkması bağlamında gelmektedir.

Nisan ayında, bir Çin araştırma konsorsiyumundan gelen bir yenilik, NeRF sahnesindeki çeşitli yönlerin bireysel zaman çizelgelerini ayrı olarak izole etme yolunu sundu, bu da insanları da içerir.

Kullanıcıların yakalanan öğeleri kopyalamasına, yapıştırmalarına ve yeniden boyutlandırmasına, bunları orijinal kaynak videosunun lineer zaman çizelgesinden ayırmasına olanak tanıyan Çin araştırması. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Bu yaklaşım, yalnızca tipik bir video yakalamasındaki temsil edilen tek görüşten değil, aynı zamanda kamera dizisi tarafından yakalanan herhangi bir açıyla sahneyi yeniden hayal etme yeteneğini sağlar, aynı zamanda esnek bir kompozisyon sağlar – ve hatta aynı anda iki öğenin kendi bireysel zaman çerçevelerinde (veya gerektiğinde tersine) çalışmasına izin verir.

Kullanıcıların yakalanan öğeleri kopyalamasına, yapıştırmalarına ve yeniden boyutlandırmasına, bunları orijinal kaynak videosunun lineer zaman çizelgesinden ayırmasına olanak tanıyan Çin araştırması. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

NeRF’in en büyük zorluklarından biri, bir sahneyi eğitmek için gereken önemli kaynakları azaltmaktır ve bu, birçok yakın tarihli makalede ele alınmıştır. Örneğin, Max Planck Institute for Intelligent Systems, KiloNeRF’i sundu, bu da yalnızca işleme süresini 1000 faktörüyle hızlandırarak değil, aynı zamanda NeRF’i etkileşimli olarak çalıştırabilme olanağı da sağlar.

KiloNeRF, bir GTX 1080ti’de 50fps’de etkileşimli bir ortam çalıştırıyor. Kaynak: https://github.com/creiser/kilonerf

NeRF’in interaktif hızlanma yenilikleri arasında, UC Berkeley liderliğindeki PlenOctrees işbirliği de bulunmaktadır ve bu, Nöral Radyans Alanlarının gerçek zamanlı işlenmesini sunar:

PlenOctrees’in interaktif yetenekleri, canlı, web tabanlı bir arayüze yeniden üretildi.

Firefox’ta PlenOctrees nesnesinin canlı interaktif hareketi (hareket bu GIF’ten daha düzgün ve daha dinamiktir). Kaynak: http://alexyu.net/plenoctrees/demo/

Ayrıca, Recursive-NeRF (Mayıs 2021’de Tsinghua Üniversitesi’nden araştırmacılar tarafından sunuldu), talebe göre yüksek kaliteli özyinelemeli işleme sunar. Tüm sahneleri oluşturmak yerine, kullanıcıya yalnızca görünen kısımları oluşturma olanağı sağlar – JPEG’nin kayıp sıkıştırmasına benzer bir şekilde – ve gerektiğinde ek görüntüler için ayrı NeRF’ler oluşturur – bu, hesaplama kaynaklarında büyük bir tasarruf sağlar.

Recursive-NeRF ile gereksiz render hesaplamalarını atarak ayrıntıları koruma. Resme tıklayarak daha yüksek çözünürlükte görüntüleyebilirsiniz. Kaynak: https://arxiv.org/pdf/2105.09103.pdf

Diğer yaklaşımlar arasında, 200fps’de yüksek doğrulukta nöral işleme sağlayan FastNeRF bulunmaktadır.

NeRF için birçok optimizasyon tekniğinin, sahneyi ‘pişirme’ (istemlenen yönleri işleme ve diğer yönleri atma) içerdiği not edilmiştir, bu da keşif için sınırlamalar oluşturur, ancak etkileşimi büyük ölçüde hızlandırır.

Bunun dezavantajı, stresin GPU’dan depolamaya geçmesidir, çünkü pişirilmiş sahneler inanılmaz miktarda disk alanı kaplar; bir ölçüde, bu, pişirilmiş verileri örnekleyerek azaltılarak hafifletilebilir, ancak bu da keşif veya etkileşim yollarını kapatma konusunda bir tür taahhüt içerir.

Hareket yakalama ve rigging konusunda, Zheijang ve Cornell üniversitelerinden Mayıs ayında ortaya çıkan yeni bir yaklaşım, girdi videosundan yorumlanan blend ağırlık alanları ve iskelet yapıları kullanarak canlandırılabilir insanları yeniden yaratma yöntemini sundu:

Canlandırılabilir NeRF’te türetilen iskelet yapısı. Kaynak: https://www.youtube.com/watch?v=eWOSWbmfJo4

NeRF ‘Jurassic Park’ Anını Ne Zaman Yaşayacaktır?

NeRF’in ne kadar deploy edilebilir hale gelebileceği konusunda herhangi bir tür ‘termodinamik yasası’ kurulacağı bu dönemde, görüntüleri sentezlemek için nöral radyans alanlarının hızlı ilerlemesine rağmen, NeRF, CGI’nin tarihine benzer bir zaman çizelgesinde şu anda 1973 civarında, ilk CGI kullanımı olan Westworld öncesi bir konumdadır.

Bu, NeRF’in Wrath Of Khan benzeri bir dönemeç için 9 yıl beklemesi gerektiği anlamına gelmez, ya da James Cameron’ın 1989’da The Abyss ve 1991’de Terminator 2 gibi filmlerde CGI’ye olan coşkulu desteği altında ulaşılan benzer ilerlemeler için on yıllar beklemesi gerektiği anlamına gelmez – ve sonra teknolojinin真正 devrim niteliğindeki kırılma anı 1993’te Jurassic Park ile geldi.

Görüntüleme sahnesi, sinemanın doğuşundan 1990’lara kadar film ve televizyon üretimine hakim olan foto-kimyasal görsel efektler için uzun bir durgunluk döneminden bu yana çok değişti. PC devrimi ve Moore yasasının ivmelenmesi, CGI devrimini mümkün kıldı, bu da otherwise 1960’larda gerçekleşmiş olabilirdi.

NeRF’in ilerlemesini, CGI’nin tahtını ele geçirmesi için benzer bir süre bekletmeyecek bir engel olup olmadığını görmek gerekiyor – ve bilgisayar vizyonundaki sonraki yeniliklerin NeRF’i nöral görüntü sentezinin kraliyet tahtı için ana aday olarak geçici bir ‘faks makinesi’ olarak karakterize edip etmediğini görmek gerekiyor.

Şimdiye kadar NeRF, akademik araştırmalar dışında hiçbir bağlamda kullanılmamıştır, ancak Google Research gibi büyük oyuncuların ve en önemli bilgisayar vizyonu araştırma laboratuvarlarının NeRF’in en son yenilikleri için yarıştığı dikkat çekicidir.

NeRF’in en büyük zorluklarının birçoğu bu yıl doğrudan ele alınmaya başlandı; ‘yansıma sorunu’na çözüm sunan sonraki araştırmalar ve NeRF’i optimize eden birçok araştırmanın birleşmesi, teknolojinin önemli işleme ve/veya depolama taleplerine kesin bir çözüm getirirse, NeRF gerçekten de önümüzdeki beş yıl içinde ‘yeni CGI’ olma şansına sahiptir.