Apple’ın HDR Artırılmış Gerçeklik Ortamları, Neural Rendering için Yansımaları Çözebilir mi?

Apple’ ın Artırılmış Gerçeklik teknolojilerindeki uzun vadeli yatırımları bu yıl hızlanıyor ve geliştiriciler için yeni bir dizi araçtan yararlanarak gerçek dünya nesnelerini AR parçalarına dönüştürme ve AR deneyimleri desteklemek için bir endüstri inancı ortaya çıkıyor.

Apple’ın Artırılmış Gerçeklik çabaları hakkında yeni bilgiler arasında, şirketin bilgisayar görüşü araştırma bölümünden bir yeni makale yayınlandı. Bu makale, 360 derecelik panoramik yüksek dinamik aralık (HDR) görüntüleri kullanarak artırılmış gerçeklik sahnelerine superpoze edilen nesneler için sahne özgü yansımaları ve aydınlatmayı sağlamak için bir yöntem ortaya koyuyor.

HDR Environment Map Estimation for Real-Time Augmented Reality adlı makale, Apple Bilgisayarlı Görme Araştırma Mühendisi Gowri Somanath ve Kıdemli Makine Öğrenimi Müdürü Daniel Kurz tarafından yazıldı. Bu makale, gerçek zamanlı HDR ortamlarının dinamik olarak oluşturulmasını öneriyor. Bu, bir mobil işlem ortamında çalışan bir convolutional neural network (CNN) kullanarak gerçekleştiriliyor. Sonuç olarak, yansıtıcı nesneler gerçekten yeni ve görülmemiş ortamları talep üzerine yansıtabiliyor:

Apple’ın yeni AR nesne oluşturma iş akışında, bir basınçlı kap, fotogrametri tarafından örneklenerek ambiente ortamı ile birlikte oluşturuluyor ve bu, metin olmayan bir dokuya sahip yansımalar ortaya çıkıyor. Kaynak: https://docs-assets.developer.apple.com/

Yöntem, CVPR 2021’de tanıtıldı ve tüm sahnenin bir anlık görüntüsünü alıyor ve EnvMapNet CNN’yi kullanarak görsel olarak eksiksiz bir panoramik HDR görüntüsünü tahmin ediyor.

Sonuçta elde edilen harita, güçlü ışık kaynaklarını (yukarıdaki animasyonun sonunda çizilenler) tanımlar ve sanal nesnelerin oluşturulmasında bunları hesaba katar.

EnvMapNet’in mimarisi, sınırlı görüntüleri tam sahne HDR ışık probelerine dönüştürüyor. Kaynak: https://arxiv.org/pdf/2011.10687.pdf

Algoritma, iPhone XS’de 9 ms’den kısa sürede çalışabilme kabiliyetine sahip ve gerçek zamanlı olarak yansıtma farkında nesneleri oluşturabiliyor. Ayrıca, önceki yaklaşımlara kıyasla 50% azaltılmış yönsel hata ile çalışabiliyor.

Işık Probeleri

HDR aydınlatma ortamları, yüksek dinamik aralık görüntülerinin (1986’da icat edilen) 1990’larda bilgisayar teknolojisi ilerlemeleriyle önemli bir güç haline gelmesiyle görsel efektlerde önemli bir faktör haline geldi. Arkadan çekilen görüntüleri izleyenler, sette teknisyenlerin elinde ayna topları tuttuklarını fark edebilir – sahnenin yeniden yapılandırılması sırasında environmental faktörler olarak dahil edilecek referans görüntüleri.

Kaynak: https://beforesandafters.com/

Ancak, yansıma haritalama tekstürleri için krom topları kullanmak, 1990’lardan önce, 1983 SIGGRAPH makalesi Pyramidal Parametrics‘e kadar uzanıyor. Bu makale, ünlü bir CGI robotun stillerini içeriyordu ve yaklaşık bir decade sonra James Cameron’ın Terminator 2: Judgment Day filmindeki ‘sıvı metal’ efektleriyle ünlü oldu.

Neural Rendering’de HDR Ortamları?

Neural rendering, çok az girdi ile fotogerçekçi video oluşturabilme olanağı sunuyor.