Kan Apples HDR-förstärkta verklighetmiljöer lösa reflektionsproblemen för neuralt renderande?

Apples långsiktiga investeringar i förstärkt verklighetsteknologi accelererar i år, med en ny uppsättning utvecklarverktyg för att fånga och omvandla verkliga världsföremål till AR-fasetter, och en växande branschövertygelse att dedikerad AR-utrustning är på väg för att stödja de immersiva upplevelser som denna snöstorm av FoU kan möjliggöra.

Bland en mängd ny information om Apples insatser inom förstärkt verklighet, avslöjar en ny artikel från företagets datorseende-forskningsavdelning en metod för att använda 360-graders panoramabilder med hög dynamisk omfång (HDR) för att tillhandahålla scenspecifika reflektioner och belysning för föremål som är infogade i förstärkt verklighetsscener.

Med titeln HDR Environment Map Estimation for Real-Time Augmented Reality, föreslår artikeln, skriven av Apple Computer Vision Research Engineer Gowri Somanath och Senior Machine Learning Manager Daniel Kurz, dynamisk skapande av realtids-HDR-miljöer via en convolutional neural network (CNN) som körs i en mobil processemiljö. Resultatet är att reflekterande föremål kan spegla nya, osynliga miljöer på begäran:

I Apples nya AR-objektgenereringsarbetsflöde instanseras en tryckkokare med fotogrammetri komplett med sin omgivande miljö, vilket leder till övertygande reflektioner som inte är “bakade” in i texturen. Källa: https://docs-assets.developer.apple.com/

Metoden, som presenterades på CVPR 2021, tar en ögonblicksbild av hela scenen och använder EnvMapNet CNN för att uppskatta en visuellt fullständig panoramabild med hög dynamisk omfång, också känd som en “ljussond”.

Den resulterande kartan identifierar starka ljuskällor (markerade i slutet av animationen ovan) och tar hänsyn till dem vid rendering av virtuella föremål.

Arkitekturen för EnvMapNet, som bearbetar begränsad bildinformation till fullscen-HDR-ljussonder. Källa: https://arxiv.org/pdf/2011.10687.pdf

Algoritmen kan köras på under 9 ms på en iPhone XS och kan rendera reflektionsmedvetna föremål i realtid, med minskad riktning fel på 50% jämfört med tidigare och olika tillvägagångssätt för problemet.

Ljussonder

HDR-belysningsmiljöer har varit en faktor i visuella effekter sedan hög dynamisk omfångsbilder (uppfunna 1986) blev en betydande kraft genom framsteg inom dator teknologi på 1990-talet. Den som tittar på bakom-kulisserna-filmer kan ha märkt den surrealistiska närvaron av tekniker som håller upp spegelkulor på pinnar – referensbilder som ska infogas som miljöfaktorer när man rekonstruerar CGI-element för scenen.

Källa: https://beforesandafters.com/

Men att använda kromkulor för reflektionskartning texturer föregår 1990-talet, tillbaka till 1983 SIGGRAPH-artikeln Pyramidal Parametrics, som visade stillbilder av en reflekterande CGI-robot i en stil som skulle bli berömd nästan ett decennium senare genom “vätske-metall”-effekterna i James Camerons Terminator 2: Domedagen.

HDR-miljöer i neuralt renderande?

Neuralt renderande erbjuder möjligheten att generera fotorealistiska videor från mycket glesa indata, inklusive grova segmenteringskartor.

Intel ISL:s segmentering>bild-neuralt renderande (2017). Källa: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

I maj avslöjade Intel-forskare en ny satsning på neural bildsyntes där filmklipp från Grand Theft Auto V användes för att generera fotorealistiska utdata baserat på datamängder av tyska gatumiljöer.

Källa: https://www.youtube.com/watch?v=0fhUJT21-bs

Utmaningen i att utveckla neuralt renderande-miljöer som kan anpassas till olika belysningsförhållanden är att separera objektinnehållet från miljöfaktorerna som påverkar det.

Som det är nu förblir reflektioner och anisotropa effekter antingen en funktion av den ursprungliga datamängden (vilket gör dem inflexibla) eller kräver samma typ av schema som Intel-forskarna använde, som genererar semi-fotorealistiska utdata från en grov (spel) motor, utför segmentering på den och sedan tillämpar stilöverföring från en “bakad” datamängd (såsom den tyska Mapillary-gatumiljö som användes i den senaste forskningen).

I denna neurala rendering (GTA V-filmklipp är till vänster), visar fordonet framför övertygande glare och till och med mättar sensorn på den fiktiva virtuella kameran med reflektioner från solen. Men denna belysningsaspekt är hämtad från den ursprungliga spelmotorn, eftersom de neurala faserna i scenen inte har några autonoma och självrefererande belysningsstrukturer som kan ändras.

Reflektion i NeRF

Bilder som hämtats från Neural Radiance Fields (NeRF) utmanas på samma sätt. Trots att nylig forskning om NeRF har gjort framsteg i att separera ut elementen som utgör en neural scen (t.ex. MIT/Google samarbete om NeRFactor), har reflektioner förblivit ett hinder.

MIT och Google NeRFactor-ansats separerar ut normaler, synlighet (skuggor), textur och lokal albedo, men det reflekterar inte en miljö, eftersom det existerar i ett vakuum. Källa: https://arxiv.org/pdf/2106.01970.pdf

NeRF kan lösa detta problem med samma typ av HDR-kartning som Apple använder. Varje pixel i ett neuralt ljusfält beräknas på en bana från en virtuell kamera upp till den punkt där “strålen” kan resa sig inte längre, liknande ray-tracing i traditionell CGI. Att lägga till HDR-inmatning till beräkningen av den banan är en potentiell metod för att uppnå äkta miljöreflektion, och är i princip en analog till CGI:s “globala belysning” eller radiositetsrenderingsmetoder, där en scen eller ett föremål delvis belyses av uppfattade reflektioner av sin egen miljö.

Fast det är garanterat att en HDR-matris inte kommer att underlätta NeRF:s betydande beräkningsbördor, fokuserar en stor del av forskningen inom detta område just nu på att hantera detta aspekt av bearbetningspipelinen. Oundvikligen är reflektion en av de många faktorerna som väntar i vingen för att återfylla och utmana den nyligen optimerade arkitekturen. Men NeRF kan inte uppnå sin fulla potential som en diskret neural bild- och videosyntesmetod utan att anta ett sätt att ta hänsyn till en omgivande miljö.

Reflektion i neuralt renderande-pipeliner

I en hypotetisk HDR-aktiverad version av Intels GTA V-neuralt renderande-scenario, kunde en enda HDR inte rymma de dynamiska reflektioner som behöver uttryckas i rörliga föremål. Till exempel, för att se den egna bilen reflekterad i bilen framför när den kommer upp till trafikljusen, kunde den främre bilen ha sin egen animerade HDR-ljussond, vars upplösning skulle försämras gradvis allt eftersom den avlägsnar sig från användarens synvinkel, för att bli lågupplöst och bara representativ när den backar bort i fjärran – en proximitetsbaserad LOD liknande “ritavstånd”-gränser i videospel.

Det verkliga potentialen i Apples arbete med HDR-belysning och reflektionskartor ligger inte i att det är särskilt innovativt, eftersom det bygger på tidigare arbete inom allmän bildsyntes och i AR-scenutveckling. Snarare representeras den möjliga genombrottet av det sätt som allvarliga lokala beräkningsbegränsningar har kombinerats med Apples M-seriens maskinlärnings-hårdvaruinnovationer för att producera lätta, låglatens-HDR-kartning som är utformad för att fungera under begränsade resurser.

Om detta problem kan lösas ekonomiskt, kan förekomsten av semantisk segmentering > fotorealistisk video-syntes komma ett betydande steg närmare.

Källa: https://docs-assets.developer.apple.com/