Realaus laiko dirbtinio intelekto žmonių link su neuroniniu liumigrafo atvaizdavimu

Nepaisant dabartinės susidomėjimo nervinio spinduliavimo laukais bangos (NeRF), technologija, galinti sukurti dirbtinio intelekto sukurtas 3D aplinkas ir objektus, šis naujas požiūris į vaizdų sintezės technologiją vis dar reikalauja daug mokymosi laiko ir trūksta diegimo, kuris įgalintų realiu laiku labai reaguojančias sąsajas.

Tačiau kai kurių įspūdingų pramonės ir akademinės bendruomenės vardų bendradarbiavimas siūlo naują požiūrį į šį iššūkį (paprastai žinomas kaip Novel View Synthesis arba NVS).

Tyrimas popierius, pavadinimu Neuroninio lumigrafo atvaizdavimas, teigia, kad naujausios technologijos pagerėjo maždaug dviem dydžiais, o tai reiškia kelis žingsnius siekiant realaus laiko CG pateikimo naudojant mašininio mokymosi vamzdynus.

Neuroninio liumigrafo atvaizdavimas (dešinėje) siūlo geresnę maišymo artefaktų skiriamąją gebą ir geresnį okliuzijos valdymą, palyginti su ankstesniais metodais. Šaltinis: https://www.youtube.com/watch?v=maVF-7×9644

Nors straipsnyje rašoma tik apie Stenfordo universitetą ir holografinių ekranų technologijų įmonę „Raxium“ (šiuo metu veikianti nematomumo režimas), bendradarbiai apima pagrindinį mašininį mokymąsi architektas „Google“, kompiuteryje mokslininkas „Adobe“ ir CTO at StoryFile (kuris padarė antraštės neseniai su Williamo Shatnerio AI versija).

Kalbant apie neseniai įvykusį „Shatner“ viešumą, atrodo, kad „StoryFile“ naudoja NLR savo naujame procese, kurdama interaktyvius, dirbtinio intelekto sukurtus objektus, pagrįstus atskirų žmonių savybėmis ir pasakojimais.

„StoryFile“ numato šios technologijos naudojimą muziejų ekspozicijose, internetiniuose interaktyviuose pasakojimuose, holografiniuose ekranuose, papildytoje realybėje (AR) ir paveldo dokumentacijoje – taip pat atrodo, kad ji ieško naujų NLR pritaikymų įdarbinimo pokalbiuose ir virtualių pasimatymų programose:

Siūlomi naudojimo būdai iš internetinio StoryFile vaizdo įrašo. Šaltinis: https://www.youtube.com/watch?v=2K9J6q5DqRc

Tūrinis fiksavimas naujoms peržiūros sintezės sąsajoms ir vaizdo įrašams

Tūrinio fiksavimo principas, taikomas įvairiems popieriams, kurie kaupiami apie objektą, yra idėja fotografuoti ar filmuoti objektą ir naudoti mašininį mokymąsi, kad būtų galima „užpildyti“ požiūrius, kurie nebuvo įtraukti į originalą. kamerų masyvas.

Šaltinis: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Aukščiau esančiame paveikslėlyje, paimtame iš Facebook AI 2019 AI tyrimo (žr. toliau), matome keturis tūrinio fiksavimo etapus: kelios kameros gauna vaizdus / filmuotą medžiagą; kodavimo/dekoderio architektūra (ar kitos architektūros) apskaičiuoja ir sujungia vaizdų reliatyvumą; ray-marching algoritmai apskaičiuoja vokseliai (arba kiti XYZ erdviniai geometriniai vienetai) kiekvieno tūrinės erdvės taško; ir (naujausiuose straipsniuose) vyksta mokymai, siekiant susintetinti visą objektą, kuriuo galima manipuliuoti realiu laiku.

Būtent šis dažnai platus ir daug duomenų reikalaujantis mokymo etapas iki šiol neleido naujos peržiūros sintezei patekti į fiksavimą realiuoju laiku arba labai greitai reaguojantį.

Tai, kad „Novel View Synthesis“ sukuria pilną tūrinės erdvės 3D žemėlapį, reiškia, kad yra gana nereikšminga sujungti šiuos taškus į tradicinį kompiuterio sukurtą tinklelį, efektyviai fiksuojant ir artikuliuojant CGI žmogų (ar bet kurį kitą santykinai ribotą objektą). skrydis.

Metodai, kuriuose naudojamas NeRF, remiasi taškų debesimis ir gylio žemėlapiais, kad sukurtų interpoliacijas tarp retų fiksavimo įrenginių matymo taškų:

NeRF gali generuoti tūrinį gylį apskaičiuodamas gylio žemėlapius, o ne generuodamas CG tinklelius. Šaltinis: https://www.youtube.com/watch?v=JuH79E8rdKc

Nors NeRF yra galintis skaičiuojant tinklelį, dauguma diegimų to nenaudoja tūrinėms scenoms generuoti.

Priešingai, numanomas diferencijuojamas atvaizduotojas (IDR) metodas, paskelbti 2020 m. spalio mėn. Weizmanno mokslo institutas, priklauso nuo 3D tinklelio informacijos, automatiškai generuojamos iš fiksavimo matricų, panaudojimo:

IDR fiksavimo pavyzdžiai virto interaktyviais CGI tinkleliais. Šaltinis: https://www.youtube.com/watch?v=C55y7RhJ1fE

Nors NeRF trūksta IDR galimybių įvertinti formą, IDR negali prilygti NeRF vaizdo kokybei ir abiem reikia daug išteklių, kad būtų galima išmokyti ir lyginti (nors naujausios NeRF naujovės yra pradžia į spręsti tai).

NLR pritaikyta kamerų įranga su 16 GoPro HERO7 ir 6 centrinių Back-Bone H7PRO kamerų. Atvaizduojant „realiu laiku“, jie veikia mažiausiai 60 kadrų per sekundę greičiu. Šaltinis: https://arxiv.org/pdf/2103.11571.pdf

Vietoj to naudojamas neuroninis lumigrafo atvaizdavimas Sirena (Sinusoidiniai atvaizdavimo tinklai), kad kiekvieno metodo privalumai būtų įtraukti į atskirą sistemą, kuri yra skirta generuoti išvestį, kurią galima tiesiogiai naudoti esamuose realiojo laiko grafikos vamzdynuose.

SIRENA buvo naudojama panašių įgyvendinimų per pastaruosius metus, o dabar atstovauja a populiarus API skambutis mėgėjams Colabs vaizdų sintezės bendruomenėse; tačiau NLR naujovė yra taikyti SIREN dvimačiai kelių vaizdų vaizdų priežiūrai, o tai kelia problemų dėl to, kad SIREN sukuria per daug pritaikytą, o ne apibendrintą išvestį.

Ištraukus CG tinklelį iš masyvo vaizdų, tinklelis rastrizuojamas naudojant OpenGL ir tinklelio viršūnių padėtys susiejamos su atitinkamais pikseliais, o po to apskaičiuojamas įvairių prisidedančių žemėlapių sumaišymas.

Gautas tinklelis yra labiau apibendrintas ir reprezentatyvesnis nei NeRF (žr. paveikslėlį žemiau), reikia mažiau skaičiuoti ir netaikomas per daug detalių tose srityse (pvz., lygiai veido odai), kurioms tai negali būti naudinga:

Šaltinis: https://arxiv.org/pdf/2103.11571.pdf

Neigiama yra tai, kad NLR dar neturi jokios talpos dinaminiam apšvietimui arba pakartotinis apšvietimas, o išvestis apsiriboja šešėliniais žemėlapiais ir kitais apšvietimo aspektais, gautais fiksavimo metu. Tyrėjai ketina tai spręsti būsimame darbe.

Be to, darbe pripažįstama, kad NLR sukurtos formos nėra tokios tikslios kaip kai kurie alternatyvūs metodai, pvz. „Pixelwise View“ pasirinkimas nestruktūrizuotam kelių vaizdų stereofoniniam grotuvui, arba anksčiau minėtas Weizmann instituto tyrimas.

Tūrinio vaizdo sintezės kilimas

Idėja sukurti 3D objektus iš ribotos nuotraukų serijos naudojant neuroninius tinklus atsirado anksčiau nei NeRF, o vizijos siekia 2007 m. ar anksčiau. 2019 m. Facebook AI tyrimų skyrius parengė esminį mokslinį darbą, Neuroniniai tūriai: dinaminių atvaizduojamų tūrių mokymasis iš vaizdų, kuri pirmiausia įgalino reaguojančias sąsajas sintetiniams žmonėms, sukurtas naudojant mašininiu mokymusi pagrįstą tūrinį fiksavimą.

„Facebook“ 2019 m. tyrimas leido sukurti reaguojančią vartotojo sąsają tūriniam asmeniui. Šaltinis: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/