Може ли Аппле-ова ХДР окружења проширене стварности решити рефлексије за неуронско приказивање?

Аппле-ово снажно, дугорочно улагање у технологије проширене стварности ове године се убрзава, са новим програмским алатима за ухватити и претворити објекте из стварног света у АР аспекте, и а растуће убеђење у индустрији да наменске АР наочаре долазе да подрже импресивна искуства која ова мећава истраживања и развоја може да омогући.

Међу низом нових информација о Апплеовим напорима у проширеној стварности, а Нови папир из одељења за истраживање компјутерског вида компаније открива метод за коришћење панорамских слика високог динамичког опсега од 360 степени (ХДР) како би се обезбедиле рефлексије и осветљење специфичних за сцену за објекте који су суперпонирани у сцене проширене стварности.

право ХДР процена мапе окружења за проширену стварност у реалном времену, рад, од стране инжењера Аппле Цомпутер Висион Ресеарцх инжењера Говрија Соманата и вишег менаџера за машинско учење Даниела Курза, предлаже динамичко креирање ХДР окружења у реалном времену путем конволуционе неуронске мреже (ЦНН) која ради у мобилном окружењу за обраду. Резултат је да рефлектујући објекти могу буквално да одражавају нова, невидљива окружења на захтев:

У Апплеовом новом току рада за генерисање АР објеката, експрес лонац се инстанцира фотограметријом заједно са амбијенталним окружењем, што доводи до убедљивих рефлексија које нису „упечене“ у текстуру. Извор: хттпс://доцс-ассетс.девелопер.аппле.цом/

Метода, која је дебитовала на ЦВПР 2021, прави снимак целе сцене и користи ЕнвМапНет ЦНН да процени визуелно комплетну панорамску ХДР слику, познату и као 'светлосна сонда'.

Добијена мапа идентификује јаке изворе светлости (наведене на крају у горњој анимацији) и узима их у обзир у приказивању виртуелних објеката.

Архитектура ЕнвМапНет-а, која обрађује ограничене слике у ХДР светлосне сонде целе сцене. Извор: хттпс://аркив.орг/пдф/2011.10687.пдф

Алгоритам може да ради за мање од 9 мс на иПхоне КСС и способан је да прикаже објекте који су свесни рефлексије у реалном времену, са смањеном грешком смера од 50% у поређењу са претходним и другачијим приступима проблему.

Светлосне сонде

ХДР светлосна окружења су била фактор визуелних ефеката откако су слике високог динамичког опсега (измишљене 1986.) постале значајна сила кроз напредак компјутерске технологије 1990-их. Свако ко је гледао снимке иза сцене можда је приметио надреално присуство техничара на сету који држе зрцаљене лопте на штаповима – референтне слике које треба укључити као факторе животне средине када се реконструишу ЦГИ елементи за сцену.

Извор: хттпс://бефоресандафтерс.цом/

Међутим, коришћењем хромираних куглица за мапирање рефлексије текстуре претходе 1990-им, враћајући се на СИГГРАПХ папир из 1983. године Пирамидал Параметрицс, који је садржавао непокретне слике рефлективног ЦГИ робота у стилу који ће постати познат скоро деценију касније захваљујући ефектима 'течног метала' Џејмса Камерона Терминатор 2: Судњи дан.

ХДР окружења у неуронском приказивању?

Неуронско приказивање нуди могућност генерисања фотореалистичког видеа из веома оскудног уноса, укључујући грубе мапе сегментације.

Интел ИСЛ сегментација> неурално приказивање слике (2017). Извор: хттпс://авесомеопенсоурце.цом/пројецт/ЦКФИО/ПхотограпхицИмагеСинтхесис

У мају, истраживачи компаније Интел открила нова иницијатива у синтези неуронске слике где су снимци из Гранд Тхефт Ауто В коришћени за генерисање фотореалистичног излаза на основу скупова података немачких уличних слика.

Извор: хттпс://ввв.иоутубе.цом/ватцх?в=0фхУЈТ21-бс

Изазов у ​​развоју окружења неуронског приказивања који се могу прилагодити различитим условима осветљења је да се садржај објекта одвоји од фактора средине који на њега утичу.

Како сада стоји, рефлексије и анизотропни ефекти остају функције или оригиналног снимка скупа података (што их чини нефлексибилним), или захтева исту врсту шеме коју су користили Интелови истраживачи, која генерише полуфотореалистичан излаз из грубог (игрица) мотора, врши сегментацију на њему, а затим примењује пренос стилова из 'печеног' скупа података (као што је немачки скуп приказа улица Мапиллари коришћен у недавном истраживању).

У овом неуронском приказу изведеном из ГТА В снимка (лево), возило испред показује убедљив одсјај и чак засићује сензор фиктивне виртуелне камере рефлексијама сунца. Али овај аспект осветљења је изведен из мотора за осветљење оригиналног снимка игре, пошто неуронске аспекте у сцени немају аутономне и самореферентне структуре осветљења које се могу мењати.

Рефлексија у НеРФ-у

Слике изведене из Неурал Радианце Фиелдс (НеРФ) је на сличан начин изазван. Иако је недавно истраживање НеРФ-а направило кораке у одвајању елемената који чине неуронску сцену (на пример, МИТ/Гоогле сарадња на НеРФацтор-у), рефлексије су остале препрека.

Приступ МИТ и Гоогле НеРФацтор раздваја нормале, видљивост (сенке), текстуру и локални албедо, али не одражава шире (или покретно) окружење, јер у суштини постоји у вакууму. Извор: хттпс://аркив.орг/пдф/2106.01970.пдф

НеРФ може да реши овај проблем са истом врстом ХДР мапирања које користи Аппле. Сваки пиксел у пољу неуронског зрачења израчунава се на путањи од виртуелне камере до тачке у којој 'зрак' не може даље да путује, слично праћењу зрака у традиционалном ЦГИ. Додавање ХДР улаза у прорачун тог зрака је потенцијална метода за постизање истинске рефлексије животне средине и у ствари је аналог ЦГИ-јевом 'глобалном осветљењу' или методама приказивања радиоактивности, где је сцена или објекат делимично осветљен сопственим уоченим рефлексијама Животна средина.

Иако је загарантовано да ХДР матрица неће учинити ништа да олакша значајна НеРФ-ова рачунарска оптерећења, велики део истраживање у овој области се тренутно концентрише на решавање овог аспекта процеса обраде. Неизбежно, рефлексија је један од многих фактора који чекају у крилима да поново попуне и изазову ту новооптимизовану архитектуру. Међутим, НеРФ не може да оствари свој пуни потенцијал као дискретна неуронска слика и методологија синтезе видеа без усвајања начина да се узме у обзир околно окружење.

Рефлецтанце Ин Неурал Рендеринг Пипелинес

У наводној верзији сценарија неуралног рендеровања Интел ГТА В са омогућеном ХДР-ом, један ХДР не би могао да прихвати динамичке рефлексије које треба да буду изражене у покретним објектима. На пример, да би се видело сопствено возило које се рефлектује у возилу испред док се приближава светлима, ентитет предњег возила би могао да има сопствену анимирану ХДР светлосну сонду, чија би резолуција постепено деградирала како се повлачи од краја корисничка тачка гледишта, да постане ниске резолуције и само репрезентативна док се удаљава у даљину – ЛОД заснован на близини сличан граничницима 'повлачења удаљености' у видео играма.

Прави потенцијал Аппле-овог рада на мапама ХДР осветљења и рефлексије није то што је посебно иновативан, јер се надовезује на претходни рад у општој синтези слика и Развој АР сцене. Уместо тога, могући пробој је представљен начином на који су озбиљна ограничења локалног рачунарства комбинована са Аппле-овом М-серијом хардверских иновација за машинско учење како би се произвело лако ХДР мапирање са малим кашњењем које је дизајнирано да ради под ограниченим ресурсима.

Ако се овај проблем може економски решити, појава семантичке сегментације>фотореалистична видео синтеза може бити значајан корак ближе.

Извор: хттпс://доцс-ассетс.девелопер.аппле.цом/