Kann Apples HDR-erweiterte Realitätsumgebungen Reflexionen für neuronale Rendering lösen?

Apples langfristige Investitionen in erweiterte Realitätstechnologien beschleunigen sich in diesem Jahr, mit einer neuen Reihe von Entwickler-Tools, um reale Objekte in AR-Aspekte zu erfassen und zu konvertieren, und einer wachsenden Branchenüberzeugung, dass dedizierte AR-Brillen kommen, um die immersiven Erfahrungen zu unterstützen, die dieser Blizzard an Forschung und Entwicklung ermöglichen kann.

Unter einer Reihe neuer Informationen über Apples Bemühungen in erweiterten Realitäten enthüllt ein neues Papier von der Computer-Vision-Forschungsabteilung des Unternehmens eine Methode, um 360-Grad-Panorama-HDR-Bilder zu verwenden, um szene-spezifische Reflexionen und Beleuchtung für Objekte bereitzustellen, die in erweiterte Realitätsszenen überlagert werden.

Das Papier, von Apple -Computer-Vision-Forschungsingenieur Gowri Somanath und Senior Machine Learning Manager Daniel Kurz, schlägt die dynamische Erstellung von Echtzeit-HDR-Umgebungen vor, indem ein konvolutionales neuronales Netzwerk (CNN) in einer mobilen Verarbeitungsumgebung ausgeführt wird. Das Ergebnis ist, dass reflektierende Objekte buchstäblich neue, ungeladene Umgebungen auf Abruf spiegeln können:

In Apples neuem AR-Objekt-Generierungs-Workflow wird ein Druckkocher durch Photogrammetrie instanziert, einschließlich seiner Umgebungsbeleuchtung, was zu überzeugenden Reflexionen führt, die nicht in die Textur ‘gebacken’ sind. Quelle: https://docs-assets.developer.apple.com/

Die Methode, die auf der CVPR 2021 vorgestellt wurde, nimmt ein Foto der gesamten Szene auf und verwendet das EnvMapNet-CNN, um ein visuell vollständiges Panorama-HDR-Bild zu schätzen, auch bekannt als ‘Light Probe’.

Die resultierende Karte identifiziert starke Lichtquellen (am Ende der obigen Animation umrandet) und berücksichtigt sie bei der Rendering von virtuellen Objekten.

Die Architektur von EnvMapNet, die begrenzte Bilder in vollständige Szene-HDR-Lichtproben verarbeitet. Quelle: https://arxiv.org/pdf/2011.10687.pdf

Der Algorithmus kann in weniger als 9 ms auf einem iPhone XS ausgeführt werden und ist in der Lage, reflektionsbewusste Objekte in Echtzeit zu rendern, mit einer reduzierten gerichteten Fehlerquote von 50 % im Vergleich zu früheren und unterschiedlichen Ansätzen für das Problem.

Lichtproben

HDR-Beleuchtungsumgebungen sind seit den 1990er Jahren, als hochauflösende Bilder (erfunden 1986) durch Fortschritte in der Computertechnologie zu einer bemerkenswerten Kraft wurden, ein Faktor in visuellen Effekten. Jeder, der Hinter-den-Kulissen-Footage beobachtet hat, hat möglicherweise die surreale Präsenz von Technikern bemerkt, die reflektierende Kugeln auf Stöcken halten – Referenzbilder, die als Umgebungsmerkmale bei der Rekonstruktion von CGI-Elementen für die Szene verwendet werden.

Quelle: https://beforesandafters.com/

Allerdings geht die Verwendung von Chromkugeln für Reflexionskartierung-Texturen auf die 1980er Jahre zurück, als sie in dem 1983er SIGGRAPH-Papier Pyramidal Parametrics vorgestellt wurden, das Stillbilder eines reflektierenden CGI-Roboters in einem Stil zeigte, der fast ein Jahrzehnt später durch die ‘flüssigen Metall’-Effekte von James Camerons Terminator 2: Tag der Abrechnung berühmt wurde.

HDR-Umgebungen in neuronalen Renderings?

Neuronale Renderings bieten die Möglichkeit, photorealistische Videos aus sehr spärlichen Eingaben zu generieren, einschließlich grober Segmentierungskarten.

Intel ISLs Segmentierung>Bild-Neuronales Rendering (2017). Quelle: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

Im Mai enthüllten Intel-Forscher eine neue Initiative in der neuronalen Bildsynthese, bei der Footage aus Grand Theft Auto V verwendet wurde, um photorealistische Ausgaben auf der Grundlage von Daten deutscher Straßenbilder zu generieren.

Quelle: https://www.youtube.com/watch?v=0fhUJT21-bs

Die Herausforderung bei der Entwicklung von neuronalen Renderings-Umgebungen, die an verschiedene Beleuchtungsbedingungen angepasst werden können, besteht darin, den Objektinhalt von den Umgebungsmerkmalen zu trennen, die ihn beeinflussen.

Wie es derzeit steht, bleiben Reflexionen und anisotrope Effekte entweder Funktionen des ursprünglichen Datensatz-Footage (was sie inflexibel macht) oder erfordern die gleiche Art von Schema, die die Intel-Forscher eingesetzt haben, das semi-photorealistische Ausgaben aus einem groben (Spiel-)Engine generiert, Segmentierung darauf anwendet und dann Stil-Transfer von einem ‘gebackenen’ Datensatz (wie dem deutschen Mapillary-Straßenansichts-Set, das in der jüngsten Forschung verwendet wurde) durchführt.

In diesem neuronalen Rendering (GTA-V-Footage ist links), zeigt das Fahrzeug vorne überzeugende Glanzlichter und sogar sättigt den Sensor der virtuellen Kamera mit Reflexionen von der Sonne. Aber dieser Beleuchtungsaspekt wird aus dem ursprünglichen Spiel-Footage abgeleitet, da die neuronalen Aspekte in der Szene keine autonomen und selbstbezüglichen Beleuchtungsstrukturen haben, die geändert werden können.

Reflexion in NeRF

Bilder, die aus Neuralen Radiance-Feldern (NeRF) abgeleitet werden, sind ähnlich herausgefordert. Obwohl die jüngste Forschung zu NeRF Fortschritte bei der Trennung der Elemente gemacht hat, die eine neurale Szene ausmachen (z. B. die MIT/Google-Zusammenarbeit bei NeRFactor), sind Reflexionen ein Hindernis geblieben.

Der MIT- und Google-NeRFactor-Ansatz trennt Normale, Sichtbarkeit (Schatten), Textur und lokale Albedo, aber es spiegelt keine Umgebung wider, da es in einem Vakuum existiert. Quelle: https://arxiv.org/pdf/2106.01970.pdf

NeRF kann dieses Problem mit der gleichen Art von HDR-Kartierung lösen, die Apple verwendet. Jedes Pixel in einem neuronalen Radiance-Feld wird auf einem Trajekt von einer virtuellen Kamera bis zum Punkt berechnet, an dem der ‘Strahl’ nicht weiter reisen kann, ähnlich wie bei der Ray-Tracing-Technik in traditionellem CGI. Die Hinzufügung von HDR-Eingaben zur Berechnung dieses Strahls ist eine potenzielle Methode, um echte Umgebungsreflexionen zu erreichen, und ist im Wesentlichen ein Analogon zu CGI-Methoden wie ‘globale Beleuchtung’ oder Radiositäts-Rendering, bei denen eine Szene oder ein Objekt teilweise durch wahrgenommene Reflexionen seiner eigenen Umgebung beleuchtet wird.

Obwohl es garantiert ist, dass eine HDR-Matrix nichts zur Entlastung der bemerkenswerten Rechenlast von NeRF beiträgt, konzentriert sich eine große Menge an Forschung in diesem Bereich derzeit auf die Behandlung dieses Aspekts der Verarbeitungspipeline. Unvermeidlich ist Reflexion einer der vielen Faktoren, die in der Warteschlange stehen, um diese neu optimierte Architektur wieder zu füllen und herauszufordern. Allerdings kann NeRF sein volles Potenzial als diskrete neurale Bild- und Videosynthese-Methode nicht erreichen, ohne eine Möglichkeit zu entwickeln, eine Umgebung zu berücksichtigen.

Reflexion in neuronalen Renderings-Pipelines

In einer hypothetischen HDR-aktiven Version des Intel-GTA-V-neuronalen Renderings-Szenarios könnte ein einzelnes HDR nicht die dynamischen Reflexionen aufnehmen, die in bewegten Objekten ausgedrückt werden müssen. Zum Beispiel müsste das Fahrzeug vorne ein eigenes animiertes HDR-Licht-Probe haben, dessen Auflösung schrittweise abnimmt, wenn es sich vom Benutzer wegbewegt, um low-res und repräsentativ zu werden, wenn es in die Ferne fährt – eine proximitätsbasierte LOD-Ähnlichkeit wie ‘Zeichnen-Entfernung’-Grenzwerte in Videospielen.

Das wahre Potenzial von Apples Arbeit an HDR-Beleuchtung und Reflexionskarten liegt nicht darin, dass es besonders innovativ ist, da es auf früheren Arbeiten in der allgemeinen Bildsynthese und in der AR-Szenen-Entwicklung aufbaut. Vielmehr liegt der mögliche Durchbruch in der Art und Weise, wie strenge lokale Rechenbeschränkungen mit Apples M-Serie-Machine-Learning-Hardware-Innovationen kombiniert wurden, um leichtes, latenzarmes HDR-Mapping zu produzieren, das für den Betrieb unter begrenzten Ressourcen konzipiert ist.

Wenn dieses Problem wirtschaftlich gelöst werden kann, kann der Einsatz von semantischer Segmentierung zu photorealistischer Video-Synthese um einen bedeutenden Schritt vorankommen.

Quelle: https://docs-assets.developer.apple.com/