Ein Authentisches Fokussystem für ‘Billige’ Erweiterte Realität

Forscher des Institute of Electrical and Electronics Engineers (IEEE) haben eine Methode entwickelt, um die Authentizität von kostengünstigen, projektorbasierten erweiterten Realitäts-Installationen zu erhöhen, durch spezielle Brillen, die projizierte 3D-Bilder so ein- und ausblenden lassen, wie sie es auch bei realen Objekten tun würden, und so ein kritische Wahrnehmungshürde für die praktische Nutzung von Projektsystemen in kontrollierten Umgebungen überwinden.

Das IEEE-System rekonstruiert Tiefenebenen für projizierte reale und CGI-Bilder, die in Räumen überlagert werden. In diesem Fall werden drei CGI-Stanford-Hasen auf der gleichen Tiefenebene wie drei reale Objekte überlagert, und ihre Unschärfe wird durch die Blickrichtung und Fokussierung des Betrachters gesteuert. 3D-Projektoren können Footage auf feste Oberflächen, bewegte Oberflächen oder sogar komplexe Geometrien projizieren, was eine breite Abdeckung bietet, die unter den strengen Verarbeitungseinschränkungen von AR-Systemen wie HoloLens schwer zu rekonstruieren ist. Quelle: https://www.youtube.com/watch?v=I8DGTQnxm38

Das System verwendet elektrisch fokussierbare Linsen (ETL), die in die Brillen des Betrachters eingebettet sind (die ohnehin notwendig sind, um die beiden Bildströme in ein überzeugendes, integriertes 3D-Erlebnis zu trennen), und die mit dem Projektsystem kommunizieren, das dann automatisch die Unschärfe des projizierten Bildes anpasst, das der Betrachter sieht.

Die ETL-Linsen melden Informationen über die Fokussierung des Benutzers zurück und passen die Unschärfe auf einer pro-Ebene-Basis für die Darstellung der projizierten Geometrie an. Die Entwicklung des Systems wird in einem begleitenden Video erläutert, das am Ende dieses Artikels eingebettet ist.

Das Papier, betitelt Multifokale Stereoprojektion, bietet ein neues Level an Benutzerfreundlichkeit für ein Feld, das durch den Mangel an Integration mit der Art und Weise, wie Benutzer auf verschiedene Objekte fokussieren, eingeschränkt war, und das verspricht, die Probleme zu überwinden, die solche Systeme mit dem Vergence-Akkommodations-Konflikt (VAC) hatten – ein Syndrom, bei dem der wahrgenommene Abstand zwischen einem Objekt nicht seinem logischen Fokussierabstand entspricht, was dazu führt, dass das Objekt auf unüberzeugende Weise “schwebt”, wo es in Bezug auf seine Platzierung unscharf sein sollte.

In AR-Umgebungen, wie Microsofts HoloLens, wird foveale Rendering verwendet, um die Verarbeitungsleistung zu konzentrieren, wobei Detail und Fokussierung basierend auf der Blickrichtung und Fokussierung des Benutzers gerendert werden. Allerdings haben tragbare AR-Systeme wie HoloLens eine viel höhere Hardware-Last an Bord, da sie das 3D-Bild tatsächlich an den Benutzer liefern müssen.

Der Vorteil der Projizierten Erweiterten Realität

Im Gegensatz dazu senden ETL-Brillen einfach Fokussierungs-Informationen als zusätzliche Variable an Remote-CGI-Pipelines, die die Fokussierung von projizierten Bildern schneller ändern können als der Round-Trip, den Fokussierungs-Informationen in einem tragbaren AR-Gerät machen müssen (d. h. Fokussierungs-Information > an Remote-Prozessor gesendet > gerendert > an Träger zurückgesendet), was die Latenz verbessert, die selbst ein potenzieller Grund für die Desorientierung des Benutzers in AR-Systemen ist.

Effektiv wird foveales Rendering so sehr verwendet, um die begrenzten verfügbaren Ressourcen zu bewältigen, wie auch, um dem Benutzer ein authentisches Fokuserlebnis zu bieten, wobei große Bereiche von überlagerten Bildern in HoloLens-Systemen schwer zu erreichen sind und begrenzte “Letterbox-Rendering” und unsichere Kanten ein häufiges Problem darstellen.

Von SIGGRAPH 98 – eine Vision von erweiterter Realität in einer Büroumgebung, zitiert im neuen Papier. Quelle: https://www.youtube.com/watch?v=I8DGTQnxm38 und https://web.media.mit.edu/~raskar/UNC/Office/

Das Papier stellt eine Reihe bekannter Vorteile dar, die stereoskopische Projektionsabbildung (PM) gegenüber moderneren Implementierungen von erweiterter Realität hat, die auf schwere und intensive Körper-Getragene-Geräte angewiesen sind, wie die Autoren feststellen*:

Erstens kann das Sichtfeld (FOV) so weit wie möglich durch Erhöhung der Anzahl der Projektoren vergrößert werden, um die gesamte Umgebung abzudecken. Zweitens sind die aktiven Verschluss-Brillen normalerweise viel leichter und ihre physische Belastung geringer als bei HMDs. Drittens können mehrere Benutzer die gleiche AR-Erfahrung teilen, wenn ihre Blickwinkel ausreichend nahe beieinander liegen. Dank dieser Vorteile haben Forscher festgestellt, dass stereoskopische PM für eine breite Palette von Anwendungen geeignet ist, einschließlich, aber nicht beschränkt auf Museumsführer, Architekturplanung, Produktgestaltung, Medizinische Ausbildung, formändernde Schnittstellen und Videokonferenzen.

Eine solche Implementierung wurde von Microsoft Research im Jahr 2012 entwickelt, bevor das Unternehmen sich in den letzten Jahren auf in-Geräte-AR konzentrierte:

Die IEEE-Forscher behaupten, dass das neue Fokussier-Input-System das erste ist, das VAC durch die Kontrolle von Multifokusebenen anspricht, und auch das erste ist, das dieses Problem auf eine generische und weit anwendbare Weise löst, ohne teure, spezielle Projektionsgeräte zu benötigen.

Die fokussierzentrierte Render-Pipeline, die von den Forschern entwickelt wurde, integriert Fokussier-Informationen, die von den ETL-Brillen des Betrachters empfangen werden, direkt am Anfang des Render-Prozesses, anstatt zuerst das Bild zu rendern und dann unscharf zu machen. Abhängig von der Implementierung kann dies zusätzliche Verarbeitungsressourcen sparen und die Latenz verbessern, wenn der Fokussier-Blick des Betrachters um die virtuellen Elemente wandert.

Die Technik wird als gut funktionierend auf einer Vielzahl von möglichen Projektionsflächen beschrieben, einschließlich flacher, nicht-planarer (d. h. gekrümmter oder komplexer Geometrien, wie z. B. Dummys, auf die medizinische Röntgenbilder aufgetragen werden könnten) und bewegter Flächen.

Ein Mixed-Reality-Dummy, der 3D-Projektionen verwendet, entwickelt für eine medizinische Ausbildungsumgebung, zitiert im Papier. Quelle: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssysteme dieser Art erfordern dunkle Umgebungen, wie z. B. Museen, und das ETL-System reduziert den verfügbaren Blickwinkel des Betrachters, obwohl die Forscher behaupten, dass die Tendenz zu größeren Apertur-Größen für ETL-Geräte diese Einschränkung im Laufe der Zeit mildern wird. Obwohl die Autoren auch feststellen, dass das System einen Hochgeschwindigkeitsprojektor erfordert, um genügend Frames zu liefern, um sie in zwei Ströme zu trennen, haben sie für ihre Implementierung einen kommerziell verfügbaren Projektor verwendet.

*Meine Umwandlung von Inline-Zitaten in Hyperlinks.