本当のフォーカシングシステムを備えた『安価』な拡張現実

電気電子技術者協会（IEEE）からの研究者は、特別な眼鏡を使用して投影された3Dイメージを、実物のようにフォーカスインとフォーカスアウトを行う方法を開発しました。この方法により、低コストの投影型拡張現実インストールの真実性を高めることができます。投影型システムは、制御された環境での実用的な使用において重要な認識的障害を克服します。

IEEEシステムは、投影された実とCGイメージのための深度平面を再創します。この場合、3つのCGスタンフォードバニーが3つの実世界オブジェクトと同じ深度平面に重ねられ、ぼけ度は視聴者の注視とフォーカスによって制御されます。 3Dプロジェクターは、固定された表面、動く表面、または複雑な幾何学に映像を投影できます。 Source: https://www.youtube.com/watch?v=I8DGTQnxm38

システムは、視聴者の眼鏡に組み込まれた電気的にフォーカス可能なレンズ（ETL）を使用し、投影システムと通信して、視聴者が見る投影映像のぼけ度を自動的に変更します。

ETLレンズは、ユーザーの焦点の注意を報告し、投影された幾何学のレンダリングのぼけ度を1平面ごとに設定します。システムの開発は、記事の末尾に埋め込まれた動画で説明されています。

論文「マルチフォーカルステレオスコピック投影マッピング」は、新しいレベルの使いやすさを提供し、ユーザーが異なるオブジェクトに焦点を当てる方法との統合性が不足しているという問題を解決します。また、vergence–accommodation conflict（VAC）という、物体の認識距離と論理的な焦点距離が一致しない症候群も解決します。

AR環境、たとえばMicrosoftのHoloLensでは、foveated renderingを使用して、処理能力を集中し、視聴者の注視と焦点に基づいて詳細と焦点をレンダリングします。しかし、HoloLensのようなウェアラブルARシステムは、実際に3Dイメージを視聴者に提供する必要があるため、オンボードハードウェアの負荷が非常に高くなります。

投影型拡張現実の利点

一方、ETLを備えた眼鏡は、焦点情報をリモートのCGパイプラインに送信し、投影映像の焦点を変更します。これは、焦点情報がウェアラブルARデバイス内で行き来するよりも高速に行われ、遅延を改善します。

実際、foveated renderingは、限られたリソースを活用するためだけでなく、ユーザーに本物的な焦点体験を提供するために使用されます。HoloLensスタイルのシステムでは、超position映像を大規模に実現することは困難であり、レンダリングと不安定なエッジは一般的な苦情です。

SIGGRAPH 98から – オフィス環境での拡張現実のビジョン、論文に引用。 Source: https://www.youtube.com/watch?v=I8DGTQnxm38とhttps://web.media.mit.edu/~raskar/UNC/Office/

論文では、ステレオスコピック投影マッピング（PM）が、より現代的なAR実装よりもいくつかの既知の利点を持っていることが観察されています。著者は以下のように述べています：

まず、視野角（FOV）は、環境全体をカバーするためにプロジェクターの数を増やすことで、可能な限り広くすることができます。2番目に、アクティブシャッターグラスは通常、HMDよりも軽く、物理的な負担が少ないためです。3番目に、複数のユーザーが、視点が十分に近い場合、同じAR体験を共有できます。これらの利点により、研究者は、博物館ガイド、建築計画、製品設計、医療トレーニング、形状変更インターフェイス、テレビ会議などの幅広いアプリケーションにステレオスコピックPMを適切であると判断しています。

Microsoft Researchによって2012年に開発された実装の1つは、以下のとおりです：

https://www.youtube.com/watch?v=EaCjTog0u40

IEEE研究者は、新しい焦点入力システムが、多焦点平面を制御することでVACを最初に解決し、また、専用の投影機器を必要とせずにこの問題を解決する最初のシステムであると主張しています。

研究者によって開発された焦点中心のレンダリングパイプラインは、レンダリングプロセスの開始時に視聴者のETL眼鏡からの焦点情報を受け取り、基礎となるコンピューターがレンダリングしてからぼけるのではなく、焦点情報を使用してぼけ度を変更します。実装によっては、これによりさらに処理リソースを節約し、視聴者の焦点の注視が仮想要素を周遊するにつれて遅延を改善できます。

この技術は、平面、非平面（例：曲がったまたは複雑な幾何学、医療用X線画像を重ねるダミーなど）、動く表面などのさまざまな投影表面で機能することが報告されています。

医療教育環境用に設計された3D投影を使用したミックスリアリティマネキン、論文に引用。 Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

このような投影システムは、ダークな環境（例：博物館）が必要であり、ETLシステムは視聴者の利用可能な視野角を減らしますが、研究者は、ETL機器のアパーチャーサイズの増加により、この制限は時間の経過とともに緩和されるだろうと主張しています。著者はまた、システムが高速度プロジェクターを必要とすることを指摘していますが、実装にはオフザシェルフの商用プロジェクターを使用しました。

https://www.youtube.com/watch?v=I8DGTQnxm38

*インライン引用のハイパーリンクへの変換。