本当のフォーカシングシステムを備えた「安価」な拡張現実

IEEE（電気電子技術者協会）からの研究者たちは、投影型の拡張現実インストールの真実性を高める方法を開発しました。特殊な眼鏡を使用して、投影された3Dイメージを、実物のように、焦点の入ったり外れたりするようにします。これは、投影システムの実用的使用のための重要な認識的障壁を克服するものです。

IEEEシステムは、部屋に重ねるための実在のCGI画像の深度平面を再現しています。この場合、3つのCGIスタンフォードバニーが3つの実世界のオブジェクトと同じ深度平面に重ねられており、そのぼけ度は、視聴者がどこを見てどこに焦点を当てているかによって制御されています。3Dプロジェクターは、固定された表面、動く表面、または複雑な幾何学的な形状に映像を投影できます。これは、HoloLensのようなARシステムの厳しい処理制限の下では再現するのが難しい、広範なカバレッジを提供します。出典：https://www.youtube.com/watch?v=I8DGTQnxm38

このシステムは、視聴者の眼鏡に組み込まれた電気的焦点調整レンズ（ETL）を使用し、投影システムと通信して、視聴者が見ている映像のぼけ度を自動的に変更します。

ETLレンズは、ユーザーの焦点の注意を報告し、投影された幾何学的な形状のぼけ度を平面ごとに設定します。このシステムの開発は、記事の最後に埋め込まれたビデオで説明されています。

この論文は、マルチフォーカルステレオプロジェクションマッピングと題されており、ユーザーが異なるオブジェクトに焦点を当てる方法と統合されていない分野に、新しいレベルの使いやすさを提供します。また、投影システムが直面している重要な問題である、vergence–accommodation conflict（VAC）- である、物体の認識距離とその論理的な焦点距離が一致しないという症候群を克服することを約束しています。

AR環境、たとえばMicrosoftのHoloLensでは、foveated renderingを使用して、処理能力を集中させ、詳細度と焦点を、デバイスを着用しているユーザーがどこを見てどこに焦点を当てているかによって決定します。しかし、HoloLensのようなウェアラブルARシステムには、3Dイメージを視聴者に提供するために、より高いオンボードハードウェア負荷があります。

投影型拡張現実の利点

一方、ETL対応の眼鏡は、焦点情報をリモートのCGパイプラインに追加の変数として送信し、投影されたイメージの焦点を、焦点情報がウェアラブルARデバイスで行うラウンドトリップよりも速く変更できます（例：焦点情報＞リモートプロセッサに送信＞レンダリング＞視聴者に送信）。これにより、ラテンシが改善され、ARシステムにおける視聴者の向き不良の潜在的な原因となります。

実際、foveated renderingは、ユーザーに真実の焦点体験を提供するためだけではなく、利用可能なリソースの制限を緩和するためにも使用されています。HoloLensスタイルのシステムでは、超positionイメージの広範な領域を実現することは困難であり、’letterbox rendering’と不安定なエッジは、一般的な苦情です。

SIGGRAPH 98から – オフィス環境における拡張現実のビジョン、新しい論文で引用されています。出典：https://www.youtube.com/watch?v=I8DGTQnxm38およびhttps://web.media.mit.edu/~raskar/UNC/Office/

この論文では、ステレオプロジェクションマッピング（PM）が、より現代的なAR実装よりも、いくつかの既知の利点を持っていることを観察しています。つまり、重くて激しいボディーウェア设备に依存するのではなく、最初に、視野角（FOV）は、環境全体をカバーするためにプロジェクターの数を増やすことで、可能な限り広くすることができます。2番目に、使用されるアクティブシャッターグラスは通常軽く、物理的な負担がHMDよりも少ないです。3番目に、複数のユーザーが、視点が互いに十分に近い場合、同じAR体験を共有できます。ありがとうこれらの利点、研究者たちはステレオPMが、博物館ガイド、建築計画、製品デザイン、医療トレーニング、形状変更インターフェイス、およびテレビ会議などの幅広いアプリケーションに適していることを発見しました。

IEEEの研究者たちは、新しい焦点入力システムが、多焦点平面を制御することで、VACを最初に解決したものであり、また、特化した投影機器を必要とせずに、汎用性と広範な適用性を持つ最初のシステムであると主張しています。

研究者たちが開発した焦点中心のレンダリングパイプラインは、レンダリングプロセスの開始時に、視聴者のETL眼鏡からの焦点情報を受け取り、基礎コンピュータがレンダリングしてからぼけるのではなく、焦点情報に基づいてぼけ度を変更します。実装によっては、これにより、さらに処理リソースを節約し、視聴者の焦点が仮想要素を周遊するにつれてラテンシを改善できます。

この技術は、平面、非平面（例：曲がったまたは複雑な幾何学的な形状、医療用X線画像を重ねるためのダミーなど）、および動く表面などのさまざまな投影表面でうまく機能します。

医療教育環境用に設計された、3D投影を使用した混合現実マネキン、論文で引用されています。出典：https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

このような投影システムは、暗い環境（例：博物館）を必要とし、ETLシステムは視聴者の利用可能な視野角を減らしますが、研究者たちは、ETL機器のアパーチャーサイズの増加により、この制限は時間の経過とともに緩和されるだろうと主張しています。ただし、著者たちはシステムが2つのストリームを分離するために十分なフレームを提供するために、高速度プロジェクターを必要とすることも指摘していますが、実装には、市販のプロジェクターを使用しています。

*インライン引用のハイパーリンクへの私の変換。