研究者がスマートフォンでAIを用いたリアルタイム3Dホログラムを生成

スマートフォンは、MITの研究者によって開発されたAIモデルのおかげで、すぐにフォトリアルな3Dホログラムを生成できるようになるかもしれない。MITチームによって開発されたAIシステムは、入力画像からホログラムを生成するための最適な方法を決定する。

MITの研究者は最近、フォトリアルな3Dホログラムを生成できるAIモデルを設計した。 この技術は、VRとARヘッドセットに応用できる可能性があり、ホログラムはスマートフォンによって生成できる。

従来の3DとVRディスプレイとは異なり、ホログラフィックディスプレイは、眼精疲労を引き起こすことなく、人々によって見ることができる。 ホログラフィックメディアの作成における大きな障害は、実際にホログラムを生成するために必要なデータを処理することである。 すべてのホログラムは、ホログラムの「深さ」を作成するために大量のデータで構成されている。 これにより、ホログラムの生成には大量の計算能力が必要になる。 MITチームは、深層畳み込みニューラルネットワークをこの問題に適用し、入力画像に基づいてホログラムを迅速に生成できるネットワークを作成した。

ホログラムを生成するための従来のアプローチは、ホログラムのチャンクを生成し、物理シミュレーションを使用してチャンクを結合してオブジェクトまたは画像の完全な表現を生成するものである。 これは、ホログラムを生成するための従来のアプローチと異なる。 従来の方法では、画像をスライスに分割し、ルックアップテーブルを使用してホログラムのチャンクを結合する。 ルックアップテーブルは、ホログラムのチャンクの境界を示す。 ホログラムのチャンクの境界をルックアップテーブルで定義するプロセスは、時間がかかり、処理能力が必要である。

IEEE Spectrumによると、MITチームは、ホログラムを生成するための別の方法を設計した。 深層学習ネットワークの力を利用して、画像をチャンクに分割し、チャンクをホログラムに再構成できる。 この新しい方法は、畳み込みニューラルネットワークが画像を分析し、画像を離散的なチャンクに分割する能力を利用する。 この新しい画像分析とチャンク化の方法は、システムが実行する必要がある操作の総数を大幅に削減する。

AIを用いたホログラフィックジェネレータを設計するために、研究チームは約4000のコンピューターゲネレートされた画像で構成されるデータベースを構築し始めた。 これらの画像のそれぞれに、対応する3Dホログラムが割り当てられた。 畳み込みニューラルネットワークは、このデータセットでトレーニングされ、画像とホログラムの関係を学び、ホログラムを生成するための最適な方法を学んだ。 システムが未知のデータと深さ情報を提供されると、新しいホログラムをデータから生成できる。 深さ情報は、LiDARセンサーまたはマルチカメラディスプレイを使用して提供され、コンピューターゲネレートされた画像としてレンダリングされる。 一部の新しいiPhoneには、これらのコンポーネントが含まれているため、正しい種類のディスプレイに接続すると、ホログラムを生成できる可能性がある。

新しいAI駆動のホログラムシステムは、従来の方法よりもはるかに少ないメモリが必要である。 システムは、約620キロバイトのメモリを使用して、1秒あたり60フレームのフルカラーで1920 x 1080の解像度の3Dホログラムを生成できる。 研究者は、iPhone 11でシステムを実行し、約1秒あたり1つのホログラムを生成することができた。 Google (GOOGL ) Edge TPUを使用すると、システムは1秒あたり2つのホログラムをレンダリングできる。 これは、システムがスマートフォン、ARデバイス、VRデバイスに適応できることを示唆している。 システムは、ボリュメトリック3Dプリンティングまたはホログラフィック顕微鏡の設計にも応用できる。

将来的には、技術の改善により、アイトラッキングハードウェアとソフトウェアが導入され、ユーザーが特定の場所を見ているときに、ホログラムが解像度を動的にスケーリングできるようになる。