研究者が開発したAIパワーのリアルタイム3Dホログラムをスマートフォンで生成

スマートフォンは、MITの研究者によって開発されたAIモデルのおかげで、写真のようにリアルな3Dホログラムを生成できるようになるかもしれない。MITチームによって開発されたAIシステムは、入力画像のシリーズからホログラムを生成するための最良の方法を決定する。

MITの研究者は最近、写真のようにリアルな3Dホログラムを生成できるAIモデルを設計した。この技術は、VRとARヘッドセットに応用できる可能性があり、ホログラムは дажеスマートフォンによって生成できる。

伝統的な3DとVRディスプレイは、深さのイリュージョンを生み出すだけであり、目に負担を与え、頭痛を引き起こすことがある。一方、ホログラフィックディスプレイは、目に負担を与えずに人々によって見ることができる。ホログラフィックメディアの生成における大きな障害は、実際にホログラムを生成するために必要なデータの処理である。すべてのホログラムは、ホログラムの「深さ」を生み出すために大量のデータで構成されているため、ホログラムを生成するには大量の計算能力が必要である。ホログラフィック技術をより実用的にするために、MITチームは深層畳み込みニューラルネットワークをこの問題に適用し、入力画像に基づいてホログラムを迅速に生成できるネットワークを作成した。

ホログラムを生成するための従来のアプローチは、ホログラムの多くのチャンクを生成し、物理シミュレーションを使用してチャンクをオブジェクトまたは画像の完全な表現に結合するものである。これは、ホログラムを生成するための従来のアプローチと異なる。伝統的な方法では、画像をスライスに分割し、ルックアップテーブルを使用してホログラムのチャンクを結合する。ルックアップテーブルは、ホログラムのチャンクの境界を示す。ホログラフィックチャンクの境界をルックアップテーブルで定義するプロセスは、時間がかかり、処理能力を大量に消費する。

IEEE Spectrumによると、MITチームはホログラムを生成するための別の方法を設計した。深層学習ネットワークの力を利用して、画像をスライスに分割し、ホログラムに再コンパイルできるチャンクを生成できる。新しいテクニックは、畳み込みニューラルネットワークが画像を分析し、画像を離散的なチャンクに分割する能力を利用する。画像を分析し、チャンクに分割するこの新しい方法は、システムが実行する必要がある操作の総数を大幅に削減する。

AIパワーのホログラフィックジェネレーターを設計するために、研究チームは、約4000のコンピューター生成画像で構成されるデータベースを構築し、それぞれの画像に対応する3Dホログラムを割り当てた。畳み込みニューラルネットワークは、このデータセットでトレーニングされ、各画像がそのホログラムにどのように結びついているか、ホログラムを生成するための最良の方法を学習した。AIシステムが未見のデータと深さ情報を提供されると、新しいホログラムをそのデータから生成できる。深さ情報は、LiDARセンサーまたはマルチカメラディスプレイを使用して提供され、コンピューター生成画像としてレンダリングされる。新しいiPhoneにはこれらのコンポーネントが含まれているため、適切なディスプレイに接続するとホログラムを生成できる可能性がある。

新しいAI駆動のホログラムシステムは、従来の方法よりもはるかに少ないメモリを必要とする。システムは、約620キロバイトのメモリを使用して、1秒あたり60フレームのフルカラーで1920 x 1080の解像度の3Dホログラムを生成できる。研究者は、iPhone 11でシステムを実行し、約1秒あたり1つのホログラムを生成できた。Google Edge TPUでは、システムは1秒あたり2つのホログラムをレンダリングできた。これは、システムがスマートフォン、ARデバイス、VRデバイスに適応できることを示唆している。システムは、ボリュメトリック3Dプリンティングまたはホログラフィック顕微鏡の設計にも応用できる。

将来的には、技術の改善により、アイトラッキングハードウェアとソフトウェアが導入され、ユーザーが特定の場所を見ているときにホログラムが動的に解像度をスケールできるようになる。