メタバースのトレーニングにシミュレートされたアイムーブメントを利用する

デューク大学のコンピューター工学者は、人間が世界を見るようにシミュレートできる仮想の目を作成しました。仮想の目は、仮想現実と拡張現実プログラムをトレーニングするために使用できるほど正確です。メタバースでアプリケーションを作成しようとしている開発者にとって、非常に有益であることが証明されます。

結果は、5月4日から6日までに、センサーネットワークの情報処理に関する国際会議（PSN）で発表される予定です。

新しい仮想の目は、EyeSynと呼ばれています。

アルゴリズムを目のように動作させるためのトレーニング

マリア・ゴルラトヴァは、デューク大学のノーテルネットワークス電気電子工学助教授です。

「コミックブックや高度な文学を読んでいるかどうかを、目だけを見て判断することができます」とゴルラトヴァは述べました。

「しかし、そのようなアルゴリズムをトレーニングするには、数百人の人が数時間にわたってヘッドセットを着用する必要があります」とゴルラトヴァは続けました。「私たちは、プライバシーに関する懸念を軽減し、メタバースのゲームに参加するためのリソースが不足している小規模企業にも利用できるソフトウェアを開発したいと考えました」

人間の目は、退屈しているか、興奮しているか、集中しているか、あるタスクの専門家かどうかを示すことができます。

「あなたが視線を優先する場所は、あなた自身について多くを語っています」とゴルラトヴァは述べました。「それには、他の人に知られたくない興味や、自分自身でも気づいていない情報、性別や人種に関する偏見などが含まれることがあります」

アイムーブメントのデータは、メタバースのプラットフォームやソフトウェアを構築する企業にとって非常に有用です。開発者は、エンゲージメントの反応に応じてコンテンツをカスタマイズしたり、周辺視野の解像度を低減して計算リソースを節約したりすることができます。

コンピューターサイエンティストのチームは、元ポスドク研究員のGuohao Lanや現在の博士課程学生のTim Scargillを含んでおり、人間が世界を見るようにシミュレートできる仮想の目を作成するために、認知科学の文献を調査しました。

ランは現在、オランダのデルフト工科大学の助教授です。

「EyeSynに多くの異なる入力を行い、十分に実行すると、シンセティックなアイムーブメントのデータセットが生成され、機械学習のクラシファイアをトレーニングすることができます」とゴルラトヴァは述べました。

システムのテスト

研究者は、EyeSynの精度を、公開されているデータでテストしました。仮想の目は、プレスカンファレンスでのアンソニー・ファウチ博士のビデオを分析するために使用されました。チームは、実際の視聴者のアイムーブメントのデータと比較しました。さらに、仮想のアイムーブメントのデータセットを、実際のデータセットと比較しました。結果は、EyeSynが実際の視線信号のパターンを近似し、人間の目の反応をシミュレートできることを示しています。

ゴルラトヴァは、これらの結果が、EyeSynがメタバースのプラットフォームやソフトウェアをトレーニングするための基準として使用できることを示唆していることを示しています。

「シンセティックなデータだけでは完璧ではありませんが、良い出発点です」とゴルラトヴァは述べました。「小規模企業は、自社の実世界のデータセットを構築するための時間とリソースを費やすのではなく、それを使用できます。また、アルゴリズムのパーソナライゼーションは、ローカルシステムで実行できるため、ユーザーのプライベートなアイムーブメントのデータが大きなデータベースの一部になる心配はありません」