模拟眼动帮助训练元宇宙

杜克大学的计算机工程师开发了虚拟眼睛，可以模拟人类如何看世界。这些虚拟眼睛非常准确，可以用来训练虚拟现实和增强现实程序。它们将对开发者创造元宇宙应用程序非常有益。

结果将在5月4-6日的信息处理传感器网络国际会议（PSN）上宣布。

新的虚拟眼睛被称为EyeSyn。

训练算法像眼睛一样工作

玛丽亚·戈尔拉托娃是杜克大学电气和计算机工程系的诺特尔网络助理教授。

“如果你想通过看一个人眼睛来判断他们是否正在读漫画书或高级文学，你可以做到，”戈尔拉托娃说。

“但是训练这种算法需要数百个人戴着头戴式设备几个小时的数据，”戈尔拉托娃继续说。“我们想开发一种软件，不仅可以减少收集此类数据的隐私问题，还可以让没有那么多资源的小公司进入元宇宙游戏。”

人类的眼睛可以做很多事情，例如指示我们是否感到无聊或兴奋，集中注意力在哪里，或者我们是否是某项任务的专家。

“你的视觉优先顺序透露了很多关于你作为一个人的信息，”戈尔拉托娃说。“它可能会无意中透露性别和种族偏见，兴趣爱好，我们不想让别人知道的信息，以及我们可能不知道的关于自己的信息。”

眼动数据对于在元宇宙中构建平台和软件的公司来说非常有用。它可以使开发者根据参与度响应量身定制内容，或者在周围视野中降低分辨率，从而节省计算能力。

由前博士后研究员郭浩兰和现任博士生蒂姆·斯卡吉尔组成的计算机科学家团队，旨在开发虚拟眼睛来模拟平均人类对各种刺激声音的反应。为此，他们研究了认知科学文献，探索人类如何看世界和处理虚拟信息。

兰现在是荷兰代尔夫特理工大学的助理教授。

“如果你给EyeSyn很多不同的输入并运行它足够多次，你将创建一个合成眼动数据集，足以训练一个新的程序（机器学习）分类器，”戈尔拉托娃说。

测试系统

研究人员使用公开可用的数据测试了合成眼睛的准确性。眼睛首先被用来分析安东尼·福奇博士在新闻发布会上向媒体发表讲话的视频。然后，该团队将其与实际观众的眼动数据进行比较。他们还将合成眼睛观察艺术的虚拟数据集与实际数据集进行比较，后者是从人们通过虚拟艺术博物馆观察艺术作品时收集的。结果表明，EyeSyn可以密切匹配实际凝视信号的独特模式，并模拟人们的眼睛以不同方式做出反应。

戈尔拉托娃说，这些结果表明，虚拟眼睛足够好，可以让公司用来作为训练新元宇宙平台和软件的基线。

“合成数据本身并不完美，但它是一个好的起点，”戈尔拉托娃说。“小公司可以使用它，而不是花费时间和金钱来建立自己的真实世界数据集（使用人类对象）。而且，由于算法的个性化可以在本地系统上完成，人们不必担心他们的私人眼动数据成为大型数据库的一部分。”