Iain Wallace 是 Ultraleap 的机器学习和跟踪研究总监，Ultraleap 是计算机视觉和机器学习的全球领先者。他是一位对应用焦点人工智能系统研究和开发着迷的计算机科学家。在 Ultraleap，Iain 率领他的手部跟踪研究团队，以实现 AR、VR、MR、出户和其他任何与数字世界交互的地方的新交互方式。他在约克大学获得了计算机系统和软件工程的 MEng 学位，并在爱丁堡大学获得了信息学（人工智能）博士学位。
对于我们许多在人工智能领域进行创新的人来说，我们正在未知领域工作。考虑到人工智能公司如何迅速开发新技术，人们可能会认为幕后付出的艰苦努力是理所当然的。但是在像XR这样的领域中，任务是模糊现实和数字世界之间的界限——目前没有太多的历史数据或研究可以依靠；因此，我们需要跳出思维定式。虽然依赖传统的机器学习智慧和成熟的实践最为方便，但在新兴领域中，这通常是不可能的（或不是完整的解决方案）。为了解决以前从未解决过的问题，需要以新的方式来解决它们。这是一个挑战，迫使你记住为什么你最初进入工程、数据科学或产品开发领域：对发现的热情。我每天在Ultraleap的工作中都体验到这一点，我们开发的软件可以在混合现实环境中跟踪和响应人类手的运动。在我们的工作中，关于训练机器学习模型的很多已知知识都被颠覆了，因为人类的手——以及它遇到的物体和环境——是极其不可预测的。以下是我和我的团队采取的几种方法，重新想象实验和数据科学，以将直观的交互带到数字世界，使其准确且感觉像在现实世界中一样自然。在界限内创新在一个新兴领域进行创新时，你经常面临着看似相互矛盾的约束。我的团队的任务是捕捉手和手指运动的细微差别，以及手和手指与周围世界的交互。所有这些都被打包成手跟踪模型，这些模型仍然适用于XR硬件的受限计算。这意味着我们的模型——虽然复杂和先进——必须占用远远少于大型LLM的存储空间，并消耗远远少于大型LLM的能量（大约是1/100,000）。这给我们带来了一个令人兴奋的挑战，需要无情的实验和评估我们的模型在其实际应用中的表现。但无数的测试和实验是值得的：创建一个强大的模型，它仍然可以在低推理成本、低功耗和低延迟下交付，这是一个可以应用于边缘计算甚至超出XR空间的奇迹。我们在实验中遇到的约束也将影响其他行业。一些企业将由于应用领域的细微差别而面临独特的挑战，而其他企业可能由于处于大型科技玩家尚未涉足的利基市场而拥有有限的数据。虽然一刀切的解决方案可能适用于某些任务，但许多应用领域需要解决特定于其任务的真实、具有挑战性的问题。例如，汽车装配线实施ML模型进行缺陷检查。这些模型必须处理非常高分辨率的图像，以便在汽车的大表面区域识别小缺陷。在这种情况下，应用程序需要高性能，但要解决的问题是如何实现低帧率但高分辨率的模型。评估模型架构以推动创新一个好的数据集是任何成功的AI突破的驱动力。但是什么使得一个数据集对于特定的目标来说是“好的”呢？当你正在解决以前从未解决过的问题时，你如何才能相信现有的数据将是相关的？我们不能假设适用于某些ML任务的指标可以转化为另一个特定业务任务的性能。这里我们被要求违背常见的ML“真理”，而是积极探索如何标记、清理和应用模拟和真实世界的数据。由于我们领域的性质，评估和手动质量保证是具有挑战性的——这是由人工完成的。我们不仅仅看数据的质量指标。我们迭代数据集和数据源，并根据它们在现实世界中产生的模型的质量来评估它们。当我们重新评估如何对数据进行评分和分类时，我们经常发现我们可能以前忽略的数据集或趋势。现在，凭借这些数据集和无数次实验，表明哪些数据不应依赖，我们已经解锁了以前缺失的新途径。Ultraleap的最新手跟踪平台Hyperion就是一个很好的例子。数据集的进步帮助我们开发了更先进的手跟踪技术，可以准确跟踪微手势以及手部运动，即使用户正在持有物体。 向后迈出一小步，向前迈出一大步虽然创新步伐似乎永不停歇，但我们可以停下来。我们从事实验、学习、开发，当我们花时间这样做时，我们经常会创造出比按照惯例和急于发布下一个技术创新更有价值的东西。没有替代品可以取代当我们探索数据注释、质疑数据源和重新定义质量指标本身时发生的突破。我们唯一可以做到这一点的方法是通过在实际应用领域中实验和评估模型的性能。相反，将不寻常的要求和约束视为限制，我们可以将这些挑战转化为创新和最终的竞争优势的机会。
