人工智能系统能够准确识别手势

新加坡南洋理工大学（NTU Singapore）的科学家开发了一种新的人工智能（AI）系统，能够识别手势。该技术通过将类似皮肤的电子设备与计算机视觉相结合来实现。

开发能够识别人类手势的AI系统已经进行了大约10年，并且目前被用于外科手术机器人、健康监测设备和游戏系统中。

最初的AI手势识别系统仅依靠视觉输入，而后来通过集成可穿戴传感器来改进它们。这被称为“数据融合”。其中一种感知能力称为“躯体感觉”，可穿戴传感器可以重现它。

手势识别的精度仍然难以实现，这是因为来自可穿戴传感器的数据质量较低。这是由于传感器的体积大、与用户的接触不良，以及被视觉阻塞的物体和光线条件不佳等原因造成的。

视觉和感官数据的集成带来了更多挑战，因为不匹配的数据集需要分别处理并最终合并。这一过程效率低下，导致响应时间变慢。

NTU团队想出了几种方法来克服这些挑战，包括创建一个“生物启发”的数据融合系统，依赖于由单壁碳纳米管制成的可拉伸的应变传感器。该团队还依靠AI来表示皮肤和视觉在大脑中如何共同处理信息。

为了开发AI系统，结合了三种神经网络方法：卷积神经网络、稀疏神经网络和多层神经网络。

通过将这三种方法结合起来，团队能够开发出一种比其他方法更准确地识别人类手势的系统。

陈晓东教授是该研究的首席作者，他来自NTU的材料科学与工程学院。

“我们的数据融合架构具有其自身独特的生物启发特征，包括一个类似于大脑中躯体感觉-视觉融合等级的系统。我们相信，这些特征使我们的架构与现有的方法不同。”

陈晓东也是NTU的柔性设备创新中心（iFLEX）的主任。

“与不够亲密地接触用户以收集准确数据的刚性可穿戴传感器相比，我们的创新使用可拉伸的应变传感器，舒适地附着在人体皮肤上。这使得高质量的信号采集成为可能，这对于高精度的识别任务至关重要，”陈晓东说。

NTU Singapore和悉尼科技大学（UTS）科学家的研究结果于六月在科学期刊Nature Electronics上发表。

测试系统

该团队使用一个通过手势控制的机器人来测试生物启发的AI系统。机器人被引导通过一个迷宫，结果表明AI手势识别系统能够准确地引导机器人通过迷宫，而视觉识别系统则犯了六个错误。

在嘈杂和光线条件不佳的情况下进行测试，AI系统仍然保持了高精度，识别准确率达到96.7%以上。

王明博士是NTU Singapore材料科学与工程学院的研究员，也是该研究的第一作者。

“我们架构中的秘密在于视觉和躯体感觉信息可以在早期相互补充，然后进行复杂的解释，”王明说。“因此，系统可以合理地收集一致的信息，减少冗余数据和感知模糊性，从而提高准确率。”

根据德国马克斯·普朗克胶体和界面研究所所长马库斯·安东尼蒂教授的独立观点，“这篇论文的发现使我们更接近一个更智能、更有支持的世界。就像智能手机的发明改变了社会一样，这项工作让我们希望有一天我们可以通过手势来控制周围的世界，具有很高的可靠性和精度。”

“这种技术在市场上有无数的应用，例如从远程机器人控制到智能工作场所，甚至老年人的外骨骼。”

研究团队现在将致力于开发一个基于生物启发AI系统的虚拟现实（VR）和增强现实（AR）系统。