AI 系统可以准确识别手势

由新加坡南洋理工大学（NTU Singapore）科学家开发的一种新型人工智能（AI）系统，可以识别手势。该技术通过将类似皮肤的电子设备与计算机视觉相结合来工作。

开发用于识别人类手势的AI系统已经进行了大约10年，并且目前被用于外科手术机器人、健康监测设备和游戏系统中。

最初的AI手势识别系统仅依靠视觉，而将可穿戴传感器的输入集成到系统中以提高其准确性。这被称为“数据融合”。其中一种感知能力称为“躯体感覚”，可穿戴传感器可以复制这种感知能力。

由于可穿戴传感器的数据质量较低，手势识别的精度仍然难以实现。这是由于传感器的体积大、与用户的接触不良，以及视觉阻塞和照明不良的影响所致。

视觉数据和感官数据的集成也带来了挑战，因为不匹配的数据集需要分别处理，最后再合并。这一过程效率低下，导致响应时间变慢。

NTU团队提出了一些方法来克服这些挑战，包括创建一个“生物启发”的数据融合系统，该系统依赖于由单壁碳纳米管制成的可伸缩应变传感器。该团队还依赖于AI来模拟皮肤和视觉在大脑中如何共同处理信息。

将三种神经网络方法结合到一个系统中，以开发该AI系统。三种神经网络类型分别是：卷积神经网络、稀疏神经网络和多层神经网络。

通过将这三种方法结合起来，团队能够开发出一个比其他方法更准确地识别人类手势的系统。

陈晓东教授是该研究的首席作者，他来自NTU的材料科学与工程学院。

“我们的数据融合架构具有其独特的生物启发特征，包括一个类似于大脑中躯体感覚-视觉融合等级的系统。我们相信，这些特征使我们的架构与现有的方法有所不同。”

陈晓东也是NTU的柔性设备创新中心（iFLEX）的主任。

“与那些不能与用户紧密接触以收集准确数据的刚性可穿戴传感器相比，我们的创新使用可伸缩的应变传感器，可以舒适地贴在人体皮肤上。这使得高质量的信号采集成为可能，这对于高精度的识别任务至关重要，”陈晓东说。

由NTU Singapore和悉尼科技大学（UTS）科学家组成的研究团队的发现于6月在科学期刊Nature Electronics上发表。

测试系统

该团队使用一个通过手势控制的机器人来测试生物启发的AI系统。机器人被引导通过一个迷宫，结果表明AI手势识别系统能够无误地引导机器人通过迷宫。这与仅基于视觉的识别系统相比，后者在同一个迷宫中犯了六个错误。

在嘈杂和照明条件不佳的情况下进行测试，AI系统仍然保持了高精度。识别准确率达到96.7%以上。

NTU Singapore材料科学与工程学院的王明博士是该研究的第一作者。

“我们架构中的高准确性秘密在于视觉和躯体感覚信息可以在进行复杂解释之前相互交互和补充，”王明说。“因此，系统可以合理地收集一致的信息，减少冗余数据和感知模糊性，从而提高准确性。”

根据德国Max Planck胶体与界面研究所所长马库斯·安东尼蒂（Markus Antonietti）的独立观点，“本文的发现使我们更接近于一个更智能、更有机器支持的世界。就像智能手机的发明改变了社会一样，这项工作让我们有望能够通过手势来可靠、精确地控制周围的世界。”

“对于这样的技术来说，市场上有无数的应用。例如，从智能工作场所的远程机器人控制到老年人的外骨骼。”

研究团队现在将在生物启发的AI系统的基础上开发一个VR和AR系统。