完全集成的机器人臂定位和检索丢失物品

麻省理工学院的研究人员开发了一款完全集成的机器人臂，融合了摄像头的视觉数据和天线的射频（RF）信息，以定位和检索丢失的物体。即使物体被埋藏或看不见，它也可以定位到它们。

该系统称为RFusion，原型机依赖于RFID标签，这些标签廉价、无电池，反射天线发出的信号。RF信号可以穿过大多数表面，因此RFusion即使物体被埋藏也可以定位到它。

机器人臂使用机器学习自动锁定物体的确切位置。然后，它可以移动物体上的物品，抓住物体，并验证它是否是正确的物体。摄像头、天线、机器人臂和AI完全集成，这意味着该系统可以在任何环境中运行，而无需进行大量设置。

根据研究人员的说法，RFusion可以用于诸如在仓库中整理物品以完成订单，或在汽车制造工厂中识别和安装部件等应用。

Fadel Adib是电气工程和计算机科学系的高级作者和副教授。Adib也是MIT医学实验室Signal Kinetics小组的主任。

“在混乱的世界中找到物体的想法是一个我们已经研究了几年的开放问题。能够搜索物体的机器人在今天的行业中越来越需要。现在，你可以把这看作是一种Roomba的升级版，但在近期内，这可能会在制造和仓库环境中有很多应用，”Adib说。

研究的其他共同作者包括研究助理Tara Boroushaki，首席作者；电气工程和计算机科学研究生Isaac Perper；研究助理Mergen Nachin；以及Alberto Rodriguez，机械工程系1957届副教授。

该研究将在下个月的嵌入式网络传感器系统协会会议上发表。

训练系统

研究人员使用强化学习来训练一个神经网络，以优化机器人到物体的轨迹。

“这也是我们大脑学习的方式。我们从老师、父母、计算机游戏等获得奖励。强化学习中也是如此。我们让代理做出错误或正确的行为，然后我们惩罚或奖励网络。这就是网络学习的方式，”Boroushaki解释道。

RFusion中的优化算法在限制移动次数和取物距离时获得奖励。

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

测试RFusion

研究人员在多个环境中测试了该系统，包括一个钥匙被埋在一个满是杂物的盒子里，一个遥控器被藏在沙发上的物品堆下。

他们采用了总结RF测量并限制视觉数据在机器人前面的区域的方法，以避免让系统感到不知所措。这导致了96%的成功率，当物体完全被埋藏在一堆物品下时。

“有时，如果你只依赖RF测量，可能会有异常值，如果你只依赖视觉，可能会有相机错误。但是如果你把它们结合起来，它们会相互纠正。这就是使系统如此强大的原因，”Boroushaki说。

Matthew S. Reynolds是华盛顿大学电气工程和计算机科学系的CoMotion Presidential Innovation Fellow和副教授。

“每年，数十亿个RFID标签被用于识别今天复杂供应链中的物体，包括服装和许多其他消费品。RFusion方法指出了自主机器人的方向，这些机器人可以使用RFID标签中的数据挖掘和分类混合物品，远比检查每个物品更有效，尤其是当物品对计算机视觉系统看起来相似时，”Reynolds说。“RFusion方法是机器人在复杂供应链中运行的伟大进步，在这些供应链中，快速准确地识别和‘拾取’正确的物品是按时完成订单和让挑剔的客户满意的关键。”

研究人员现在将努力提高系统的速度，使其平稳运行。