机器人系统从物品堆中检索埋藏物体

麻省理工学院开发的一种新型机器人系统，称为FuseBot，结合视觉信息和无线电频率信号来找到隐藏在物品堆中的物体。要找到丢失的物体，机器人必须使用关于物品堆和其中物体的复杂推理。

研究人员此前曾演示了一种机器人臂，结合视觉信息和无线电频率（RF）信号来找到带有RFID标签的隐藏物体，这些标签可以反射天线发送的信号。但是，新的系统可以高效地检索任何埋藏的物体，即使目标物体没有标签。它只需要物品堆中的一些物品具有这些RFID标签。

FuseBot中的算法

组成FuseBot的算法可以推理出物体在物品堆下的可能位置和方向。然后，它发现了移除阻碍物体和提取目标物体的最有效方法。FuseBot能够比另一款最先进的机器人系统更高效地找到这些隐藏的物体，并且只需一半的时间。

该系统可以应用于电子商务仓库等领域。

该 研究涉及高级作者Fadel Adib，他是电气工程和计算机科学系的副教授，也是媒体实验室Signal Kinetics小组的主任。

“这篇论文首次表明，环境中RFID标签的存在使得其他任务可以更高效地完成。我们能够做到这一点，因为我们将多模态推理添加到了系统中——FuseBot可以推理视觉和RF信号来理解物品堆，”Adib说。

Adib与研究助理Tara Boroushaki（也是首席作者）、Laura Dodds和Nazish Naeem一起工作。

FuseBot涉及一个带有视频摄像头和RF天线的机器人臂，以检索未标记的目标物体。该系统使用摄像头扫描物品堆以创建环境的3D模型，并同时从其天线发送信号来定位RFID标签。

无线电波可以穿过大多数固体表面，使机器人能够“看到”物品堆。由于其他物体（而不是目标物体）被标记，FuseBot知道目标物体不能位于同一位置。

然后，算法将这些信息融合在一起，以更新环境的3D模型并突出显示目标物体的潜在位置，机器人已经知道目标物体的大小和形状。该系统推理物体堆和RFID标签，以确定要移动哪个物体，并寻找最少移动的路径。

为了克服不知道物体在物品堆中的方向的挑战，FuseBot使用概率推理。每次它移除一个物体时，它也使用推理来确定下一个要移除的物体。

“如果我给一个人一堆物体让他们搜索，他们可能会先移除最大的物体来看看下面有什么。机器人做的事情类似，但它还融入了RFID信息来做出更明智的决定。它问：‘如果它从表面移除这个物体，它将对这个堆有多少更多的了解？’” Boroushaki说。

机器人在移除物体后扫描物品堆，并使用新数据来优化策略。

超越其他系统

通过使用RF信号和推理，FuseBot能够超越仅使用视觉的最先进系统。它以95%的成功率提取目标物体，而其他系统的成功率为84%。它还使用了40%较少的移动，并且能够更快地定位和检索物体。

“我们看到通过融入RF信息，成功率有了很大的提高。同时，我们也很高兴看到，我们能够匹配以前系统的性能，并在目标物体没有RFID标签的场景中超越它，”Dodds说。

负责执行复杂推理的软件可以在任何计算机上实现，这意味着FuseBot可以应用于广泛的场景。该团队现在将研究如何将更复杂的模型纳入系统，并探索不同的操作。