Roboter-System Retrieves Vergrabene Objekte

Ein neues Roboter-System namens FuseBot, das am MIT entwickelt wurde, kombiniert visuelle Informationen und Radiowellen-Signale, um versteckte Gegenstände in einem Haufen von Objekten zu finden. Um einen verlorenen Gegenstand zu finden, müssen Roboter komplexe Überlegungen über den Haufen und die Gegenstände darin anstellen.

Die Forscher haben zuvor einen Roboter-Arm demonstriert, der visuelle Informationen und Radiowellen-Signale kombiniert, um versteckte Gegenstände mit RFID-Tags zu finden, die Signale von einer Antenne reflektieren. Aber das neue System kann jeden vergrabenen Gegenstand effizient wiederherstellen, auch wenn das Ziel-Objekt nicht markiert ist. Es benötigt nur, dass einige Gegenstände im Haufen diese RFID-Tags haben.

Algorithmen in FuseBot

Die Algorithmen, die FuseBot ausmachen, können über die wahrscheinliche Position und Ausrichtung von Gegenständen unter dem Haufen nachdenken. Es entdeckt dann den effizientesten Weg, um hindernde Gegenstände zu entfernen und das Ziel-Objekt zu extrahieren. FuseBot konnte diese versteckten Gegenstände effizienter finden als ein anderes state-of-the-art-Roboter-System und es tat dies in der Hälfte der Zeit.

Das neue System könnte in Bereichen wie einem E-Commerce-Lager angewendet werden.

Die Forschung umfasste den Senior-Autor Fadel Adib, assoziierten Professor im Department of Electrical Engineering and Computer Science und Direktor der Signal Kinetics-Gruppe im Media Lab.

“Was diese Arbeit zeigt, zum ersten Mal, ist, dass die bloße Anwesenheit eines RFID-markierten Gegenstandes in der Umgebung es viel einfacher macht, andere Aufgaben auf eine effizientere Weise zu erledigen. Wir konnten dies tun, weil wir multimodales Denken in das System einführten – FuseBot kann über visuelle und RF-Informationen nachdenken, um einen Haufen von Gegenständen zu verstehen”, sagt Adib.

Adib wurde von Forschungsassistenten Tara Boroushaki, die Lead-Autorin ist; Laura Dodds; und Nazish Naeem begleitet.

FuseBot umfasst einen Roboter-Arm mit einer angeschlossenen Videokamera und einer RF-Antenne, um ein unmarkiertes Ziel-Objekt aus einem gemischten Haufen zu extrahieren. Das System scannet den Haufen mit der Kamera, um ein 3D-Modell der Umgebung zu erstellen, und es sendet Signale von seiner Antenne, um RFID-Tags gleichzeitig zu lokalisieren.

Die Radiowellen können durch die meisten festen Oberflächen passieren, sodass der Roboter “in den Haufen hineinsehen” kann. Da Gegenstände andere als das Ziel-Objekt markiert sind, weiß FuseBot, dass das Ziel-Objekt nicht am gleichen exakten Ort sein kann.

Die Informationen werden dann von den Algorithmen zusammengeführt, um das 3D-Modell der Umgebung zu aktualisieren und mögliche Positionen des Ziel-Objekts hervorzuheben, wobei der Roboter bereits die Größe und Form des Objekts kennt. Das System denkt über die Gegenstände im Haufen und die RFID-Tags nach, um zu bestimmen, welcher Gegenstand zuerst entfernt werden soll, und es sucht nach dem Weg mit den wenigsten Bewegungen.

Um die Herausforderung zu überwinden, dass die Ausrichtung der Gegenstände unter dem Haufen nicht bekannt ist, verwendet FuseBot probabilistisches Denken. Jedes Mal, wenn es einen Gegenstand entfernt, verwendet es auch Denken, um zu entscheiden, welcher Gegenstand als nächstes entfernt werden soll.

“Wenn ich einem Menschen einen Haufen von Gegenständen gebe, um zu suchen, wird er wahrscheinlich den größten Gegenstand zuerst entfernen, um zu sehen, was darunter ist. Was der Roboter tut, ist ähnlich, aber er integriert auch RFID-Informationen, um eine fundiertere Entscheidung zu treffen. Er fragt sich: ‘Wie viel mehr wird es über diesen Haufen verstehen, wenn es diesen Gegenstand von der Oberfläche entfernt?'” Boroushaki sagt.

Der Roboter scannet den Haufen nach dem Entfernen eines Gegenstandes und verwendet neue Daten, um die Strategie zu optimieren.

Andere Systeme überbietend

Durch die Verwendung von RF-Signalen und Denken konnte FuseBot ein state-of-the-art-System überbieten, das nur visuelle Informationen verwendet. Es extrahierte das Ziel-Objekt mit einer Erfolgsrate von 95 Prozent, im Vergleich zu 84 Prozent für das andere System. Es tat dies auch mit 40 Prozent weniger Bewegungen und konnte Gegenstände mehr als doppelt so schnell lokalisieren und extrahieren.

“Wir sehen eine große Verbesserung der Erfolgsrate durch die Integration dieser RF-Informationen. Es war auch aufregend zu sehen, dass wir die Leistung unseres vorherigen Systems erreichen und übertreffen konnten, insbesondere in Szenarien, in denen das Ziel-Objekt kein RFID-Tag hatte”, sagt Dodds.

Die Software, die für die Durchführung der komplexen Überlegungen verantwortlich ist, kann auf jedem Computer implementiert werden, was bedeutet, dass FuseBot in einer Vielzahl von Umgebungen eingesetzt werden kann. Das Team wird nun daran arbeiten, komplexere Modelle in das System zu integrieren und verschiedene Manipulationen zu erforschen.