Robotisch systeem haalt begraven objecten op

Een nieuw robotisch systeem genaamd FuseBot, ontwikkeld aan het MIT, combineert visuele informatie en radiofrequentiesignalen om verborgen voorwerpen te vinden die onder een stapel objecten begraven liggen. Om een verloren voorwerp te vinden, moeten robots complexe redeneringen over de stapel en de objecten erin gebruiken.

De onderzoekers hebben eerder een robotarm gedemonstreerd die visuele informatie en radiofrequentiesignalen combineert om verborgen objecten te vinden die zijn voorzien van RFID-tags, die signalen reflecteren die worden verzonden door een antenne. Maar het nieuwe systeem kan elk begraven object efficiënt ophalen, zelfs als het doelvoorwerp niet is voorzien van een tag. Het vereist alleen dat sommige objecten in de stapel deze RFID-tags hebben.

Algoritmen in FuseBot

De algoritmen die FuseBot vormen, kunnen redeneren over de waarschijnlijke locatie en oriëntatie van objecten onder de stapel. Vervolgens ontdekt het de meest efficiënte manier om obstakels te verwijderen en het doelvoorwerp te extraheren. FuseBot kon deze verborgen voorwerpen efficiënter vinden dan een ander state-of-the-art robotsysteem en deed dit in de helft van de tijd.

Het nieuwe systeem kan worden toegepast in gebieden zoals een e-commerce magazijn.

Het onderzoek werd uitgevoerd door senior auteur Fadel Adib, associate professor in de afdeling Elektrotechniek en Informatica en directeur van de Signal Kinetics-groep in de Media Lab.

“Wat dit artikel aantoont, voor het eerst, is dat de enkele aanwezigheid van een RFID-gecodeerd voorwerp in de omgeving het veel gemakkelijker maakt om andere taken op een efficiëntere manier uit te voeren. We konden dit doen omdat we multimodale redenering aan het systeem toevoegden – FuseBot kan redeneren over zowel visie als RF om een stapel voorwerpen te begrijpen,” zegt Adib.

Adib werd vergezeld door onderzoeksassistenten Tara Boroushaki, die de eerste auteur is; Laura Dodds; en Nazish Naeem.

FuseBot bestaat uit een robotarm met een videocamera en RF-antenne om een niet-gecodeerd doelvoorwerp uit een gemengde stapel te halen. Het systeem scant de stapel met de camera om een 3D-model van de omgeving te maken en verzendt tegelijkertijd signalen van de antenne om RFID-tags te lokaliseren.

De radiogolven kunnen door de meeste vaste oppervlakken heen gaan, waardoor de robot “in” de stapel kan kijken. Aangezien andere voorwerpen dan het doelvoorwerp zijn voorzien van tags, weet FuseBot dat het doelvoorwerp niet op exact dezelfde plek kan zijn.

De informatie wordt vervolgens gefuseerd door de algoritmen om het 3D-model van de omgeving bij te werken en potentiële locaties van het doelvoorwerp te markeren, waarbij de robot al de grootte en vorm van het voorwerp kent. Het systeem redeneert over de voorwerpen in de stapel en RFID-tags om te bepalen welk voorwerp te verplaatsen en zoekt naar het pad met de minste bewegingen.

Om de uitdaging van het niet weten hoe de voorwerpen onder de stapel zijn georiënteerd, te overwinnen, gebruikt FuseBot probabilistische redenering. Elke keer dat het een voorwerp verwijdert, gebruikt het ook redenering om te bepalen welk voorwerp het volgende is dat het beste kan worden verwijderd.

“Als ik een mens een stapel voorwerpen geef om te zoeken, zal hij waarschijnlijk het grootste voorwerp eerst verwijderen om te zien wat eronder ligt. Wat de robot doet, is vergelijkbaar, maar het neemt ook RFID-informatie op om een meer geïnformeerde beslissing te nemen. Het vraagt zich af: ‘Hoeveel meer zal het over deze stapel begrijpen als het dit voorwerp van het oppervlak verwijdert?'” zegt Boroushaki.

De robot scant de stapel na het verwijderen van een voorwerp en gebruikt nieuwe gegevens om de strategie te optimaliseren.

Beter presteren dan andere systemen

Door het gebruik van RF-signalen en redenering kon FuseBot een state-of-the-art systeem dat alleen visie gebruikt, overtreffen. Het haalde het doelvoorwerp op met een succespercentage van 95%, vergeleken met 84% voor het andere systeem. Het deed dit ook met 40% minder bewegingen en kon voorwerpen meer dan twee keer zo snel lokaliseren en ophalen.

“We zien een grote verbetering in het succespercentage door het opnemen van deze RF-informatie. Het was ook spannend om te zien dat we de prestaties van ons vorige systeem konden evenaren en overtreffen in scenario’s waarin het doelvoorwerp geen RFID-tag had,” zegt Dodds.

De software die verantwoordelijk is voor het uitvoeren van de complexe redenering, kan op elke computer worden geïmplementeerd, wat betekent dat FuseBot kan worden gebruikt in een breed scala aan omgevingen. Het team zal nu proberen om complexere modellen in het systeem op te nemen, evenals verschillende manipulaties te onderzoeken.