Robotisk system hämtar begraven föremål

Ett nytt robotiskt system som kallas FuseBot, utvecklat vid MIT, kombinerar visuell information och radiofrekvenssignaler för att hitta dolda föremål som är begravda under en hög med föremål. För att hitta ett förlorat föremål måste robotar använda komplex resonemang om högen och föremålen i den.

Forskarna demonstrerade tidigare en robotarm som kombinerar visuell information och radiofrekvenssignaler (RF) för att hitta dolda föremål som är märkta med RFID-taggar, som reflekterar signaler som skickas av en antenn. Men det nya systemet kan effektivt hämta vilket begraven föremål som helst, även om målföremålet inte är märkt. Det kräver bara att några föremål i högen har dessa RFID-taggar.

Algoritmer i FuseBot

Algoritmerna som utgör FuseBot kan resonera om den troliga platsen och orienteringen av föremål under högen. Det upptäcker sedan den mest effektiva vägen att ta bort hinderföremål och extrahera målföremålet. FuseBot kunde hitta dessa dolda föremål mer effektivt än ett annat state-of-the-art-robotiksystem, och det gjorde det på halva tiden.

Det nya systemet kan appliceras i områden som ett e-handelslager.

Forskningen involverade seniorförfattare Fadel Adib, associerad professor i avdelningen för elektroteknik och datavetenskap och chef för Signal Kinetics-gruppen i Media Lab.

“Detta papper visar, för första gången, att den blotta närvaron av ett RFID-märkt föremål i miljön gör det mycket lättare för dig att uppnå andra uppgifter på ett mer effektivt sätt. Vi kunde göra detta eftersom vi lade till multimodalt resonemang i systemet — FuseBot kan resonera om både syn och RF för att förstå en hög med föremål”, säger Adib.

Adib var ansluten till forskningsassistenter Tara Boroushaki, som är huvudförfattare; Laura Dodds; och Nazish Naeem.

FuseBot består av en robotarm med en bifogad videokamera och RF-antenn för att hämta ett omärkt målföremål från en blandad hög. Systemet skannar högen med kameran för att skapa en 3D-modell av miljön, och det skickar signaler från sin antenn för att lokalisera RFID-taggar samtidigt.

Radiovågorna kan passera genom de flesta solida ytor, vilket gör att roboten kan “se” in i högen. Eftersom föremål utöver målföremålet är märkta, vet FuseBot att målföremålet inte kan vara på exakt samma plats.

Informationen kombineras sedan av algoritmerna för att uppdatera 3D-modellen av miljön och markera potentiella platser för målföremålet, med roboten som redan känner till storleken och formen på det. Systemet resonera om föremålen i högen och RFID-taggar för att bestämma vilket föremål som ska flyttas, och det letar efter vägen med minst antal flytt.

För att övervinna utmaningen med att inte veta hur föremål är orienterade under högen, använder FuseBot probabilistiskt resonemang. Varje gång det tar bort ett föremål, använder det också resonemang för att bestämma vilket föremål som ska tas bort härnäst.

“Om jag ger en människa en hög med föremål att söka, kommer de troligen att ta bort det största föremålet först för att se vad som ligger under det. Vad roboten gör är liknande, men det använder också RFID-information för att fatta ett mer informerat beslut. Det frågar, ‘Hur mycket mer kommer det att förstå om denna hög om det tar bort detta föremål från ytan?'” Boroushaki säger.

Roboten skannar högen efter att ha tagit bort ett föremål och använder nya data för att optimera strategin.

Överträffar andra system

Genom att använda RF-signaler och resonemang, kunde FuseBot överträffa ett state-of-the-art-system som bara använder syn. Det extraherade målföremålet med en 95-procentig framgångsrate, jämfört med 84 procent för det andra systemet. Det gjorde det också med 40 procent färre flytt och kunde lokalisera och hämta föremål mer än dubbelt så snabbt.

“Vi ser en stor förbättring av framgångsrate genom att införa denna RF-information. Det var också spännande att se att vi kunde matcha prestationen av vårt tidigare system och överträffa det i scenarier där målföremålet inte hade en RFID-tagg”, säger Dodds.

Mjukvaran som ansvarar för att utföra det komplexa resonemanget kan implementeras på vilken dator som helst, vilket innebär att FuseBot kan användas i en mängd olika miljöer. Teamet kommer nu att undersöka möjligheten att införa mer komplexa modeller i systemet, samt undersöka olika manipulationer.