Fullt integrerad robotarm lokaliserar och hämtar förlorade föremål

Forskare vid Massachusetts Institute of Technology har utvecklat en fullt integrerad robotarm som kombinerar visuell data från en kamera och radiofrekvensinformation (RF) från en antenn för att lokalisera och hämta förlorade föremål. Den kan lokalisera föremål även om de är begravda eller utom synhåll.

Systemet kallas RFusion, och prototypen använder RFID-taggar, som är billiga, batterilösa taggar som reflekterar signaler som sänds av en antenn. RF-signalerna kan färdas genom de flesta ytor, så RFusion kan lokalisera ett märkt föremål även om det är begravt.

Robotarmen använder maskinlärning för att automatiskt lokalisera föremålets exakta position. Den kan sedan flytta föremålen ovanpå det, gripa föremålet och verifiera att det är rätt föremål. Kameran, antennen, robotarmen och AI är fullt integrerade, vilket innebär att systemet kan fungera i alla miljöer utan att kräva omfattande inställningar.

Enligt forskarna kan RFusion användas för tillämpningar som att sortera genom högar för att uppfylla beställningar i ett lager eller för att identifiera och installera komponenter i en bilfabrik.

Fadel Adib är senior författare och biträdande professor i avdelningen för elektroteknik och datavetenskap. Adib är också chef för Signal Kinetics-gruppen i MIT Medical Lab.

“Idén att kunna hitta föremål i en kaotisk värld är ett öppet problem som vi har arbetat med under flera år. Att ha robotar som kan söka efter saker under en hög är ett växande behov i industrin idag. Just nu kan man tänka sig detta som en Roomba på steroider, men på kort sikt kan detta ha många tillämpningar i tillverknings- och lagermiljöer”, säger Adib.

Andra medförfattare till forskningen inkluderar forskningsassistenten Tara Boroushaki, den ledande författaren, elektroteknik- och datavetenskapsstudenten Isaac Perper, forskningsmedarbetaren Mergen Nachin och Alberto Rodriguez, professor i avdelningen för maskinteknik.

Forskningen kommer att presenteras på Association for Computing Machinery Conference on Embedded Networked Sensor Systems nästa månad.

Träning av systemet

Forskarna använde förstärkt lärande för att träna ett neuronnät som kan optimera robotens bana till ett föremål.

“Detta är också hur vår hjärna lär sig. Vi får belöningar från våra lärare, från våra föräldrar, från ett dataspel etc. Samma sak händer i förstärkt lärande. Vi låter agenten göra misstag eller göra något rätt och sedan straffar eller belönar vi nätverket. Detta är hur nätverket lär sig något som är mycket svårt för det att modellera”, förklarar Boroushaki.

Optimeringsalgoritmen i RFusion belönades när den begränsade antalet rörelser för att lokalisera föremålet och avståndet som reste för att hämta det.

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

Testning av RFusion

Forskarna testade systemet i flera miljöer, inklusive en där en nyckelkedja var begravd i en låda full av skräp och en fjärrkontroll som var gömd under en hög med föremål på en soffa.

De tog tillvägagångssättet att sammanfatta RF-mätningarna och begränsa den visuella datan till området rakt framför roboten för att inte överväldiga systemet. Detta resulterade i en 96-procentig framgångsrate när det gäller att hämta föremål som var fullständigt dolda under en hög.

“Ibland, om du bara förlitar dig på RF-mätningar, kommer det att finnas en utbrytare, och om du bara förlitar dig på syn, kommer det att finnas ett misstag från kameran. Men om du kombinerar dem, kommer de att korrigera varandra. Det är vad som gjorde systemet så robust”, säger Boroushaki.

Matthew S. Reynolds är CoMotion Presidential Innovation Fellow och biträdande professor i elektroteknik och datavetenskap vid University of Washington.

“Varje år används miljarder RFID-taggar för att identifiera föremål i dagens komplexa leverantörskedjor, inklusive kläder och många andra konsumentvaror. RFusion-ansatsen pekar vägen mot autonoma robotar som kan gräva genom en hög med blandade föremål och sortera dem med hjälp av data som lagras i RFID-taggar, mycket mer effektivt än att inspektera varje föremål individuellt, särskilt när föremålen ser likadana ut för ett datorsynsystem”, säger Reynolds. “RFusion-ansatsen är ett stort steg framåt för robotik som fungerar i komplexa leverantörskedjor där identifiering och ‘plockning’ av rätt föremål snabbt och korrekt är nyckeln till att få beställningar uppfyllda i tid och hålla krävande kunder nöjda.”

Forskarna kommer nu att försöka öka systemets hastighet för att göra det smidigare.