Fullt-integret robotic arm finner og henter tapte gjenstander

Forskere ved Massachusetts Institute of Technology har utviklet en fullt-integret robotic arm som kombinerer visuell data fra en kamera og radiofrekvens (RF) informasjon fra en antenne for å finne og hente tapte gjenstander. Den kan finne gjenstander selv om de er begravd eller utenfor synsvidde.

Systemet kalles RFusion, og prototypen bruker RFID-merker, som er billige, batteriløse merker som reflekterer signaler sendt av en antenne. RF-signal kan gå gjennom de fleste overflater, så RFusion kan finne en merket gjenstand selv om den er begravd.

Robotic armene bruker maskinlæring til å automatisk finne gjenstandens nøyaktige plassering. Den kan deretter flytte gjenstander på toppen av den, gripe gjenstanden og verifisere at det er den riktige gjenstanden. Kameraet, antennen, robotic armene og AI er fullt integrert, noe som betyr at systemet kan operere i enhver miljø uten å kreve omfattende oppsett.

Ifølge forskerne kan RFusion brukes til applikasjoner som å sortere gjennom hauger for å fullføre bestillinger i et lager, eller å identifisere og installere komponenter i en bilfabrikk.

Fadel Adib er seniorforfatter og assosiert professor i avdelingen for elektroteknikk og datavitenskap. Adib er også direktør for Signal Kinetics-gruppen i MIT Medical Lab.

“Denne idéen om å kunne finne gjenstander i en kaotisk verden er et åpent problem som vi har arbeidet med i noen år. Å ha roboter som kan søke etter ting under en haug er en voksende behov i industrien i dag. For øyeblikket kan du tenke på dette som en Roomba på steroider, men på kort sikt kan dette ha mange applikasjoner i produksjon og lagermiljøer”, sier Adib.

Andre medforfattere av forskningen inkluderer forskningsassistent Tara Boroushaki, hovedforfatter; elektroteknikk og datavitenskap student Isaac Perper; forskningsmedarbeider Mergen Nachin; og Alberto Rodriguez, professor i avdelingen for mekanisk ingeniørvidenskap.

Forskningen skal presenteres på Association for Computing Machinery Conference on Embedded Networked Sensor Systems neste måned.

Trening av systemet

Forskerne brukte forsterkingslæring til å trene et nevralt nettverk som kan optimalisere robotens bane til en gjenstand.

“Dette er også hvordan vår hjerne lærer. Vi får belønning fra våre lærere, fra våre foreldre, fra en dataspill, osv. Det samme skjer i forsterkingslæring. Vi lar agenten gjøre feil eller gjøre noe riktig og deretter straffer eller belønner nettverket. Dette er hvordan nettverket lærer noe som er svært vanskelig for det å modellere”, forklarer Boroushaki.

Optimaliseringsalgoritmen i RFusion ble belønnet når den begrenset antall bevegelser for å lokalisere gjenstanden og avstanden som ble reist for å plukke den opp.

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

Testing av RFusion

Forskerne testet systemet i flere miljøer, inkludert ett hvor en nøkkelring var begravd i en boks full av rot og en fjernkontroll var skjult under en haug av gjenstander på en sofa.

De tok tilnærmingen til å summerere RF-målinger og begrense visuell data til området rett foran roboten for ikke å overvelde systemet. Dette resulterte i en 96 prosent suksessrate når det gjaldt å hente gjenstander som var fullstendig skjult under en haug.

“Noen ganger, hvis du bare avhenger av RF-målinger, vil det være en outlier, og hvis du bare avhenger av visjon, vil det noen ganger være en feil fra kameraet. Men hvis du kombinerer dem, vil de korrigere hverandre. Det er det som gjorde systemet så robust”, sier Boroushaki.

Matthew S. Reynolds er CoMotion Presidential Innovation Fellow og assosiert professor i elektroteknikk og datavitenskap ved University of Washington.

“Hvert år brukes milliarder av RFID-merker til å identifisere gjenstander i dagens komplekse forsyningskjeder, inkludert klær og mange andre forbruksgoder. RFusion-tilnærmingen peker vei mot autonome roboter som kan grave gjennom en haug av blandede gjenstander og sortere dem ut ved hjelp av data lagret i RFID-merkene, mye mer effektivt enn å inspisere hver gjenstand individuelt, spesielt når gjenstandene ligner på en datavisionsystem”, sier Reynolds. “RFusion-tilnærmingen er et stort skritt fremover for robotikk som opererer i komplekse forsyningskjeder hvor identifisering og ‘plukking’ av riktig gjenstand raskt og nøyaktig er nøkkel til å få bestillinger fulgt på tid og holde krævende kunder glade.”

Forskerne vil nå se på å øke hastigheten på systemet for å flytte det smidig.