Fuldt-integreret robotarm lokaliserer og henter tabte genstande

Forskere ved Massachusetts Institute of Technology har udviklet en fuldt-integreret robotarm, der kombinerer visuelle data fra en kamera og radiofrekvens (RF) information fra en antenne for at lokalisere og hente tabte objekter. Den kan lokalisere objekter, selv hvis de er begravet eller uden for synsvidde.

Systemet kaldes RFusion, og prototypen afhænger af RFID-tags, der er billige, batteriløse tags, der reflekterer signaler sendt af en antenne. RF-signaler kan rejse gennem de fleste overflader, så RFusion kan lokalisere en mærket genstand, selv hvis den er begravet.

Robotarmen bruger maskinlæring til automatisk at fokusere på objektets præcise lokalitet. Den kan derefter flytte genstande på toppen af det, gribe objektet og verificere, at det er det korrekte objekt. Kameraet, antennen, robotarmen og AI er fuldt integreret, hvilket betyder, at systemet kan operere i enhver miljø uden at kræve omfattende opsætning.

Ifølge forskerne kunne RFusion bruges til anvendelser som sortering gennem bunker for at opfylde ordrer på et lager eller til at identificere og installere komponenter på en bilfabrik.

Fadel Adib er seniorforfatter og associate professor i afdelingen for electrical engineering og computer science. Adib er også direktør for Signal Kinetics-gruppen på MIT Medical Lab.

“Tanken om at kunne finde genstande i en kaotisk verden er et åbent problem, som vi har arbejdet med i nogle år. At have robotter, der kan søge efter ting under en bunke, er et voksende behov i industrien i dag. Lige nu kan du tænke på dette som en Roomba på steroider, men på kort sigt kunne dette have mange anvendelser i produktion og lagermiljøer,” siger Adib.

Andre medforfattere til forskningen inkluderer forskningsassistent Tara Boroushaki, der er hovedforfatter; electrical engineering og computer science-studerende Isaac Perper; forskningsmedarbejder Mergen Nachin; og Alberto Rodriguez, der er associate professor i afdelingen for mechanical engineering.

Forskningen skal præsenteres på Association for Computing Machinery Conference on Embedded Networked Sensor Systems næste måned.

Træning af systemet

Forskerne brugte forstærket læring til at træne et neuralt netværk, der kan optimere robotens bane til et objekt.

“Dette er også, hvordan vores hjerner lærer. Vi får belønning fra vores lærere, fra vores forældre, fra en computer-spil, osv. Det samme sker i forstærket læring. Vi lader agenten gøre fejl eller gøre noget rigtigt og derefter straffe eller belønne netværket. Dette er, hvordan netværket lærer noget, der er rigtig svært for det at modelere,” forklarer Boroushaki.

Optimeringsalgoritmen i RFusion blev belønnet, når den begrænsede antallet af bevægelser for at lokalisere genstanden og afstanden, der blev rejst for at samle den op.

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

Test af RFusion

Forskerne testede systemet i flere miljøer, herunder et, hvor en nøglekæde var begravet i en kasse fuld af rod og en fjernbetjening gemt under en bunke af genstande på en sofa.

De valgte at sammenfatte RF-målinger og begrænse de visuelle data til området lige foran roboten for ikke at overbelaste systemet. Dette resulterede i en succesrate på 96 procent, når det gjaldt om at hente objekter, der var fuldstændigt skjult under en bunke.

“Nogle gange, hvis du kun afhænger af RF-målinger, vil der være en outlier, og hvis du kun afhænger af vision, vil der være en fejl fra kameraet. Men hvis du kombinerer dem, vil de korrigere hinanden. Det er, hvad der gjorde systemet så robust,” siger Boroushaki.

Matthew S. Reynolds er CoMotion Presidential Innovation Fellow og associate professor i electrical og computer engineering på University of Washington.

“Hvert år bruges milliarder af RFID-tags til at identificere objekter i dagens komplekse forsyningskæder, herunder tøj og mange andre forbrugsvarer. RFusion-tilgangen peger vej til autonome robotter, der kan grave gennem en bunke af blandede genstande og sortere dem ved hjælp af data lagret i RFID-tags, langt mere effektivt end at inspicere hvert enkelt objekt individuelt, især når genstandene ligner hinanden for et computersynssystem,” siger Reynolds. “RFusion-tilgangen er et stort skridt fremad for robotter, der opererer i komplekse forsyningskæder, hvor identificering og ‘samling’ af det rigtige objekt hurtigt og præcist er nøglen til at opfylde ordrer på tid og holde krævende kunder glade.”

Forskerne vil nu se at øge systemets hastighed for at flytte det smidigt.