Menselijke taal versnelt robotleren

Een team van onderzoekers aan Princeton heeft ontdekt dat menselijke taalbeschrijvingen van gereedschappen het leren van een gesimuleerde robotarm die verschillende gereedschappen kan optillen en gebruiken, kan versnellen.

Het nieuwe onderzoek ondersteunt de idee dat AI-training autonome robots adaptiever kan maken in nieuwe situaties, wat op zijn beurt hun effectiviteit en veiligheid verbetert.

Door beschrijvingen van de vorm en functie van een gereedschap toe te voegen aan het trainingsproces van de robot, werd de mogelijkheid van de robot om nieuwe gereedschappen te manipuleren verbeterd.

ATLA-methode voor training

De nieuwe methode heet Versnelde leer van gereedschapsmanipulatie met taal, of ATLA.

Anirudha Majumdar is een assistent-professor in mechanische en lucht- en ruimtevaarttechniek aan Princeton en hoofd van de Intelligent Robot Motion Lab.

“Extra informatie in de vorm van taal kan een robot helpen om gereedschappen sneller te leren gebruiken,” zei Majumdar.

Het team vroeg de taalmodel GPT-3 om gereedschapsbeschrijvingen te verkrijgen. Na verschillende prompts te hebben uitgeprobeerd, besloten ze om “Beschrijf de [functie] van [gereedschap] in een gedetailleerde en wetenschappelijke reactie” te gebruiken, met de functie als de vorm of het doel van het gereedschap.

Karthik Narasimhan is een assistent-professor in computerwetenschappen en co-auteur van de studie. Narasimhan is ook een lead-faculteitslid in Princeton’s natuurlijke taalverwerking (NLP) groep en droeg bij aan het originele GPT-taalmodel als een bezoekend onderzoeker aan OpenAI.

“Omdat deze taalmodellen zijn getraind op het internet, kun je dit zien als een andere manier om die informatie efficiënter en uitgebreider te verkrijgen dan door crowdsourcing of specifieke websites te schrapen voor gereedschapsbeschrijvingen,” zei Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Gesimuleerde robotleren-experimenten

Het team selecteerde een trainingsset van 27 gereedschappen voor hun gesimuleerde robotleren-experimenten, met gereedschappen variërend van een bijl tot een schraper. De robotarm kreeg vier verschillende taken: het gereedschap duwen, het gereedschap optillen, het gebruiken om een cilinder over een tafel te vegen, of een spijker in een gat te slaan.

Het team ontwikkelde vervolgens een reeks van beleidsregels door machine learning-benaderingen te gebruiken met en zonder taalinformatie. De prestaties van de beleidsregels werden vergeleken op een aparte test van negen gereedschappen met gepaarde beschrijvingen.

De benadering, die meta-leren wordt genoemd, verbetert de mogelijkheid van de robot om te leren met elke succesvolle taak.

Volgens Narasimhan leert de robot niet alleen om elk gereedschap te gebruiken, maar ook “proberen te leren om de beschrijvingen van elk van deze honderd verschillende gereedschappen te begrijpen, zodat wanneer hij het 101e gereedschap ziet, hij sneller leert om het nieuwe gereedschap te gebruiken.”

In de meeste experimenten bood de taalinformatie aanzienlijke voordelen voor de mogelijkheid van de robot om nieuwe gereedschappen te gebruiken.

Allen Z. Ren is een PhD-student in Majumdar’s groep en de hoofdauteur van het onderzoeksartikel.

“Met de taaltraining leert hij om de crowbar aan de lange kant te grijpen en de gebogen oppervlak te gebruiken om de beweging van de fles beter te beperken,” zei Ren. “Zonder de taal greep hij de crowbar dicht bij de gebogen oppervlak en was het moeilijker om te controleren.”

“Het brede doel is om robotische systemen – specifiek, die getraind zijn met machine learning – te laten generaliseren naar nieuwe omgevingen,” voegde Majumdar toe.