Menselijke taal versnelt leren door robots

Een team van onderzoekers van Princeton heeft ontdekt dat beschrijvingen van gereedschappen in menselijke taal het leren van een gesimuleerde robotarm die verschillende gereedschappen kan optillen en gebruiken, kan versnellen.

Het nieuwe onderzoek ondersteunt het idee dat AI-training autonome robots adaptiever kan maken in nieuwe situaties, wat op zijn beurt hun effectiviteit en veiligheid verbetert.

Door beschrijvingen van de vorm en functie van een gereedschap toe te voegen aan het trainingsproces van de robot, werd het vermogen van de robot om nieuwe gereedschappen te manipuleren verbeterd.

ATLA-methode voor training

De nieuwe methode heet Versneld leren van toolmanipulatie met taalof ATLA.

Anirudha Majumdar is assistent-professor mechanische en ruimtevaarttechniek aan Princeton en hoofd van het Intelligent Robot Motion Lab.

"Extra informatie in de vorm van taal kan een robot helpen de tools sneller te leren gebruiken", zei Majumdar.

Het team ondervroeg het taalmodel GPT-3 om toolbeschrijvingen te verkrijgen. Nadat ze verschillende prompts hadden uitgeprobeerd, besloten ze om "Beschrijf de [functie] van [tool] in een gedetailleerd en wetenschappelijk antwoord" te gebruiken, waarbij de functie de vorm of het doel van de tool was.

Karthik Narasimhan is assistent-professor computerwetenschappen en co-auteur van het onderzoek. Narasimhan is ook een leidend lid van de faculteit in de natuurlijke taalverwerkingsgroep (NLP) van Princeton en heeft als gastonderzoeker bij OpenAI bijgedragen aan het oorspronkelijke GPT-taalmodel.

"Omdat deze taalmodellen op internet zijn getraind, kun je dit in zekere zin zien als een andere manier om die informatie efficiënter en uitgebreider op te halen dan via crowdsourcing of het schrapen van specifieke websites voor toolbeschrijvingen", zei Narasimhan.

Gesimuleerde robotleerexperimenten

Het team selecteerde een trainingsset van 27 gereedschappen voor hun gesimuleerde robotleerexperimenten, met de gereedschappen variërend van een bijl tot een rakel. De robotarm kreeg vier verschillende taken: duw het gereedschap, til het gereedschap op, gebruik het om een ​​cilinder langs een tafel te vegen of sla een pen in een gat.

Het team ontwikkelde vervolgens een reeks beleidsmaatregelen door gebruik te maken van machine learning-benaderingen met en zonder taalinformatie. De prestaties van het beleid werden vergeleken op een afzonderlijke test van negen instrumenten met gepaarde beschrijvingen.

De aanpak, die meta-leren wordt genoemd, verbetert het leervermogen van de robot bij elke volgende taak.

Volgens Narasimhan leert de robot niet alleen elk gereedschap te gebruiken, maar “probeert hij ook de beschrijvingen van elk van deze honderd verschillende gereedschappen te leren begrijpen, dus als hij het 101e gereedschap ziet, is hij sneller in het leren gebruiken van het nieuwe gereedschap. ”

In de meeste experimenten bood de taalinformatie aanzienlijke voordelen voor het vermogen van de robot om nieuwe tools te gebruiken.

Allen Z. Ren is een Ph.D. student in de groep van Majumdar en hoofdauteur van het onderzoeksartikel.

"Met de taaltraining leert het om het lange uiteinde van de koevoet vast te pakken en het gebogen oppervlak te gebruiken om de beweging van de fles beter te beperken," zei Ren. "Zonder de taal greep het de koevoet dicht bij het gebogen oppervlak en was het moeilijker te controleren."

"Het brede doel is om robotsystemen - met name systemen die zijn getraind met behulp van machine learning - te laten generaliseren naar nieuwe omgevingen", voegde Majumdar toe.