Mänskligt språk accelererar robotinlärning

Ett team av forskare vid Princeton har funnit att mänskliga språkbeskrivningar av verktyg kan accelerera inlärningen av en simulerad robotarm som kan lyfta och använda olika verktyg.

Den nya forskningen stöder idén att AI-utbildning kan göra autonoma robotar mer anpassningsbara i nya situationer, vilket i sin tur förbättrar deras effektivitet och säkerhet.

Genom att lägga till beskrivningar av ett verktygs form och funktion till robotens utbildningsprocess förbättrades robotens förmåga att manipulera nya verktyg.

ATLA-metoden för utbildning

Den nya metoden kallas Accelererad inlärning av verktygsmanipulation med språk, eller ATLA.

Anirudha Majumdar är biträdande professor i mekanisk och rymdteknik vid Princeton och chef för Intelligent Robot Motion Lab.

“Extra information i form av språk kan hjälpa en robot att lära sig att använda verktygen snabbare”, sa Majumdar.

Teamet frågade språkmodellen GPT-3 för att få verktygsbeskrivningar. Efter att ha testat olika prompter bestämde de sig för att använda “Beskriv [funktionen] av [verktyget] i en detaljerad och vetenskaplig respons”, där funktionen var verktygets form eller syfte.

Karthik Narasimhan är biträdande professor i datavetenskap och medförfattare till studien. Narasimhan är också en ledande fakultetsmedlem i Princetons naturvetenskapliga språkgrupp och bidrog till den ursprungliga GPT-språkmodellen som en gästforskare vid OpenAI.

“Eftersom dessa språkmodeller har tränats på internet kan man i viss mening se detta som ett annat sätt att hämta den informationen mer effektivt och omfattande än genom crowdsourcing eller att skrapa specifika webbplatser för verktygsbeskrivningar”, sa Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Simulerade robotinlärningsexperiment

Teamet valde en utbildningssats på 27 verktyg för sina simulerade robotinlärningsexperiment, med verktygen som sträckte sig från en yxa till en skrapa. Robotarmen gavs fyra olika uppgifter: trycka på verktyget, lyfta verktyget, använda det för att svepa en cylinder längs ett bord eller slå en spik i ett hål.

Teamet utvecklade sedan en uppsättning policys med hjälp av maskinlärningsmetoder med och utan språkinformation. Policysens prestationer jämfördes på en separat test av nio verktyg med parade beskrivningar.

Tillvägagångssättet, som kallas meta-lärande, förbättrar robotens förmåga att lära sig med varje efterföljande uppgift.

Enligt Narasimhan lär sig roboten inte bara att använda varje verktyg, utan också “försöker lära sig att förstå beskrivningarna av var och en av dessa hundra olika verktyg, så att när den ser det 101:a verktyget är den snabbare i lärandet att använda det nya verktyget”.

I de flesta experimenten gav språkinformationen betydande fördelar för robotens förmåga att använda nya verktyg.

Allen Z. Ren är en doktorand i Majumdars grupp och huvudförfattare till forskningspappret.

“Med språkträning lär den sig att gripa i den långa änden av skenan och använda den krökta ytan för att bättre begränsa rörelsen av flaskan”, sa Ren. “Utan språk greppade den skenan nära den krökta ytan och det var svårare att kontrollera”.

“Det breda målet är att få robotiska system – särskilt de som tränas med maskinlärning – att generalisera till nya miljöer”, tillade Majumdar.