Menneskesprog accelererer robotlæring

Et hold af forskere fra Princeton har opdaget, at menneskesproglige beskrivelser af værktøjer kan accelerere læringen af en simuleret robotarm, der kan løfte og bruge forskellige værktøjer.

Den nye forskning støtter idéen om, at AI-træning kan gøre autonome robotter mere tilpasningsdygtige i nye situationer, hvilket igen forbedrer deres effektivitet og sikkerhed.

Ved at tilføje beskrivelser af et værktøjs form og funktion til robotterens træningsproces, blev robotterens evne til at manipulere med nye værktøjer forbedret.

ATLA-metoden til træning

Den nye metode kaldes Accelereret Læring af Værktøjsmanipulation med Sprog, eller ATLA.

Anirudha Majumdar er adjunkt i mekanisk og rumfartsingeniørvidenskab på Princeton og leder af Intelligent Robot Motion Lab.

“Ekstra information i form af sprog kan hjælpe en robot med at lære at bruge værktøjerne mere hurtigt,” sagde Majumdar.

Holdet spurgte sprogmodellen GPT-3 for at få værktøjsbeskrivelser. Efter at have prøvet forskellige prompts, besluttede de at bruge “Beskriv [funktion] af [værktøj] i en detaljeret og videnskabelig respons”, hvor funktionen var værktøjets form eller formål.

Karthik Narasimhan er adjunkt i datalogi og medforfatter af studiet. Narasimhan er også leder af Princetons naturlige sproggruppe og bidrog til den originale GPT-sprogmodel som gæsteforsker på OpenAI.

“Fordi disse sprogmodeller er trænet på internettet, kan man i en vis forstand betragte dette som en anden måde at hente denne information mere effektivt og omfattende end ved at bruge crowdsourcing eller skrabe bestemte websites for værktøjsbeskrivelser,” sagde Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Simulerede robotlæringsforsøg

Holdet valgte en træningssæt på 27 værktøjer til deres simulerede robotlæringsforsøg, med værktøjerne ranging fra en økse til en svaber. Robotarmen fik fire forskellige opgaver: skub værktøjet, løft værktøjet, brug det til at feje en cylinder langs en bord eller hamre en peg i et hul.

Holdet udviklede derefter en række politikker ved at bruge maskinelæringsmetoder med og uden sproginformation. Politikkerne blev sammenlignet på en separat test af ni værktøjer med parrede beskrivelser.

Tilgangen, der kaldes meta-læring, forbedrer robotterens evne til at lære med hver efterfølgende opgave.

Ifølge Narasimhan lærer robotten ikke kun at bruge hvert værktøj, men også “at lære at forstå beskrivelserne af hvert af disse hundred forskellige værktøjer, så når den ser det 101. værktøj, er den hurtigere til at lære at bruge det nye værktøj.”

I de fleste forsøg gav sproginformationen betydelige fordele for robotterens evne til at bruge nye værktøjer.

Allen Z. Ren er en ph.d.-studerende i Majumdars gruppe og hovedforfatter af forskningspapiret.

“Med sprogtræningen lærer den at gribe den lange ende af klohammeren og bruge den kurvede overflade til bedre at begrænse bevægelsen af flasken,” sagde Ren. “Uden sproget greb den klohammeren tæt på den kurvede overflade, og det var sværere at kontrollere.”

“Det overordnede mål er at få robotterne — specifikt, dem, der er trænet med maskinelæring — til at generalisere til nye miljøer,” tilføjede Majumdar.