Menneskespråk akselerer robotlæring

Et team av forskere ved Princeton har funnet ut at menneskespråklig beskrivelse av verktøy kan akselerere læringen av en simuleret robotarm som kan løfte og bruke ulike verktøy.

Den nye forskningen støtter tanken om at AI-trening kan gjøre autonome roboter mer tilpasningsdyktige i nye situasjoner, noe som igjen forbedrer deres effektivitet og sikkerhet.

Ved å legge til beskrivelser av et verktøys form og funksjon til robotens treningsprosess, ble robotens evne til å manipulere nye verktøy forbedret.

ATLA-metoden for trening

Den nye metoden kalles Accelerated Learning of Tool Manipulation with Language, eller ATLA.

Anirudha Majumdar er en assistentprofessor i mekanisk og romfartsteknisk ingeniørvidenskab ved Princeton og leder av Intelligent Robot Motion Lab.

“Ekstra informasjon i form av språk kan hjelpe en robot med å lære å bruke verktøyene raskere,” sa Majumdar.

Teamet spurte språkmodellen GPT-3 for å få verktøysbeskrivelser. Etter å ha prøvd ut ulike prompts, bestemte de seg for å bruke “Beskriv [egenskap] av [verktøy] i en detaljert og vitenskapelig respons,” hvor egenskapen var formen eller formålet med verktøyet.

Karthik Narasimhan er en assistentprofessor i datavitenskap og medforfatter av studien. Narasimhan er også en ledende fakultetsmedlem i Princetons naturlige språkbehandling (NLP)-gruppe og bidro til den opprinnelige GPT-språkmodellen som en besøkende forsker ved OpenAI.

“Fordi disse språkmodellene er trent på internettet, kan man i en viss forstand se på dette som en annen måte å hente denne informasjonen på en mer effektiv og omfattende måte enn ved å bruke crowdsourcing eller skrape bestemte nettsider for verktøysbeskrivelser,” sa Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Simulerte robotlæringseksperimenter

Teamet valgte en treningssett på 27 verktøy for sine simulerte robotlæringseksperimenter, med verktøyene som varierte fra en øks til en svaber. Robotarmen fikk fire ulike oppgaver: skyve verktøyet, løfte verktøyet, bruke det til å feie en sylinder langs et bord eller hamre en pigg inn i et hull.

Teamet utviklet deretter en rekke politikker ved å bruke maskinlæringsmetoder med og uten språkinformasjon. Politikkens ytelse ble sammenlignet på en separat test av ni verktøy med parrede beskrivelser.

Tilnærmingen, som kalles meta-læring, forbedrer robotens evne til å lære med hver påfølgende oppgave.

Ifølge Narasimhan lærer roboten ikke bare å bruke hvert verktøy, men også “prøver å lære å forstå beskrivelsene av hvert av disse hundre ulike verktøyene, så når den ser det 101. verktøyet, er den raskere til å lære å bruke det nye verktøyet.”

I de fleste eksperimentene ga språkinformasjonen betydelige fordeler for robotens evne til å bruke nye verktøy.

Allen Z. Ren er en ph.d.-student i Majumdars gruppe og hovedforfatter av forskningsrapporten.

“Med språktreningen lærer den å gripe i den lange enden av kloa og bruke den kurvede overflaten til å bedre begrense bevegelsen av flasken,” sa Ren. “Uten språket, grep den kloa nær den kurvede overflaten og det var vanskeligere å kontrollere.”

“Det brede målet er å få robotiske systemer — spesielt de som er trent ved hjelp av maskinlæring — til å generalisere til nye miljøer,” la Majumdar til.