Menneskelig språk akselererer robotlæring

Et team av forskere ved Princeton har funnet ut at beskrivelser av verktøy på menneskelig språk kan fremskynde læringen av en simulert robotarm som kan løfte og bruke ulike verktøy.

Den nye forskningen støtter ideen om at AI-trening kan gjøre autonome roboter mer tilpasningsdyktige i nye situasjoner, noe som igjen forbedrer deres effektivitet og sikkerhet.

Ved å legge til beskrivelser av et verktøys form og funksjon til robotens treningsprosess, ble robotens evne til å manipulere nye verktøy forbedret.

ATLA-metode for opplæring

Den nye metoden kalles Akselerert læring av verktøymanipulering med språk, eller ATLA.

Anirudha Majumdar er assisterende professor i mekanisk og romfartsteknikk ved Princeton og leder for Intelligent Robot Motion Lab.

"Ekstra informasjon i form av språk kan hjelpe en robot å lære å bruke verktøyene raskere," sa Majumdar.

Teamet spurte språkmodellen GPT-3 for å få verktøybeskrivelser. Etter å ha prøvd ut forskjellige spørsmål, bestemte de seg for å bruke "Beskriv [funksjonen] til [verktøyet] i en detaljert og vitenskapelig respons," med funksjonen som formen eller formålet med verktøyet.

Karthik Narasimhan er assisterende professor i informatikk og medforfatter av studien. Narasimhan er også et ledende fakultetsmedlem i Princetons gruppe for naturlig språkbehandling (NLP) og bidro til den originale GPT-språkmodellen som gjesteforsker ved OpenAI.

"Fordi disse språkmodellene har blitt trent på internett, kan du på en eller annen måte tenke på dette som en annen måte å hente den informasjonen mer effektivt og omfattende enn å bruke crowdsourcing eller skrape spesifikke nettsteder for verktøybeskrivelser," sa Narasimhan.

Simulerte robotlæringseksperimenter

Teamet valgte et treningssett med 27 verktøy for sine simulerte robotlæringseksperimenter, med verktøyene fra en øks til en nal. Robotarmen fikk fire forskjellige oppgaver: dytte verktøyet, løfte verktøyet, bruke det til å feie en sylinder langs et bord, eller hamre en tapp i et hull.

Teamet utviklet deretter en rekke retningslinjer ved å bruke maskinlæringsmetoder med og uten språkinformasjon. Policyenes ytelse ble sammenlignet på en egen test av ni verktøy med sammenkoblede beskrivelser.

Tilnærmingen, som kalles meta-læring, forbedrer robotens evne til å lære med hver påfølgende oppgave.

I følge Narasimhan lærer roboten ikke bare å bruke hvert verktøy, men prøver også å "lære å forstå beskrivelsene av hvert av disse hundre forskjellige verktøyene, så når den ser det 101. verktøyet er det raskere å lære å bruke det nye verktøyet. ”

I de fleste forsøkene ga språkinformasjonen betydelige fordeler for robotens evne til å bruke nye verktøy.

Allen Z. Ren er en Ph.D. student i Majumdars gruppe og hovedforfatter av forskningsoppgaven.

"Med språkopplæringen lærer den å ta tak i den lange enden av brekkjernet og bruke den buede overflaten for å begrense bevegelsen til flasken bedre," sa Ren. "Uten språket grep den brekkjernet lukke den buede overflaten og det var vanskeligere å kontrollere."

"Det brede målet er å få robotsystemer - spesielt de som er trent ved hjelp av maskinlæring - til å generalisere til nye miljøer," la Majumdar til.