MIT-forskere kombinerer robotbevegelsesdata med språkmodeller for å forbedre oppgaveutførelse

Husholdsroboter lærer stadig å utføre komplekse oppgaver gjennom imitasjonslæring, en prosess der de programmeres til å kopiere bevegelsene som er demonstrert av en menneske. Mens roboter har vist seg å være eksellente etterlignere, har de ofte problemer med å tilpasse seg forstyrrelser eller uventede situasjoner som oppstår under oppgaveutførelse. Uten eksplisitt programmering for å håndtere disse avvikene, må robotene starte oppgaven fra scratch. For å møte denne utfordringen, utvikler MIT-ingeniører en ny tilnærming som har som mål å gi roboter en følelse av sunn fornuft når de møter uventede situasjoner, og dermed kunne tilpasse seg og fortsette oppgaven uten å kreve manuell inngripen.

Den nye tilnærmingen

MIT-forskerne har utviklet en metode som kombinerer robotbevegelsesdata med “sunn fornuftskunnskap” fra store språkmodeller (LLM). Ved å koble disse to elementene, muliggjør tilnærmingen at roboter kan logisk dele en gitt husholdsoppgave inn i underoppgaver og fysisk tilpasse seg forstyrrelser innen hver underoppgave. Dette tillater roboten å fortsette uten å måtte starte hele oppgaven fra begynnelsen, og eliminerer behovet for ingeniører til å eksplisitt programmere løsninger for hver mulig feil langs veien.

Som doktorgradsstipendiat Yanwei Wang fra MITs avdeling for elektroteknikk og datavitenskap (EECS) forklarer, “Med vår metode kan en robot selv korrigere utførelsesfeil og forbedre total oppgave-suksess.”

For å demonstrere deres nye tilnærming, brukte forskerne en enkel sysslor: å skrape kuler fra en skål og helle dem over i en annen. Tradisjonelt ville ingeniører flytte en robot gjennom bevegelsene til å skrape og helle i én flytende banekurve, ofte med flere menneskelige demonstrasjoner for roboten til å etterligne. Men, som Wang påpeker, “menneskelig demonstrasjon er én lang, sammenhengende banekurve.” Teamet innsett at selv om en menneske kan demonstrere en enkelt oppgave i ett strek, avhenger oppgaven av en rekke underoppgaver. For eksempel, må roboten først nå inn i en skål før den kan skrape, og den må skrape opp kuler før den flytter til den tomme skålen.

Hvis en robot gjør en feil under noen av disse underoppgavene, er dens eneste utvei å stoppe og starte fra begynnelsen, med mindre ingeniører eksplisitt merker hver underoppgave og programmerer eller samler inn nye demonstrasjoner for roboten til å gjenopprette feilen. Wang understreker at “den nivået av planlegging er veldig kjedelig.” Dette er der forskernes nye tilnærming kommer inn i bildet. Ved å utnytte kraften fra LLM, kan roboten automatisk identifisere underoppgavene som er involvert i den totale oppgaven og bestemme potensielle gjenopprettingsaksjoner i tilfelle forstyrrelser. Dette eliminerer behovet for ingeniører til å manuelt programmere roboten til å håndtere hver mulig feilscenario, og gjør roboten mer tilpasselig og effektiv i å utføre husholdsoppgaver.

Rollen til store språkmodeller

LLM spiller en kritisk rolle i MIT-forskeres nye tilnærming. Disse dype læremodellene prosesserer store biblioteker av tekst, og etablerer forbindelser mellom ord, setninger og avsnitt. Gjennom disse forbindelsene kan en LLM generere nye setninger basert på lært mønster, i praksis forstå hva slags ord eller frase som sannsynligvis følger etter det siste.

Forskerne innsett at denne evnen til LLM kunne utnyttes til å automatisk identifisere underoppgaver innen en større oppgave og potensielle gjenopprettingsaksjoner i tilfelle forstyrrelser. Ved å kombinere “sunn fornuftskunnskap” fra LLM med robotbevegelsesdata, muliggjør den nye tilnærmingen at roboter kan logisk dele en oppgave inn i underoppgaver og tilpasse seg uventede situasjoner. Denne integreringen av LLM og robotikk har potensialet til å revolusjonere måten husholdsroboter programmeres og trenes på, og gjøre dem mer tilpasselige og i stand til å håndtere virkelige utfordringer.

Ettersom feltet robotikk fortsetter å utvikle seg, vil inkorporeringen av AI-teknologier som LLM bli stadig viktigere. MIT-forskeres tilnærming er et viktig skritt mot å skape husholdsroboter som ikke bare kan etterligne menneskelige handlinger, men også forstå den underliggende logikken og strukturen i oppgavene de utfører. Denne forståelsen vil være nøkkel til å utvikle roboter som kan operere selvstendig og effektivt i komplekse, virkelige miljøer.

Towards a smartere, mer tilpasselig fremtid for husholdsroboter

Ved å muliggjøre at roboter kan selv korrigere utførelsesfeil og forbedre total oppgave-suksess, møter denne metoden en av de største utfordringene i robotprogrammering: tilpasning til virkelige situasjoner.

Konsekvensene av denne forskningen strekker seg langt utenfor den enkle oppgaven å skrape kuler. Ettersom husholdsroboter blir mer utbredte, må de være i stand til å håndtere en bred rekke oppgaver i dynamiske, ustrukturerte miljøer. Evnen til å dele oppgaver inn i underoppgaver, forstå den underliggende logikken og tilpasse seg forstyrrelser, vil være essensiell for at disse robotene skal kunne operere effektivt og effektivt.

Videre viser integreringen av LLM og robotikk potensialet for AI-teknologier til å revolusjonere måten vi programmerer og trener roboter på. Ettersom disse teknologiene fortsetter å utvikle seg, kan vi forvente å se mer intelligente, tilpasselige og selvstendige roboter i våre hjem og arbeidsplasser.

MIT-forskeres arbeid er et kritisk skritt mot å skape husholdsroboter som kan virkelig forstå og navigere i kompleksiteten av den virkelige verden. Ettersom denne tilnærmingen blir finpusset og anvendt på en bredere rekke oppgaver, har den potensialet til å transformere måten vi lever og arbeider, og gjøre våre liv enklere og mer effektive.