MIT-forskere kombinerer robotbevægelsesdata med sprogmodeller for at forbedre opgaveudførelse

Husholdningsrobotter lærer stadig mere komplekse opgaver gennem imitationslæring, en proces, hvor de programmeres til at kopiere bevægelserne, der demonstreres af en menneske. Mens robotter har vist sig at være fremragende efterlignere, har de ofte svært ved at tilpasse sig forstyrrelser eller uventede situationer, der opstår under opgaveudførelsen. Uden eksplicit programmering til at håndtere disse afvigelser, er robotterne tvunget til at starte opgaven forfra. For at imødekomme denne udfordring udvikler MIT-ingeniører en ny tilgang, der sigter mod at give robotter en fornemmelse af sund fornuft, når de står over for uventede situationer, og dermed kan tilpasse sig og fortsætte deres opgaver uden at kræve manuel indgriben.

Den nye tilgang

De MIT-forskere har udviklet en metode, der kombinerer robotbevægelsesdata med “almindelig viden” fra store sprogmodeller (LLM’er). Ved at kombinere disse to elementer, giver tilgangen robotterne mulighed for at logisk opdele en given husholdningsopgave i underopgaver og fysisk tilpasse sig forstyrrelser inden for hver underopgave. Dette giver robotterne mulighed for at fortsætte uden at skulle genstarte hele opgaven fra begyndelsen, og eliminerer behovet for, at ingeniører eksplicit programmerer løsninger for hver mulig fejl undervejs.
Som ph.d.-studerende Yanwei Wang fra MIT’s Department of Electrical Engineering and Computer Science (EECS) forklarer, “Med vores metode kan en robot selvkorrigere udførelsesfejl og forbedre den samlede opgave succes.”

For at demonstrere deres nye tilgang, brugte forskerne en simpel opgave: at skovle kugler fra en skål og hælde dem over i en anden. Traditionelt ville ingeniører føre en robot gennem bevægelserne ved at skovle og hælde i én flydende bane, ofte ved at give flere menneskelige demonstrationer, som robotterne kunne efterligne. Men som Wang påpeger, “er menneske-demonstrationen en lang, sammenhængende bane.” Holdet indså, at selvom et menneske kan demonstrere en enkelt opgave på én gang, afhænger opgaven af en række underopgaver. For eksempel skal robotten først nå ind i en skål, før den kan skovle, og den skal skovle op kugler, før den kan flytte til den tomme skål.

Hvis en robot begår en fejl under nogen af disse underopgaver, er dens eneste udvej at stoppe og starte forfra, medmindre ingeniører eksplicit mærker hver underopgave og programmerer eller indsamler nye demonstrationer, så robotten kan genoprette fejlen. Wang understreger, at “det niveau af planlægning er meget kedeligt.” Her kommer forskernes nye tilgang ind i billedet. Ved at udnytte kraften fra LLM’er kan robotten automatisk identificere underopgaverne i den samlede opgave og bestemme potentielle genoprettingshandlinger i tilfælde af forstyrrelser. Dette eliminerer behovet for, at ingeniører manuelt programmerer robotten til at håndtere hver mulig fejlscenarie, og gør robotten mere tilpasningsdygtig og effektiv i udførelsen af husholdningsopgaver.

Rollen af store sprogmodeller

LLM’er spiller en afgørende rolle i den nye tilgang fra MIT-forskerne. Disse dybe læremodeller bearbejder enorme biblioteker af tekst, der etablerer forbindelser mellem ord, sætninger og afsnit. Gennem disse forbindelser kan en LLM generere nye sætninger baseret på læringsmønstre, og kan i virkeligheden forstå, hvilken type ord eller sætning, der sandsynligvis følger den sidste.

Forskerne indså, at denne evne fra LLM’er kunne udnyttes til automatisk at identificere underopgaver inden for en større opgave og potentielle genoprettingshandlinger i tilfælde af forstyrrelser. Ved at kombinere “almindelig viden” fra LLM’er med robotbevægelsesdata giver den nye tilgang robotterne mulighed for at logisk opdele en opgave i underopgaver og tilpasse sig uventede situationer. Denne integration af LLM’er og robotteknologi har potentialet for at revolutionere, hvordan husholdningsrobotter programmeres og trænes, og gør dem mere tilpasningsdygtige og i stand til at håndtere virkelige udfordringer.

Da feltet inden for robotteknologi fortsætter med at udvikle sig, vil integrationen af AI-teknologier som LLM’er blive stadig mere vigtig. Den nye tilgang fra MIT-forskerne er et væsentligt skridt mod at skabe husholdningsrobotter, der ikke kun kan efterligne menneskelige handlinger, men også forstå den underliggende logik og struktur i de opgaver, de udfører. Denne forståelse vil være afgørende for at udvikle robotter, der kan fungere selvstændigt og effektivt i komplekse, virkelige miljøer.

Mod en smartere, mere tilpasningsdygtig fremtid for husholdningsrobotter

Ved at give robotter mulighed for selv at korrigere udførelsesfejl og forbedre den samlede opgave succes, adresserer denne metode en af de største udfordringer i robotprogrammering: tilpasning til virkelige situationer.

Konsekvenserne af denne forskning strækker sig langt ud over den simple opgave med at skovle kugler. Da husholdningsrobotter bliver mere udbredte, skal de være i stand til at håndtere en bred vifte af opgaver i dynamiske, ustrukturerede miljøer. Evnen til at opdele opgaver i underopgaver, forstå den underliggende logik og tilpasse sig forstyrrelser vil være afgørende for, at disse robotter kan fungere effektivt og effektivt.

Desuden viser integrationen af LLM’er og robotteknologi potentialet for, at AI-teknologier kan revolutionere, hvordan vi programmerer og træner robotter. Da disse teknologier fortsætter med at udvikle sig, kan vi forvente at se mere intelligente, tilpasningsdygtige og selvstændige robotter i vores hjem og på arbejdspladser.

Arbejdet fra MIT-forskerne er et kritisk skridt mod at skabe husholdningsrobotter, der virkelig kan forstå og navigere i kompleksiteterne af den virkelige verden. Da denne tilgang udvikles og anvendes på en bredere vifte af opgaver, har den potentialet for at transformere, hvordan vi lever og arbejder, og gøre vores liv lettere og mere effektive.