MIT-forskere kombinerer robotbevægelsesdata med sprogmodeller for at forbedre opgaveudførelse

Husstandsrobotter lærer mere og mere komplekse opgaver gennem imitation, en proces, hvor de programmeres til at kopiere bevægelser demonstreret af en menneske. Mens robotter har vist sig at være eksellente efterlignere, har de ofte svært ved at tilpasse sig forstyrrelser eller uventede situationer under opgaveudførelsen. Uden eksplicit programmering til at håndtere disse afvigelser er robotterne tvunget til at starte opgaven forfra. For at løse denne udfordring udvikler MIT-ingeniører en ny tilgang, der sigter mod at give robotter en fornemmelse for fællessans, når de står over for uventede situationer, og dermed kan tilpasse sig og fortsætte opgaven uden at kræve manuel indgriben.

Den nye tilgang

MIT-forskerne har udviklet en metode, der kombinerer robotbevægelsesdata med “fællessanskundskab” fra store sprogmodeller (LLM’er). Ved at kombinere disse to elementer giver tilgangen robotterne mulighed for at logisk opdele en given husstandsopgave i underopgaver og fysisk tilpasse sig forstyrrelser inden for hver underopgave. Dette giver robotterne mulighed for at fortsætte uden at skulle starte hele opgaven forfra, og eliminerer behovet for ingeniører at eksplicit programmere løsninger for hver mulig fejl undervejs.

Som ph.d.-studerende Yanwei Wang fra MIT’s afdeling for elektroteknik og datalogi (EECS) forklarer, “Med vores metode kan en robot selv korrigere udførelsesfejl og forbedre den samlede opgavesucces.”

For at demonstrere deres nye tilgang brugte forskerne en simpel opgave: at samle marbler fra en skål og hælde dem over i en anden. Traditionelt ville ingeniører føre en robot gennem bevægelserne ved at samle og hælde i én flydende bane, ofte med flere menneskelige demonstrationer, som robotten kunne efterligne. Men som Wang påpeger, “er den menneskelige demonstration en lang, kontinuerlig bane.” Holdet indså, at selvom en menneske kan demonstrere en enkelt opgave i ét stræk, afhænger opgaven af en række underopgaver. For eksempel skal robotten først række ind i en skål, før den kan samle marbler, og den skal samle marbler, før den kan flytte til den tomme skål.

Hvis en robot begår en fejl under nogen af disse underopgaver, er dens eneste mulighed at stoppe og starte forfra, medmindre ingeniører eksplicit mærker hver underopgave og programmerer eller indsamler nye demonstrationer, så robotten kan genoprette fejlen. Wang understreger, at “det niveau af planlægning er meget kedeligt.” Her kommer forskernes nye tilgang ind i billedet. Ved at udnytte kraften fra LLM’er kan robotten automatisk identificere underopgaverne i den samlede opgave og bestemme mulige genoprettelsesaktioner i tilfælde af forstyrrelser. Dette eliminerer behovet for ingeniører at manuelt programmere robotten til at håndtere hver mulig fejlscenarie, hvilket gør robotten mere tilpasningsdygtig og effektiv i udførelsen af husstandsopgaver.

Rollen af store sprogmodeller

LLM’er spiller en afgørende rolle i MIT-forskeres nye tilgang. Disse dybe læringmodeller behandler store biblioteker af tekst, etablerer forbindelser mellem ord, sætninger og afsnit. Gennem disse forbindelser kan en LLM generere nye sætninger baseret på lært mønster, hvilket grundlæggende giver en forståelse af, hvilket ord eller frase, der sandsynligvis følger det sidste.

Forskerne indså, at denne evne hos LLM’er kunne udnyttes til automatisk at identificere underopgaver inden for en større opgave og mulige genoprettelsesaktioner i tilfælde af forstyrrelser. Ved at kombinere “fællessanskundskab” fra LLM’er med robotbevægelsesdata giver den nye tilgang robotterne mulighed for at logisk opdele en opgave i underopgaver og tilpasse sig uventede situationer. Denne integration af LLM’er og robotteknologi har potentialet til at revolutionere, hvordan husstandsrobotter programmeres og trænes, og gøre dem mere tilpasningsdygtige og i stand til at håndtere virkelige udfordringer.

Da robotteknologien fortsætter med at udvikle sig, vil integrationen af AI-teknologier som LLM’er blive stadig vigtigere. MIT-forskeres tilgang er et væsentligt skridt mod at skabe husstandsrobotter, der ikke kun kan efterligne menneskelige handlinger, men også forstå den underliggende logik og struktur i de opgaver, de udfører. Denne forståelse vil være afgørende for at udvikle robotter, der kan operere selvstændigt og effektivt i komplekse, virkelige miljøer.

Mod en smartere, mere tilpasningsdygtig fremtid for husstandsrobotter

Ved at give robotter mulighed for selv at korrigere udførelsesfejl og forbedre den samlede opgavesucces, løser denne metode en af de største udfordringer i robotprogrammering: tilpasning til virkelige situationer.

Konsekvenserne af denne forskning strækker sig langt ud over den simple opgave at samle marbler. Da husstandsrobotter bliver mere almindelige, skal de være i stand til at håndtere en bred vifte af opgaver i dynamiske, ustrukturerede miljøer. Evnen til at opdele opgaver i underopgaver, forstå den underliggende logik og tilpasse sig forstyrrelser vil være afgørende for, at disse robotter kan operere effektivt og effektivt.

Desuden viser integrationen af LLM’er og robotteknologi potentialet for, at AI-teknologier kan revolutionere, hvordan vi programmerer og træner robotter. Da disse teknologier fortsætter med at udvikle sig, kan vi forvente at se mere intelligente, tilpasningsdygtige og selvstændige robotter i vores hjem og arbejdspladser.

MIT-forskeres arbejde er et kritisk skridt mod at skabe husstandsrobotter, der kan forstå og navigere i kompleksiteterne i den virkelige verden. Da denne tilgang udvikles og anvendes på en bredere vifte af opgaver, har den potentialet til at forandre, hvordan vi lever og arbejder, og gøre vores liv lettere og mere effektive.