MIT-forskare kombinerar robotrörelsedata med språkmodeller för att förbättra uppgiftsutförande

Hushållsrobotar lärdes alltmer att utföra komplexa uppgifter genom imitation, ett förfarande där de programmeras för att kopiera rörelser som demonstreras av en människa. Medan robotar har visat sig vara utmärkta imitatorer, har de ofta svårt att anpassa sig till störningar eller oväntade situationer som uppstår under uppgiftsutförandet. Utan uttrycklig programmering för att hantera dessa avvikelser, tvingas robotarna att starta om uppgiften från början. För att möta denna utmaning utvecklar MIT-ingenjörer en ny approach som syftar till att ge robotar en känsla av sunt förnuft när de ställs inför oväntade situationer, vilket möjliggör för dem att anpassa sig och fortsätta sina uppgifter utan att kräva manuell ingripande.

Den nya metoden

MIT-forskarna utvecklade en metod som kombinerar robotrörelsedata med “allmän kunskap” från stora språkmodeller (LLM). Genom att koppla samman dessa två element möjliggör metoden för robotar att logiskt bryta ner en given hushållsuppgift i underuppgifter och fysiskt anpassa sig till störningar inom varje underuppgift. Detta tillåter roboten att fortsätta utan att behöva starta om hela uppgiften från början, och eliminerar behovet av att ingenjörer uttryckligen programmerar lösningar för varje möjlig fel längs vägen.

Som doktoranden Yanwei Wang från MIT:s avdelning för elektroteknik och datavetenskap (EECS) förklarar, “Med vår metod kan en robot själv korrigera utförandefel och förbättra den övergripande uppgiftsframgången.”

För att demonstrera sin nya metod använde forskarna en enkel syssla: att skopa marbler från en skål och hälla dem i en annan. Traditionellt skulle ingenjörer föra en robot genom rörelserna för att skopa och hälla i en enda, sammanhängande bana, ofta med flera mänskliga demonstrationer för roboten att imitera. Men som Wang påpekar, “den mänskliga demonstrationen är en lång, sammanhängande bana.” Teamet insåg att medan en människa kan demonstrera en enda uppgift i ett svep, beror uppgiften på en sekvens av underuppgifter. Till exempel måste roboten först nå in i en skål innan den kan skopa, och den måste skopa upp marbler innan den flyttar till den tomma skålen.

Om en robot gör ett misstag under någon av dessa underuppgifter, är dess enda utväg att stoppa och starta om från början, såvida inte ingenjörer uttryckligen märker varje underuppgift och programmerar eller samlar in nya demonstrationer för roboten att återhämta sig från felet. Wang betonar att “den nivån av planering är mycket tråkig.” Här kommer forskarnas nya metod in i bilden. Genom att utnyttja kraften från LLM, kan roboten automatiskt identifiera underuppgifterna som ingår i den övergripande uppgiften och bestämma potentiella återhämtningåtgärder i händelse av störningar. Detta eliminerar behovet av att ingenjörer manuellt programmerar roboten för att hantera varje möjlig felscenario, vilket gör roboten mer anpassningsbar och effektiv i utförandet av hushållsuppgifter.

Rollen för stora språkmodeller

LLM spelar en avgörande roll i MIT-forskarnas nya metod. Dessa djupa inlärningsmodeller bearbetar stora bibliotek av text, etablerar samband mellan ord, meningar och stycken. Genom dessa samband kan en LLM generera nya meningar baserat på inlärda mönster, i princip förstå den typ av ord eller fras som sannolikt följer den sista.

Forskarna insåg att denna förmåga hos LLM kunde utnyttjas för att automatiskt identifiera underuppgifter inom en större uppgift och potentiella återhämtningåtgärder i händelse av störningar. Genom att kombinera “allmän kunskap” från LLM med robotrörelsedata, möjliggör den nya metoden för robotar att logiskt bryta ner en uppgift i underuppgifter och anpassa sig till oväntade situationer. Denna integration av LLM och robotik har potentialen att revolutionera sättet hushållsrobotar programmeras och tränas, vilket gör dem mer anpassningsbara och kapabla att hantera verkliga utmaningar.

Medan fältet robotik fortsätter att utvecklas, kommer integrationen av AI-teknologier som LLM att bli allt viktigare. MIT-forskarnas metod är ett betydande steg mot att skapa hushållsrobotar som inte bara kan imitera mänskliga handlingar, utan också förstå den underliggande logiken och strukturen i de uppgifter de utför. Denna förståelse kommer att vara avgörande för att utveckla robotar som kan operera självständigt och effektivt i komplexa, verkliga miljöer.

Towards a Smarter, More Adaptable Future for Household Robots

Genom att möjliggöra för robotar att själv korrigera utförandefel och förbättra den övergripande uppgiftsframgången, möter denna metod en av de största utmaningarna i robotprogrammering: anpassningsförmåga till verkliga situationer.

Konsekvenserna av denna forskning sträcker sig långt bortom den enkla uppgiften att skopa marbler. När hushållsrobotar blir allt vanligare, kommer de att behöva vara kapabla att hantera en mängd olika uppgifter i dynamiska, ostrukturerade miljöer. Förmågan att bryta ner uppgifter i underuppgifter, förstå den underliggande logiken och anpassa sig till störningar kommer att vara avgörande för att dessa robotar ska kunna operera effektivt och effektivt.

Dessutom visar integrationen av LLM och robotik potentialen för AI-teknologier att revolutionera sättet vi programmerar och tränar robotar. När dessa teknologier fortsätter att utvecklas, kan vi förvänta oss att se mer intelligenta, anpassningsbara och självständiga robotar i våra hem och arbetsplatser.

MIT-forskarnas arbete är ett kritiskt steg mot att skapa hushållsrobotar som verkligen kan förstå och navigera i komplexiteten i den verkliga världen. När denna metod förfinas och tillämpas på en bredare range av uppgifter, har den potentialen att förändra sättet vi lever och arbetar, vilket gör våra liv enklare och mer effektiva.