MIT-onderzoekers combineren robotbewegingsgegevens met taalmodellen om taakuitvoering te verbeteren

Huishoudrobots worden steeds vaker geleerd om complexe taken uit te voeren door middel van imitatielearning, een proces waarbij ze zijn geprogrammeerd om de bewegingen te kopiëren die door een mens worden gedemonstreerd. Terwijl robots uitstekende nabootsers zijn gebleken, hebben ze vaak moeite om zich aan te passen aan onderbrekingen of onverwachte situaties die tijdens de taakuitvoering optreden. Zonder expliciete programmering om deze afwijkingen te verwerken, worden robots gedwongen om de taak vanaf het begin opnieuw te starten. Om deze uitdaging aan te pakken, ontwikkelen MIT-ingenieurs een nieuwe aanpak die ertoe strekt robots een soort gezond verstand te geven wanneer ze worden geconfronteerd met onverwachte situaties, waardoor ze hun taken kunnen aanpassen en voortzetten zonder handmatige interventie.

De nieuwe aanpak

De MIT-onderzoekers hebben een methode ontwikkeld die robotbewegingsgegevens combineert met de “gezond verstand kennis” van grote taalmodellen (LLM’s). Door deze twee elementen te verbinden, maakt de aanpak het mogelijk voor robots om een gegeven huishoudtaak logisch te parseren in subtaken en fysiek aan te passen aan onderbrekingen binnen elke subtaak. Hierdoor kan de robot verdergaan zonder de hele taak opnieuw te moeten starten, en wordt de noodzaak voor ingenieurs om expliciet programmering te bieden voor elke mogelijke fout langs de weg, geëlimineerd.

Als graduate student Yanwei Wang van de afdeling Elektrotechniek en Informatica (EECS) van MIT uitlegt, “Met onze methode kan een robot zelf correctie uitvoeren op uitvoeringsfouten en de algehele taaksucces verbeteren.”

Om hun nieuwe aanpak te demonstreren, gebruikten de onderzoekers een eenvoudige huishoudtaak: het opscheppen van knikkers uit een kom en ze in een andere kom gieten. Traditioneel zouden ingenieurs een robot door de bewegingen van opscheppen en gieten leiden in één vloeiende traject, vaak met meerdere menselijke demonstraties voor de robot om na te bootsen. Echter, zoals Wang opmerkt, “de menselijke demonstratie is één lange, continue traject.” Het team realiseerde zich dat, hoewel een mens een taak in één keer kan demonstreren, de taak afhankelijk is van een reeks subtaken. Bijvoorbeeld, de robot moet eerst in een kom reiken voordat hij kan opscheppen, en hij moet knikkers opscheppen voordat hij naar de lege kom kan gaan.

Als een robot een fout maakt tijdens een van deze subtaken, is zijn enige optie om te stoppen en opnieuw te beginnen, tenzij ingenieurs elke subtaak expliciet labelen en programmeren of nieuwe demonstraties verzamelen voor de robot om van de fout te herstellen. Wang benadrukt dat “dat niveau van planning zeer tijdrovend is.” Hier komt de nieuwe aanpak van de onderzoekers om de hoek kijken. Door de kracht van LLM’s te benutten, kan de robot automatisch de subtaken identificeren die betrokken zijn bij de algehele taak en potentiële herstelacties bepalen in geval van onderbrekingen. Hierdoor wordt de noodzaak voor ingenieurs om de robot handmatig te programmeren om elke mogelijke foutscenario te verwerken, geëlimineerd, waardoor de robot meer aanpasbaar en efficiënt wordt in het uitvoeren van huishoudtaken.

De rol van grote taalmodellen

LLM’s spelen een cruciale rol in de nieuwe aanpak van de MIT-onderzoekers. Deze diepe leermodellen verwerken enorme bibliotheken van tekst, waardoor ze verbindingen leggen tussen woorden, zinnen en alinea’s. Door middel van deze verbindingen kan een LLM nieuwe zinnen genereren op basis van geleerde patronen, waardoor het in wezen begrijpt wat voor soort woord of zin waarschijnlijk zal volgen op de laatste.

De onderzoekers realiseerden zich dat deze capaciteit van LLM’s kon worden benut om automatisch subtaken te identificeren binnen een grotere taak en potentiële herstelacties in geval van onderbrekingen. Door de “gezond verstand kennis” van LLM’s te combineren met robotbewegingsgegevens, maakt de nieuwe aanpak het mogelijk voor robots om logisch een taak te parseren in subtaken en aan te passen aan onverwachte situaties. Deze integratie van LLM’s en robotica heeft het potentieel om de manier waarop huishoudrobots worden geprogrammeerd en getraind te revolutioneren, waardoor ze meer aanpasbaar en in staat zijn om met echte werelduitdagingen om te gaan.

Naarmate het veld van robotica verder ontwikkelt, zal de integratie van AI-technologieën zoals LLM’s steeds belangrijker worden. De aanpak van de MIT-onderzoekers is een significante stap naar het creëren van huishoudrobots die niet alleen menselijke acties kunnen nabootsen, maar ook de onderliggende logica en structuur van de taken die ze uitvoeren, begrijpen. Dit begrip zal cruciaal zijn voor het ontwikkelen van robots die autonoom en efficiënt kunnen opereren in complexe, echte wereldomgevingen.

Naar een slimmer, aanpasbaarder toekomst voor huishoudrobots

Door robots in staat te stellen om zelf correctie uit te voeren op uitvoeringsfouten en de algehele taaksucces te verbeteren, adresseert deze methode een van de grote uitdagingen in robotprogrammering: aanpasbaarheid aan echte wereldsituaties.

De implicaties van dit onderzoek gaan verder dan de eenvoudige taak van het opscheppen van knikkers. Naarmate huishoudrobots meer algemeen worden, zullen ze in staat moeten zijn om een breed scala aan taken uit te voeren in dynamische, ongestructureerde omgevingen. De capaciteit om taken te breken in subtaken, de onderliggende logica te begrijpen en aan te passen aan onderbrekingen, zal essentieel zijn voor deze robots om effectief en efficiënt te opereren.

Bovendien toont de integratie van LLM’s en robotica het potentieel voor AI-technologieën om de manier waarop we robots programmeren en trainen te revolutioneren. Naarmate deze technologieën verder ontwikkelen, kunnen we verwachten meer intelligente, aanpasbare en autonome robots in onze huizen en werkplekken te zien.

Het werk van de MIT-onderzoekers is een kritische stap naar het creëren van huishoudrobots die echt de complexiteiten van de echte wereld kunnen begrijpen en navigeren. Naarmate deze aanpak wordt verfijnd en toegepast op een bredere reeks taken, heeft het het potentieel om de manier waarop we leven en werken te transformeren, ons leven makkelijker en efficiënter te maken.