Roboten lär sig att gå genom förstärkningsinlärning

Medan Boston Dynamics och dansande robotar vanligtvis får mest uppmärksamhet, sker det viktiga utvecklingar bakom kulisserna som inte får tillräcklig uppmärksamhet. En av dessa utvecklingar kommer från ett Berkeley-laboratorium, där en robot som heter Cassie kunde lära sig att gå genom förstärkningsinlärning. 

Efter försök och misstag lärde sig det par av robotben att navigera i en simulerad miljö innan de testades i den riktiga världen. Till en början visade roboten förmåga att gå i alla riktningar, gå medan den satt ner, ompositionera sig när den blev knuffad ur balans och anpassa sig till olika typer av ytor. 

Cassie-roboten är det första exemplet på en tvåbent robot som framgångsrikt använder förstärkningsinlärning för att gå. 

Förundran över dansande robotar

Medan robotar som de från Boston Dynamics är extremt imponerande och förundrar nästan alla som ser dem, finns det några viktiga faktorer. Framför allt är dessa robotar förprogrammerade och koreograferade för att uppnå resultatet, men detta är inte den önskade metoden i verkliga situationer. 

Utanför laboratoriet måste robotarna vara robusta, motståndskraftiga, flexibla och mycket mer. Utöver allt detta måste de kunna möta och hantera oväntade situationer, vilket bara kan göras genom att göra det möjligt för dem att hantera sådana situationer själva. 

Zhongyu Li var en del av teamet som arbetade med Cassie på University of Berkeley. 

“Dessa videor kan leda vissa människor att tro att detta är ett löst och enkelt problem”, säger Li. “Men vi har fortfarande långt kvar att gå för att ha humanoida robotar som kan fungera och leva i mänskliga miljöer på ett tillförlitligt sätt.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Förstärkningsinlärning

För att skapa en sådan robot, förlitade sig Berkeley-teamet på förstärkningsinlärning, som har använts av företag som DeepMind för att träna algoritmer att slå mänskliga varelser i världens mest komplexa spel. Förstärkningsinlärning baseras på försök och misstag, med roboten som lär sig av sina misstag. 

Cassie-roboten använde förstärkningsinlärning för att lära sig att gå i en simulering, vilket inte är första gången denna metod har använts. Men detta gör vanligtvis inte att det kommer ut ur den simulerade miljön och in i den riktiga världen. Även en liten skillnad kan resultera i att roboten inte kan gå. 

Forskarna använde två simuleringar istället för en, med den första som var en öppen källkodsträningsmiljö som kallas MuJoCo. I denna första simulering försökte och lärde sig algoritmen från en samling av möjliga rörelser, och i den andra simuleringen som kallas SimMechanics, testade roboten dem i mer realistiska förhållanden.

Efter att ha utvecklats i de två simuleringarna, behövde algoritmen inte finjusteras. Den var redan redo att gå i den riktiga världen. Inte bara kunde den gå, utan den kunde också göra mycket mer. Enligt forskarna kunde Cassie återhämta sig efter att två motorer i robotens knä hade gått sönder.

Medan Cassie kanske inte har alla klockor och visslor som vissa andra robotar, är den på många sätt långt mer imponerande. Den har också större implikationer för teknologin när det gäller användning i den riktiga världen, eftersom en sådan gående robot kan användas i många olika sektorer.