Roboten lär sig att gå genom förstärkt inlärning

Medan Boston Dynamics och dansande robotar vanligtvis får mest uppmärksamhet, sker det viktiga utvecklingar bakom kulisserna som inte får tillräcklig uppmärksamhet. En av dessa utvecklingar kommer från ett Berkeley-laboratorium, där en robot vid namn Cassie kunde lära sig att gå genom förstärkt inlärning. 

Efter försök och misstag lärde sig det par av robotben att navigera i en simulerad miljö innan de testades i den riktiga världen. Initialt visade roboten en förmåga att gå i alla riktningar, gå medan den satt ner, återställa sig när den blev knuffad ur balans och anpassa sig till olika typer av ytor. 

Cassie-roboten är det första exemplet på en tvåbent robot som framgångsrikt använder förstärkt inlärning för att gå. 

Förundran över dansande robotar

Medan robotar som de från Boston Dynamics är extremt imponerande och förundrar nästan alla som ser dem, finns det några viktiga faktorer. De flesta av dessa robotar är handprogrammerade och koreograferade för att uppnå resultatet, men detta är inte den föredragna metoden i riktiga världssituationer. 

Utanför laboratoriet måste robotarna vara robusta, motståndskraftiga, flexibla och mycket mer. Utöver allt detta måste de kunna möta och hantera oväntade situationer, vilket endast kan göras genom att möjliggöra för dem att hantera sådana situationer själva. 

Zhongyu Li var en del av teamet som arbetade med Cassie vid University of Berkeley. 

“Dessa videor kan leda vissa människor att tro att detta är ett löst och enkelt problem”, säger Li. “Men vi har fortfarande långt kvar att gå för att ha humanoida robotar som kan fungera och leva i mänskliga miljöer.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Förstärkt inlärning

För att skapa en sådan robot, förlitade sig Berkeley-teamet på förstärkt inlärning, som har använts av företag som DeepMind för att träna algoritmer att slå mänskliga varelser i världens mest komplexa spel. Förstärkt inlärning bygger på försök och misstag, med roboten som lär sig av sina misstag. 

Cassie-roboten använde förstärkt inlärning för att lära sig att gå i en simulering, vilket inte är första gången denna metod har använts. Men det är inte vanligt att den fungerar i den riktiga världen. Även en liten skillnad kan resultera i att roboten inte kan gå. 

Forskarna använde två simuleringar istället för en, med den första som en öppen källkodsträningsmiljö som kallas MuJoCo. I denna första simulering försökte och lärde sig algoritmen från en bibliotek av möjliga rörelser, och i den andra simuleringen som kallas SimMechanics, testade roboten dem i mer riktiga förhållanden.

Efter att ha utvecklats i de två simuleringarna, behövde algoritmen inte finjusteras. Den var redan redo att fungera i den riktiga världen. Inte bara kunde den gå, utan den kunde också göra mycket mer. Enligt forskarna kunde Cassie återhämta sig efter att två motorer i robotens knä hade slutat fungera.

Medan Cassie kanske inte har alla klockor och visslor som vissa andra robotar, är den på många sätt långt mer imponerande. Den har också större implikationer för teknologin när det gäller användning i den riktiga världen, eftersom en sådan gående robot kan användas i många olika sektorer.