Robot leert zichzelf lopen door middel van versterking van het leren

Terwijl Boston Dynamics en dansende robots meestal de meeste aandacht krijgen, zijn er enkele belangrijke ontwikkelingen gaande achter de schermen die niet genoeg aandacht krijgen. Een van die ontwikkelingen komt uit een lab in Berkeley, waar een robot genaamd Cassie zichzelf leerde lopen door middel van versterking van het leren.

Na trial en error leerden het paar robotbenen navigeren in een gesimuleerde omgeving voordat ze getest werden in de echte wereld. Aanvankelijk toonde de robot de mogelijkheid om in alle richtingen te lopen, te lopen terwijl hij hurkte, zichzelf te herpositioneren wanneer hij van zijn evenwicht werd gebracht en zich aan te passen aan verschillende soorten oppervlakken.

De Cassie-robot is het eerste voorbeeld van een tweebenige robot die met succes versterking van het leren gebruikt om te lopen.

De verbazing van dansende robots

Terwijl robots zoals die van Boston Dynamics extreem indrukwekkend zijn en bijna iedereen die ze ziet verbazen, zijn er een paar belangrijke factoren. Meest opvallend zijn deze robots handmatig geprogrammeerd en gechoreografeerd om het resultaat te bereiken, maar dit is niet de voorkeursmethode in echte wereldsituaties.

Buiten het lab moeten robots robuust, veerkrachtig, flexibel en veel meer zijn. Bovendien moeten ze onverwachte situaties kunnen tegenkomen en afhandelen, wat alleen kan worden gedaan door hen in staat te stellen om dergelijke situaties zelf af te handelen.

Zhongyu Li was onderdeel van het team dat aan Cassie werkte aan de Universiteit van Berkeley.

“Deze video’s kunnen sommige mensen doen geloven dat dit een opgelost en gemakkelijk probleem is,” zegt Li. “Maar we hebben nog een lange weg te gaan om humanoïde robots betrouwbaar te laten opereren en in menselijke omgevingen te laten leven.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Versterking van het leren

Om een dergelijke robot te creëren, vertrouwde het team van Berkeley op versterking van het leren, dat door bedrijven zoals DeepMind is gebruikt om algoritmes te trainen om menselijke wezens te verslaan in de meest complexe spellen. Versterking van het leren is gebaseerd op trial en error, waarbij de robot leert van zijn fouten.

De Cassie-robot gebruikte versterking van het leren om te leren hoe hij moest lopen in een simulatie, wat niet de eerste keer is dat deze aanpak is gebruikt. Echter, dit resulteert meestal niet in een overgang van de gesimuleerde omgeving naar de echte wereld. Zelfs een kleine verschil kan ertoe leiden dat de robot niet kan lopen.

De onderzoekers gebruikten twee simulaties in plaats van één, waarbij de eerste een open-source trainingsomgeving was genaamd MuJoCo. In deze eerste simulatie probeerde en leerde het algoritme van een bibliotheek van mogelijke bewegingen, en in de tweede simulatie, genaamd SimMechanics, testte de robot ze uit in meer realistische omstandigheden.

Nadat het algoritme was ontwikkeld in de twee simulaties, hoefde het niet te worden gefinetuned. Het was al klaar om te gaan in de echte wereld. Het kon niet alleen lopen, maar veel meer. Volgens de onderzoekers kon Cassie zich herstellen nadat twee motoren in het kniegewricht van de robot waren uitgevallen.

Terwijl Cassie misschien niet alle beloften en klokkenspelen heeft van sommige andere robots, is hij op veel manieren veel indrukwekkender. Hij heeft ook grotere implicaties voor de technologie wanneer het gaat om het gebruik in de echte wereld, aangezien een dergelijke lopende robot in veel verschillende sectoren kan worden gebruikt.