Google’s AI leert robots lopen door naar honden te kijken

Zelfs enkele van de meest geavanceerde robots van vandaag bewegen zich nog steeds op een wat houterige, schokkerige manier. Om robots te laten bewegen op een meer levendige, vloeiende manier, hebben onderzoekers bij Google een AI-systeem ontwikkeld dat in staat is om te leren van de bewegingen van echte dieren. Het Google-onderzoeksteam publiceerde een preprint-paper waarin hun aanpak laatst werd toegelicht. In het paper en een bijbehorende blogpost beschrijft het onderzoeksteam de achterliggende reden voor het systeem. De auteurs van het paper zijn van mening dat het voorzien van robots van meer natuurlijke bewegingen hen kan helpen om taken in de echte wereld uit te voeren die precisiebewegingen vereisen, zoals het bezorgen van artikelen tussen verschillende niveaus van een gebouw.

Zoals VentureBeat rapporteerde, maakte het onderzoeksteam gebruik van versterkingsleren om hun robots te trainen. De onderzoekers begonnen met het verzamelen van clips van echte dieren in beweging en gebruikten versterkingsleren (RL) technieken om de robots ertoe te brengen de bewegingen van de dieren in de videoclips na te bootsen. In dit geval trainden de onderzoekers de robots op clips van een hond, ontworpen in een fysica-simulator, en gaven instructies aan een vierbenige Unitree Laikago-robot om de bewegingen van de hond na te bootsen. Nadat de robot getraind was, was hij in staat om complexe bewegingen uit te voeren zoals huppen, draaien en snel lopen, met een snelheid van ongeveer 2,6 mijl per uur.

De trainingsdata bestonden uit ongeveer 200 miljoen samples van honden in beweging, getrackt in een fysica-simulator. De verschillende bewegingen werden vervolgens doorbeloond met beloningsfuncties en beleidsregels die de agenten leerden. Nadat de beleidsregels in de simulator waren gemaakt, werden ze overgebracht naar de echte wereld met behulp van een techniek genaamd latent space adaptation. Omdat de fysica-simulators die werden gebruikt om de robots te trainen alleen bepaalde aspecten van echte bewegingen konden benaderen, pasten de onderzoekers willekeurig verschillende verstoringen toe op de simulator, bedoeld om operatie onder verschillende omstandigheden te simuleren.

Volgens het onderzoeksteam waren ze in staat om de simulatorsbeleidsregels aan te passen aan de echte robots met behulp van slechts acht minuten aan data verzameld uit 50 verschillende trials. De onderzoekers slaagden erin om te demonstreren dat de echte robots in staat waren om een verscheidenheid aan specifieke bewegingen na te bootsen, zoals draven, draaien, huppen en paceren. Ze waren zelfs in staat om animaties te imiteren die waren gemaakt door animatiekunstenaars, zoals een combinatie van huppen en draaien.

De onderzoekers samenvatten de bevindingen in het paper:

“We laten zien dat door gebruik te maken van referentiebewegingsdata, een enkele leergerichte aanpak in staat is om automatisch controllers te synthetiseren voor een divers repertoire [van] gedragingen voor benige robots. Door sample-efficiënte domeinadaptatie-technieken in het trainingsproces op te nemen, kan ons systeem adaptieve beleidsregels leren in de simulator die vervolgens snel kunnen worden aangepast voor inzet in de echte wereld.”

De controlebeleidsregels die tijdens het versterkingsleren werden gebruikt, hadden hun beperkingen. Vanwege de beperkingen die werden opgelegd door de hardware en algoritmes, waren er een aantal dingen die de robots gewoon niet konden doen. Ze konden bijvoorbeeld niet rennen of grote sprongen maken. De geleerde beleidsregels vertoonden ook minder stabiliteit in vergelijking met bewegingen die handmatig waren ontworpen. Het onderzoeksteam wil het werk verder ontwikkelen door de controllers robuuster en in staat te maken om van verschillende soorten data te leren. Ideaal gezien zullen toekomstige versies van het kader in staat zijn om te leren van videodata.