Google’s AI leert robots lopen door naar honden te kijken

Selfs enkele van de meest geavanceerde robots van vandaag bewegen zich nog steeds op een wat onhandige, houterige manier. Om robots te laten bewegen op een meer levendige, vloeiende manier, hebben onderzoekers van Google (GOOGL ) een AI-systeem ontwikkeld dat in staat is om te leren van de bewegingen van echte dieren. Het Google-onderzoeksteam publiceerde een preprint-paper waarin hun aanpak werd uitgelegd. In het paper en een bijbehorende blogpost beschrijft het onderzoeksteam de reden achter het systeem. De auteurs van het paper geloven dat het toewijzen van meer natuurlijke bewegingen aan robots hen kan helpen om taken in de echte wereld uit te voeren die precisiebewegingen vereisen, zoals het bezorgen van artikelen tussen verschillende niveaus van een gebouw.

Zoals VentureBeat rapporteerde, maakte het onderzoeksteam gebruik van versterking leer om hun robots te trainen. De onderzoekers begonnen met het verzamelen van clips van echte dieren in beweging en gebruikten versterking leer (RL) technieken om de robots ertoe te brengen de bewegingen van de dieren in de video-clips te imiteren. In dit geval trainden de onderzoekers de robots op clips van een hond, ontworpen in een fysica-simulator, waarin een vierbenige Unitree Laikago-robot werd geïnstrueerd om de bewegingen van de hond te imiteren. Nadat de robot getraind was, was hij in staat om complexe bewegingen uit te voeren zoals huppen, draaien en snel lopen, met een snelheid van ongeveer 4,2 kilometer per uur.

De trainingsdata bestond uit ongeveer 200 miljoen voorbeelden van honden in beweging, getrackt in een fysica-simulatie. De verschillende bewegingen werden vervolgens door reward-functies en policies heen gehaald die de agenten leerden. Nadat de policies waren gecreëerd in de simulatie, werden ze overgebracht naar de echte wereld met behulp van een techniek genaamd latent space adaptatie. Omdat de fysica-simulatoren die werden gebruikt om de robots te trainen alleen bepaalde aspecten van echte wereld bewegingen konden benaderen, pasten de onderzoekers willekeurig verschillende perturbaties toe op de simulatie, bedoeld om operatie onder verschillende omstandigheden te simuleren.

Volgens het onderzoeksteam waren ze in staat om de simulatie-policies aan te passen aan de echte wereld robots met behulp van slechts acht minuten aan data verzameld uit 50 verschillende trials. De onderzoekers slaagden erin om te demonstreren dat de echte wereld robots in staat waren om een verscheidenheid aan specifieke bewegingen te imiteren, zoals draven, draaien, huppen en lopen. Ze waren zelfs in staat om animaties te imiteren die waren gemaakt door animatie-artiesten, zoals een combinatie van huppen en draaien.

De onderzoekers samenvatten de bevindingen in het paper:

“We laten zien dat door het gebruik van referentie-bewegingsdata, een enkele leer-gebaseerde aanpak in staat is om automatisch controllers te synthetiseren voor een divers repertoire [van] gedragingen voor benige robots. Door het incorporeren van sample-efficiënte domein-adaptatie technieken in het trainingsproces, is ons systeem in staat om adaptieve policies te leren in simulatie die vervolgens snel kunnen worden aangepast voor echte wereld implementatie.”

De controle-policies die tijdens het versterking leer proces werden gebruikt, hadden hun beperkingen. Vanwege de beperkingen die werden opgelegd door de hardware en algoritmes, waren er een paar dingen die de robots gewoon niet konden doen. Ze konden bijvoorbeeld niet rennen of grote sprongen maken. De geleerde policies vertoonden ook niet zoveel stabiliteit in vergelijking met bewegingen die handmatig waren ontworpen. Het onderzoeksteam wil het werk verder ontwikkelen door de controllers robuuster te maken en in staat te stellen om van verschillende soorten data te leren. Ideaal gezien zullen toekomstige versies van het framework in staat zijn om van video-data te leren.