Le robot s’apprend à marcher grâce à l’apprentissage par renforcement

Alors que Boston Dynamics et les robots dansants reçoivent généralement la plus grande attention, il y a des développements importants qui ont lieu en coulisses et qui ne reçoivent pas suffisamment de couverture. L’un de ces développements provient d’un laboratoire de Berkeley, où un robot nommé Cassie a pu s’apprendre à marcher grâce à l’apprentissage par renforcement. 

Après des essais et des erreurs, la paire de jambes robotiques a appris à naviguer dans un environnement simulé avant d’être testée dans le monde réel. Initialement, le robot a démontré sa capacité à marcher dans toutes les directions, à marcher en s’accroupissant, à se rétablir lorsqu’il était poussé hors de l’équilibre et à s’adapter à différents types de surfaces. 

Le robot Cassie est le premier exemple d’un robot à deux jambes qui utilise avec succès l’apprentissage par renforcement pour marcher. 

L’émerveillement des robots dansants

Alors que les robots tels que ceux de Boston Dynamics sont extrêmement impressionnants et émerveillent presque tout le monde qui les regarde, il y a quelques facteurs clés. Le plus notable est que ces robots sont programmés et chorégraphiés à la main pour obtenir le résultat, mais ce n’est pas la méthode préférée dans les situations du monde réel. 

En dehors du laboratoire, les robots doivent être robustes, résilients, flexibles et bien plus encore. En plus de tout cela, ils doivent être capables de rencontrer et de gérer des situations inattendues, ce qui ne peut être fait que en leur permettant de gérer ces situations eux-mêmes. 

Zhongyu Li faisait partie de l’équipe qui travaillait sur Cassie à l’Université de Berkeley. 

« Ces vidéos peuvent amener certaines personnes à penser que c’est un problème résolu et facile », dit Li. « Mais nous avons encore un long chemin à parcourir pour avoir des robots humanoïdes qui opèrent de manière fiable et vivent dans des environnements humains. » 

https://www.youtube.com/watch?v=goxCjGPQH7U

Apprentissage par renforcement

Pour créer un tel robot, l’équipe de Berkeley a reposé sur l’apprentissage par renforcement, qui a été utilisé par des entreprises comme DeepMind pour former des algorithmes pour battre les humains aux jeux les plus complexes du monde. L’apprentissage par renforcement est basé sur les essais et les erreurs, le robot apprenant de ses erreurs. 

Le robot Cassie a utilisé l’apprentissage par renforcement pour apprendre à marcher dans une simulation, ce qui n’est pas la première fois que cette approche a été utilisée. Cependant, cela ne sort généralement pas de l’environnement simulé et ne pénètre pas dans le monde réel. Même une petite différence peut entraîner l’échec du robot pour marcher. 

Les chercheurs ont utilisé deux simulations plutôt qu’une, la première étant un environnement de formation open source appelé MuJoCo. Dans cette première simulation, l’algorithme a essayé et a appris à partir d’une bibliothèque de mouvements possibles, et dans la deuxième simulation appelée SimMechanics, le robot les a testés dans des conditions plus réalistes. 

Après avoir été développé dans les deux simulations, l’algorithme n’a pas eu besoin d’être affiné. Il était déjà prêt à être utilisé dans le monde réel. Non seulement il a pu marcher, mais il a également pu faire beaucoup plus. Selon les chercheurs, Cassie a pu se rétablir après que deux moteurs dans le genou du robot aient dysfonctionné. 

Alors que Cassie n’a peut-être pas tous les cloches et les sifflets comme certains des autres robots, il est de nombreuses manières beaucoup plus impressionnant. Il a également de plus grandes implications pour la technologie lorsqu’il s’agit d’utilisation dans le monde réel, car un tel robot marchant pourrait être utilisé dans de nombreux secteurs différents.