Le robot s'apprend à parcourir l'apprentissage par renforcement

Alors que Boston Dynamics et robots dansants reçoivent généralement la majeure partie de l'attention, il y a des développements majeurs qui se déroulent dans les coulisses qui ne reçoivent pas suffisamment de couverture. L'un de ces développements provient d'un laboratoire de Berkeley, où un robot nommé Cassie a pu apprendre à parcourir l'apprentissage par renforcement. 

Après essais et erreurs, la paire de jambes robotiques a appris à naviguer dans un environnement simulé avant d'être testée dans le monde réel. Au départ, le robot a démontré sa capacité à marcher dans toutes les directions, à marcher en s'accroupissant, à se repositionner lorsqu'il est déséquilibré et à s'adapter à différents types de surfaces. 

Le robot Cassie est le premier exemple d'un robot à deux pattes utilisant avec succès l'apprentissage par renforcement de la marche. 

La crainte des robots dansants

Alors que les robots tels que ceux de Boston Dynamics sont extrêmement impressionnants et impressionnent presque tous ceux qui les regardent, il y a quelques facteurs clés. Plus particulièrement, ces robots sont programmés et chorégraphiés à la main afin d'obtenir le résultat, mais ce n'est pas la méthode préférée dans des situations réelles. 

En dehors du laboratoire, les robots doivent être robustes, résilients, flexibles et bien plus encore. En plus de tout cela, ils doivent être capables de faire face et de gérer des situations inattendues, ce qui ne peut être fait qu'en leur permettant de gérer eux-mêmes de telles situations. 

Zhongyu Li faisait partie de l'équipe travaillant sur Cassie à l'Université de Berkeley. 

"Ces vidéos peuvent amener certaines personnes à croire qu'il s'agit d'un problème résolu et facile", déclare Li. "Mais nous avons encore un long chemin à parcourir pour que les robots humanoïdes fonctionnent et vivent de manière fiable dans des environnements humains." 

Apprentissage par renforcement

Afin de créer un tel robot, l'équipe de Berkeley s'est appuyée sur l'apprentissage par renforcement, qui a été utilisé par des entreprises comme DeepMind pour former des algorithmes pour battre les êtres humains aux jeux les plus complexes du monde. L'apprentissage par renforcement est basé sur des essais et des erreurs, le robot apprenant de ses erreurs. 

Le robot Cassie a utilisé l'apprentissage par renforcement pour apprendre à marcher en simulation, ce qui n'est pas la première fois que cette approche est utilisée. Cependant, cette approche ne parvient généralement pas à passer de l'environnement simulé au monde réel. Même une petite différence peut empêcher le robot de marcher. 

Les chercheurs ont utilisé deux simulations plutôt qu'une, la première étant un environnement de formation open source appelé MuJoCo. Dans cette première simulation, l'algorithme a essayé et appris à partir d'une bibliothèque de mouvements possibles, et dans la deuxième simulation appelée SimMechanics, le robot les a testés dans des conditions plus réelles.

Après avoir été développé dans les deux simulations, l'algorithme n'a pas eu besoin d'être peaufiné. Il était déjà prêt à entrer dans le monde réel. Non seulement il était capable de marcher, mais il était capable de faire beaucoup plus. Selon les chercheurs, Cassie a pu récupérer après le dysfonctionnement de deux moteurs dans le genou du robot.

Bien que Cassie n'ait peut-être pas toutes les cloches et tous les sifflets comme certains des autres robots, elle est à bien des égards beaucoup plus impressionnante. Cela a également des implications plus importantes pour la technologie en ce qui concerne l'utilisation dans le monde réel, car un tel robot marcheur pourrait être utilisé dans de nombreux secteurs différents.