Roboter lehrt sich selbst durch Reinforcement Learning zu laufen

Während Boston Dynamics und tanzende Roboter normalerweise die meiste Aufmerksamkeit erhalten, gibt es einige wichtige Entwicklungen, die im Hintergrund stattfinden und nicht genug Beachtung erhalten. Eine dieser Entwicklungen kommt aus einem Berkeley-Labor, wo ein Roboter namens Cassie es schaffte, sich selbst durch Reinforcement Learning zu laufen.

Nach Versuch und Irrtum lernten die beiden robotischen Beine, in einer simulierten Umgebung zu navigieren, bevor sie in der realen Welt getestet wurden. Anfangs zeigte der Roboter die Fähigkeit, in alle Richtungen zu laufen, während er sich hinsetzte, sich neu ausrichtete, wenn er aus dem Gleichgewicht gebracht wurde, und sich an verschiedene Arten von Oberflächen anpasste.

Der Cassie-Roboter ist das erste Beispiel für einen zweibeinigen Roboter, der erfolgreich Reinforcement Learning verwendet, um zu laufen.

Die Bewunderung für tanzende Roboter

Während Roboter wie die von Boston Dynamics extrem beeindruckend sind und fast jeden, der sie sieht, in Erstaunen versetzen, gibt es einige wichtige Faktoren. Vor allem werden diese Roboter von Hand programmiert und choreographiert, um das Ergebnis zu erzielen, aber dies ist nicht die bevorzugte Methode in realen Situationen.

Außerhalb des Labors müssen Roboter robust, widerstandsfähig, flexibel und vieles mehr sein. Darüber hinaus müssen sie in der Lage sein, unerwartete Situationen zu begegnen und zu bewältigen, was nur möglich ist, indem sie in die Lage versetzt werden, solche Situationen selbst zu bewältigen.

Zhongyu Li war Teil des Teams, das an Cassie an der University of Berkeley arbeitete.

“Diese Videos können einige Menschen dazu bringen, zu glauben, dass dies ein gelöstes und einfaches Problem ist”, sagt Li. “Aber wir haben noch einen langen Weg vor uns, um humanoiden Robotern zu ermöglichen, zuverlässig in menschlichen Umgebungen zu operieren und zu leben.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Reinforcement Learning

Um einen solchen Roboter zu erstellen, verließ sich das Berkeley-Team auf Reinforcement Learning, das von Unternehmen wie DeepMind verwendet wurde, um Algorithmen zu trainieren, die menschliche Wesen bei den komplexesten Spielen der Welt besiegen. Reinforcement Learning basiert auf Versuch und Irrtum, wobei der Roboter aus seinen Fehlern lernt.

Der Cassie-Roboter verwendete Reinforcement Learning, um zu lernen, in einer Simulation zu laufen, was nicht das erste Mal ist, dass dieser Ansatz verwendet wurde. Allerdings kommt dies normalerweise nicht aus der simulierten Umgebung in die reale Welt. Selbst eine kleine Differenz kann dazu führen, dass der Roboter nicht laufen kann.

Die Forscher verwendeten zwei Simulationen anstelle einer, wobei die erste eine Open-Source-Trainingsumgebung namens MuJoCo war. In dieser ersten Simulation versuchte der Algorithmus und lernte aus einer Bibliothek möglicher Bewegungen, und in der zweiten Simulation namens SimMechanics testete der Roboter sie in realistischeren Bedingungen aus.

Nach der Entwicklung in den beiden Simulationen musste der Algorithmus nicht fein abgestimmt werden. Er war bereits bereit, in der realen Welt eingesetzt zu werden. Er konnte nicht nur laufen, sondern auch viel mehr. Laut den Forschern konnte Cassie sich erholen, nachdem zwei Motoren im Knie des Roboters ausgefallen waren.

Während Cassie möglicherweise nicht alle Glocken und Pfiffe wie einige andere Roboter hat, ist er in vielen Bereichen viel beeindruckender. Er hat auch größere Auswirkungen auf die Technologie, wenn es um die reale Welt geht, da ein solcher laufender Roboter in vielen verschiedenen Bereichen eingesetzt werden könnte.