Der Roboter bringt sich selbst das Laufen durch Reinforcement Learning bei

Während Boston Dynamics und tanzende Roboter Obwohl die Ereignisse normalerweise die meiste Aufmerksamkeit erhalten, finden hinter den Kulissen einige wichtige Entwicklungen statt, über die nicht ausreichend berichtet wird. Eine dieser Entwicklungen stammt aus einem Labor in Berkeley, wo ein Roboter namens Cassie durch Verstärkungslernen sich selbst das Laufen beibringen konnte. 

Nach Versuch und Irrtum lernte das Roboterbeinpaar, in einer simulierten Umgebung zu navigieren, bevor es in der realen Welt getestet wurde. Zunächst zeigte der Roboter die Fähigkeit, in alle Richtungen zu gehen, in der Hocke zu gehen, sich neu zu positionieren, wenn er aus dem Gleichgewicht gestoßen wird, und sich an verschiedene Arten von Oberflächen anzupassen. 

Der Cassie-Roboter ist das erste Beispiel eines zweibeinigen Roboters, der das Verstärkungslernen erfolgreich beim Gehen einsetzt. 

Die Ehrfurcht vor tanzenden Robotern

Während Roboter wie die von Boston Dynamics äußerst beeindruckend sind und fast jeden, der sie betrachtet, in Erstaunen versetzen, gibt es einige Schlüsselfaktoren. Vor allem diese Roboter werden von Hand programmiert und choreografiert, um das gewünschte Ergebnis zu erzielen. In realen Situationen ist dies jedoch nicht die bevorzugte Methode. 

Außerhalb des Labors müssen Roboter robust, belastbar, flexibel und vieles mehr sein. Darüber hinaus müssen sie in der Lage sein, auf unerwartete Situationen zu stoßen und diese zu bewältigen, was nur möglich ist, wenn sie in die Lage versetzt werden, solche Situationen selbst zu bewältigen. 

Zhongyu Li war Teil des Teams, das an der Universität Berkeley an Cassie arbeitete. 

„Diese Videos könnten einige Leute glauben machen, dass es sich um ein gelöstes und einfaches Problem handelt“, sagt Li. „Aber wir haben noch einen langen Weg vor uns, bis humanoide Roboter zuverlässig in menschlichen Umgebungen funktionieren und leben.“ 

Verstärkung lernen

Um einen solchen Roboter zu entwickeln, stützte sich das Berkeley-Team auf Reinforcement Learning, das von Unternehmen wie DeepMind genutzt wurde, um Algorithmen zu trainieren, um Menschen bei den komplexesten Spielen der Welt zu schlagen. Reinforcement Learning basiert auf Versuch und Irrtum, wobei der Roboter aus seinen Fehlern lernt. 

Der Roboter Cassie nutzte Reinforcement Learning, um in einer Simulation das Laufen zu lernen. Dies ist nicht das erste Mal, dass dieser Ansatz angewendet wurde. Allerdings gelangt dieser Ansatz normalerweise nicht aus der simulierten Umgebung in die reale Welt. Schon kleine Unterschiede können dazu führen, dass der Roboter nicht mehr laufen kann. 

Die Forscher verwendeten statt einer zwei Simulationen, wobei die erste eine Open-Source-Trainingsumgebung namens MuJoCo war. In dieser ersten Simulation probierte und lernte der Algorithmus aus einer Bibliothek möglicher Bewegungen, und in der zweiten Simulation namens SimMechanics testete der Roboter sie unter realistischeren Bedingungen.

Nachdem der Algorithmus in den beiden Simulationen entwickelt wurde, war keine Feinabstimmung erforderlich. Es war bereits bereit für den Einsatz in der realen Welt. Es konnte nicht nur laufen, sondern noch viel mehr. Den Forschern zufolge konnte sich Cassie erholen, nachdem zwei Motoren im Knie des Roboters eine Fehlfunktion hatten.

Auch wenn Cassie vielleicht nicht über den ganzen Schnickschnack verfügt wie einige andere Roboter, ist er in vielerlei Hinsicht weitaus beeindruckender. Es hat auch größere Auswirkungen auf die Technologie, wenn es um den realen Einsatz geht, da ein solcher Laufroboter in vielen verschiedenen Bereichen eingesetzt werden könnte.