KI kämpft darum, Minecraft durch Nachahmungslernen zu meistern

In den letzten Monaten haben Microsoft und andere Unternehmen, die sich mit maschinellem Lernen befassen, Teams von KI-Entwicklern herausgefordert, ein KI-System zu entwickeln, das Minecraft spielen und einen Diamanten im Spiel finden kann. Wie die BBC berichtetWährend KI-Plattformen es geschafft haben, Schach und Go zu dominieren, hatte sie Schwierigkeiten, eine Aufgabe in Minecraft zu meistern.

Der auf Minecraft basierende KI-Wettbewerb von Microsoft hieß MineRL und die Wettbewerbsergebnisse wurden auf der jüngsten NeurIPS-Konferenz offiziell bekannt gegeben. Ziel des Wettbewerbs war es, eine KI durch einen „Imitation Learning“-Ansatz zu trainieren. Nachahmungslernen ist eine Methode, bei der eine KI durch Beobachtung trainiert wird. Ziel des Nachahmungslernens ist es, KI-Systemen das Erlernen von Handlungen zu ermöglichen, indem sie Menschen bei der Ausführung dieser Handlungen beobachten und durch den Akt der Beobachtung lernen. Imitationslernen ist im Vergleich zu Verstärkungslernen eine viel weniger rechenintensive und wesentlich effizientere Methode zum Training einer KI.

Reinforcement Learning erfordert häufig die Vernetzung vieler leistungsstarker Computer und Hunderte oder Tausende von Trainingsstunden, um eine Aufgabe effektiv zu bewältigen. Im Gegensatz dazu kann eine KI, die mit einer Nachahmungslernmethode trainiert wurde, viel schneller trainiert werden, da die KI dank der menschlichen Bediener, die sie durchgeführt haben, bereits über eine Wissensbasis verfügt, mit der sie arbeiten kann.

Nachahmungslernen hat praktische Anwendungen beim Training einer KI, bei der die KI erst dann sicher erkunden kann, wenn sie die richtigen Aktionen herausgefunden hat. Zu solchen Szenarien gehört das Training eines autonomen Fahrzeugs, da das Auto nicht einfach auf der Straße herumlaufen darf, bis es das gewünschte Verhalten gelernt hat. Die Verwendung der Daten eines menschlichen Demonstrators zum Trainieren des Fahrzeugs könnte den Prozess möglicherweise schneller und sicherer machen.

Um in Minecraft einen Diamanten zu finden, müssen viele Schritte nacheinander ausgeführt werden, z. B. das Fällen von Bäumen zur Herstellung von Werkzeugen, das Erkunden der Höhlen, in denen sich die Diamanten befinden, und das tatsächliche Finden eines Diamanten in der Höhle. Trotz der Komplexität der Aufgabe sollte ein menschlicher Spieler, der mit dem Spiel vertraut ist, in etwa 20 Minuten in der Lage sein, einen Diamanten zu erhalten.

Über 660 verschiedene KI-Agenten wurden zum Wettbewerb eingereicht, aber keine einzige der KIs konnte einen Diamanten finden. Bei den zum Training der KI bereitgestellten Daten handelte es sich um einen Datensatz mit über 60 Millionen Gameplay-Frames, die von vielen menschlichen Spielern gesammelt wurden. Die Standorte der Diamanten werden zu Beginn einer Spielinstanz zufällig ausgewählt, was bedeutet, dass die KIs nicht einfach nachsehen können, wo die menschlichen Spieler die Diamanten gefunden haben. Mit anderen Worten: Die KIs müssen ein Verständnis dafür entwickeln, wie Konzepte wie die Herstellung von Werkzeugen, die Verwendung von Werkzeugen, das Erkunden und das Finden von Ressourcen miteinander verknüpft sind.

Obwohl es keinem der KI-Agenten gelang, erfolgreich einen Diamanten zu finden, war das Organisationsteam dennoch zufrieden mit den Ergebnissen des Wettbewerbs und zeigte, dass aus dem Experiment noch viel gelernt wurde. Die von den KI-Teams durchgeführten Untersuchungen können dazu beitragen, den KI-Bereich voranzutreiben und Alternativen zu Strategien des verstärkenden Lernens zu finden.

Reinforcement-Learning liefert oft eine bessere Leistung als Imitationslernen, wobei ein bemerkenswerter Erfolg des Reinforcement-Learnings DeepMinds AlphaGo ist. Allerdings erfordert Reinforcement Learning, wie bereits erwähnt, enorme Rechenressourcen, was seine Nutzung durch Organisationen einschränkt, die sich keine Computerprozessoren im großen Maßstab leisten können.

William Guss, Doktorand an der Carnegie Mellon University und Hauptorganisator des Wettbewerbs, der BBC erklärt dass der MineRL-Wettbewerb dazu gedacht war, Alternativen zur rechenintensiven KI zu untersuchen. Guss sagte:

„...Probleme mit massiver Rechenleistung zu lösen, ist für uns nicht unbedingt der richtige Weg, den Stand der Technik als Fachgebiet voranzutreiben... Es wirkt sich direkt gegen die Demokratisierung des Zugangs zu diesen Reinforcement-Learning-Systemen aus und überlässt die Fähigkeit, Agenten in komplexen Umgebungen zu schulen Unternehmen mit riesigen Rechenkapazitäten.“