KI-Systeme kämpfen darum, Minecraft durch Imitationslernen zu meistern

Im Laufe der letzten Monate haben Microsoft (MSFT ) und andere Unternehmen, die sich mit maschinellem Lernen beschäftigen, Teams von KI-Entwicklern dazu herausgefordert, ein KI-System zu erstellen, das Minecraft spielen und einen Diamanten innerhalb des Spiels finden kann. Wie die BBC berichtet, obwohl KI-Plattformen es geschafft haben, Schach und Go zu dominieren, hat sie Schwierigkeiten, eine Aufgabe in Minecraft zu meistern.

Microsofts Minecraft-basierte KI-Herausforderung wurde MineRL genannt, und die Wettbewerbsergebnisse wurden auf der jüngsten NeurIPS-Konferenz offiziell bekannt gegeben. Die Absicht des Wettbewerbs bestand darin, ein KI-System durch einen “Imitationslernen”-Ansatz zu trainieren. Imitationslernen ist eine Methode, bei der ein KI-System durch Beobachtung trainiert wird. Imitationslernen soll es KI-Systemen ermöglichen, Aktionen zu erlernen, indem sie menschliche Aktionen beobachten, und durch die Beobachtung zu lernen. Imitationslernen ist im Vergleich zum Reinforcement-Lernen eine viel weniger rechenintensive und wesentlich effizientere Methode, um ein KI-System zu trainieren.

Reinforcement-Lernen erfordert oft viele leistungsstarke Computer, die vernetzt sind, und Hunderte oder Tausende von Trainingsstunden, um effektiv zu werden. Im Gegensatz dazu kann ein KI-System, das mit einer Imitationslernen-Methode trainiert wird, viel schneller trainiert werden, da das KI-System bereits eine Grundlage an Wissen hat, das es von den menschlichen Operatoren übernommen hat, die es vorhergesehen haben.

Imitationslernen hat praktische Anwendungen beim Training eines KI-Systems, bei dem das KI-System nicht sicher explorieren kann, bis es die richtigen Aktionen erlernt hat. Solche Szenarien würden das Training eines autonomen Fahrzeugs umfassen, da das Fahrzeug nicht einfach auf einer Straße herumfahren kann, bis es die gewünschten Verhaltensweisen erlernt hat. Die Verwendung von Daten eines menschlichen Demonstrators, um das Fahrzeug zu trainieren, könnte den Prozess möglicherweise schneller und sicherer machen.

Die Aktion, einen Diamanten in Minecraft zu finden, erfordert die Ausführung vieler Schritte in Folge, wie das Fällen von Bäumen, um Werkzeuge herzustellen, das Erforschen von Höhlen, die Diamanten enthalten, und das tatsächliche Finden eines Diamanten in der Höhle. Trotz der Komplexität der Aufgabe sollte ein menschlicher Spieler, der mit dem Spiel vertraut ist, in der Lage sein, einen Diamanten in etwa 20 Minuten zu finden.

Über 660 verschiedene KI-Agents wurden zum Wettbewerb eingereicht, aber keines der KI-Systeme konnte einen Diamanten finden. Die zum Training des KI-Systems bereitgestellten Daten bestanden aus einer Datenbank mit über 60 Millionen Frames von Spielzügen, die von vielen menschlichen Spielern gesammelt wurden. Die Positionen der Diamanten sind randomisiert, wenn eine Instanz des Spiels gestartet wird, was bedeutet, dass die KI-Systeme nicht einfach dort suchen können, wo die menschlichen Spieler die Diamanten gefunden haben. Mit anderen Worten, die KI-Systeme müssen ein Verständnis davon entwickeln, wie Konzepte wie das Herstellen von Werkzeugen, das Verwenden von Werkzeugen, das Erforschen und das Finden von Ressourcen miteinander verknüpft sind.

Trotz der Tatsache, dass keines der KI-Systeme in der Lage war, erfolgreich einen Diamanten zu finden, war das Organisationsteam dennoch mit den Ergebnissen des Wettbewerbs zufrieden und viel wurde aus dem Experiment gelernt. Die Forschung, die die KI-Teams durchgeführt haben, kann dazu beitragen, das KI-Feld voranzubringen und Alternativen zu Reinforcement-Learning-Strategien zu finden.

Reinforcement-Lernen bietet oft eine bessere Leistung als Imitationslernen, mit einem bemerkenswerten Erfolg von DeepMinds AlphaGo. Allerdings, wie bereits erwähnt, erfordert Reinforcement-Lernen massive Rechenressourcen, was seine Verwendung durch Organisationen einschränkt, die nicht in der Lage sind, Computerprozessoren im großen Maßstab zu bezahlen.

William Guss, PhD-Student an der Carnegie Mellon University und Leiter des Wettbewerbs, erklärte der BBC, dass der MineRL-Wettbewerb darauf abzielte, Alternativen zu rechenintensiven KI-Systemen zu erforschen. Guss sagte:

“…Das Werfen von massiven Rechenleistungen auf Probleme ist nicht unbedingt der richtige Weg, um den Stand der Technik in unserem Feld voranzubringen… Es wirkt direkt gegen die Demokratisierung des Zugangs zu diesen Reinforcement-Learning-Systemen und lässt die Fähigkeit, Agenten in komplexen Umgebungen zu trainieren, bei Unternehmen mit großen Rechenkapazitäten.”