Ubisoft trainiert ein KI-Modell, um ein Auto in einem Rennspiel zu steuern

Der Begriff “KI” wird oft in Diskussionen über Videospiele verwendet, aber er bezieht sich normalerweise auf die Logik, die nicht-spielbare Charaktere in Videospiele steuert, anstatt auf ein System, das von Computerwissenschaftlern als KI anerkannt wird. Tatsächliche Anwendungen von KI, die künstliche neuronale Netze verwenden, sind ziemlich selten in der Videospielindustrie, aber wie VentureBeat berichtet, hat das Spieleunternehmen Ubisoft kürzlich eine Studie veröffentlicht, die mögliche Anwendungen für ein KI-Modell untersucht, das mit Verstärkungslernen trainiert wurde.

Während Entitäten wie DeepMind und OpenAI untersucht haben, wie KI-Modelle in verschiedenen Videospiele wie StarCraft 2, Dota 2 und Minecraft performen, wurde sehr wenig Forschung über den Einsatz von KI unter den spezifischen Einschränkungen durchgeführt, die Spielentwickler oft haben. Ubisoft La Forge, der Prototyping-Arm von Ubisoft, hat kürzlich eine Studie veröffentlicht, die einen Algorithmus beschreibt, der in der Lage ist, vorhersehbare Aktionen in einem kommerziellen Videospiel auszuführen. Laut dem Bericht waren die KI-Algorithmen in der Lage, aktuelle Benchmarks zu erreichen und komplexe Aufgaben zuverlässig auszuführen.

Die Autoren der Studie bemerken, dass Verstärkungslernen in bestimmten Videospieleinen Kontext zu großartigen Ergebnissen geführt hat, oft mit Ergebnissen, die mit denen der besten menschlichen Spieler vergleichbar sind, aber die Systeme, die von OpenAI und DeepMind erstellt wurden, sind selten für Spielentwickler nützlich. Die Autoren bemerken, dass der Mangel an Zugänglichkeit ein großes Problem ist und dass die meisten beeindruckenden Ergebnisse von großen Forschungsgruppen mit Rechenressourcen erzielt werden, die weit über dem liegen, was typischerweise in Videospielstudios verfügbar ist. Die Forscher schrieben:

„Diese Systeme haben im Vergleich wenig Einsatz in der Videospielindustrie gesehen, und wir glauben, dass der Mangel an Zugänglichkeit ein wichtiger Grund dafür ist. Tatsächlich werden die meisten beeindruckenden Ergebnisse … von großen Forschungsgruppen mit Rechenressourcen erzielt, die weit über dem liegen, was typischerweise in Videospielstudios verfügbar ist.“

Das Forschungsteam von Ubisoft versuchte, einige dieser Probleme zu lösen, indem es einen Verstärkungslernansatz entwickelte, der auf Probleme wie Datensample-Sammlung und Laufzeit-Budget-Einschränkungen optimiert war. Ubisofts Lösung basierte auf Forschung, die an der University of California, Berkeley, durchgeführt wurde. Das Soft Actor-Critic-Modell, das von den Forschern an der UC Berkeley entwickelt wurde, kann ein Modell erstellen, das effektiv auf neue Bedingungen generalisieren kann und viel effizienter ist als die meisten Modelle. Das Ubisoft-Team nahm diesen Ansatz und passte ihn für diskrete und kontinuierliche Aktionen an.

Das Ubisoft-Forschungsteam bewertete die Leistung seines Algorithmus in drei verschiedenen Spielen. Es wurden zwei Fußballspiele verwendet, um den Algorithmus zu testen, sowie ein einfaches Plattform-Spiel. Während die Ergebnisse für diese Spiele slightly schlechter waren als die Ergebnisse der Branche, wurde ein weiterer Test durchgeführt, bei dem die Algorithmen viel besser performten. Die Forscher verwendeten ein Rennspiel als Testfall, bei dem das KI-Modell einem vorgegebenen Pfad folgen und Hindernisse in einer Umgebung überwinden musste, die das Modell während des Trainings nicht gesehen hatte. Es gab zwei kontinuierliche Aktionen, Lenken und Beschleunigen, sowie eine binäre Aktion (Bremsen).

Die Forscher fassten ihre Ergebnisse in der Studie zusammen und erklärten, dass der hybride Soft Actor-Critic-Ansatz erfolgreich war, als sie ein KI-Modell trainierten, um mit hoher Geschwindigkeit in einem kommerziell verfügbaren Videospiel zu fahren. Laut den Forschern kann ihr Trainingsansatz möglicherweise für eine Vielzahl von möglichen Interaktionsansätzen funktionieren. Dazu gehören Fälle, in denen das KI-Modell die gleichen Eingabemöglichkeiten wie der Spieler hat, was die “praktische Nützlichkeit eines solchen Algorithmus für die Videospielindustrie” demonstriert.