Technik ermöglicht es der KI, weit in die Zukunft zu denken

Ein Forscherteam des MIT, des MIT-IBM Watson AI Lab und anderer Institutionen hat einen neuen Ansatz entwickelt, der es Agenten der künstlichen Intelligenz (KI) ermöglicht, eine weitsichtige Perspektive zu erreichen. Mit anderen Worten: Die KI kann weit in die Zukunft denken, wenn sie darüber nachdenkt, wie ihr Verhalten das Verhalten anderer KI-Agenten bei der Erledigung einer Aufgabe einbeziehen kann. 

Das Forschungsprojekte soll auf der vorgestellt werden Konferenz über neuronale Informationsverarbeitungssysteme.

KI berücksichtigt die zukünftigen Aktionen anderer Agenten

Das vom Team erstellte Framework für maschinelles Lernen ermöglicht es kooperativen oder konkurrierenden KI-Agenten, zu überlegen, was andere Agenten tun werden. Dies betrifft nicht nur die nächsten Schritte, sondern vielmehr die Zeit, die sich der Unendlichkeit nähert. Die Agenten passen ihr Verhalten entsprechend an, um das zukünftige Verhalten anderer Agenten zu beeinflussen und ihnen zu helfen, optimale, langfristige Lösungen zu finden. 

Nach Angaben des Teams könnte das Framework beispielsweise von einer Gruppe autonomer Drohnen genutzt werden, die zusammenarbeiten, um einen verlorenen Wanderer zu finden. Es könnte auch von selbstfahrenden Fahrzeugen genutzt werden, um zukünftige Bewegungen anderer Fahrzeuge vorherzusagen und so die Sicherheit der Passagiere zu verbessern.

Dong-Ki Kim ist Doktorand am MIT Laboratory for Information and Decision Systems (LIDS) und Hauptautor der Forschungsarbeit. 

„Wenn KI-Agenten kooperieren oder konkurrieren, kommt es vor allem darauf an, ob ihre Verhaltensweisen irgendwann in der Zukunft übereinstimmen“, sagt Kim. „Es gibt viele vorübergehende Verhaltensweisen, die auf lange Sicht keine große Rolle spielen. Es ist uns wirklich wichtig, dieses konvergierte Verhalten zu erreichen, und wir haben jetzt eine mathematische Möglichkeit, dies zu ermöglichen.“

Das von den Forschern angegangene Problem wird Multi-Agent Reinforcement Learning genannt, wobei Reinforcement Learning eine Form des maschinellen Lernens ist, bei dem KI-Agenten durch Versuch und Irrtum lernen. 

Immer wenn mehrere kooperative oder konkurrierende Agenten gleichzeitig lernen, kann der Prozess weitaus komplexer werden. Da Agenten mehr zukünftige Schritte der anderen Agenten sowie ihr eigenes Verhalten und dessen Einfluss auf andere berücksichtigen, erfordert das Problem zu viel Rechenleistung. 

KI denkt über die Unendlichkeit nach

„Die KI möchte wirklich über das Ende des Spiels nachdenken, aber sie weiß nicht, wann das Spiel enden wird“, sagt Kim. „Sie müssen darüber nachdenken, wie sie ihr Verhalten bis ins Unendliche anpassen können, damit sie irgendwann in der Zukunft gewinnen können. Unser Artikel schlägt im Wesentlichen ein neues Ziel vor, das es einer KI ermöglicht, über die Unendlichkeit nachzudenken.“ 

Es ist unmöglich, Unendlichkeit in einen Algorithmus zu integrieren. Deshalb hat das Team das System so konzipiert, dass sich Agenten auf einen zukünftigen Punkt konzentrieren, an dem ihr Verhalten mit dem anderer Agenten übereinstimmt. Dies wird als Gleichgewicht bezeichnet und ein Gleichgewichtspunkt bestimmt die langfristige Leistung von Agenten. 

Es ist möglich, dass in einem Multi-Agenten-Szenario mehrere Gleichgewichte existieren, und wenn ein wirksamer Agent das zukünftige Verhalten anderer Agenten aktiv beeinflusst, können diese aus Sicht des Agenten ein wünschenswertes Gleichgewicht erreichen. Wenn sich alle Akteure gegenseitig beeinflussen, konvergieren sie zu einem allgemeinen Konzept, das als „aktives Gleichgewicht“ bezeichnet wird. 

WEITERE Rahmenbedingungen

Das maschinelle Lern-Framework des Teams heißt FURTHER und ermöglicht es Agenten zu lernen, wie sie ihr Verhalten basierend auf ihren Interaktionen mit anderen Agenten anpassen können, um ein aktives Gleichgewicht zu erreichen. 

Das Framework basiert auf zwei Modulen für maschinelles Lernen. Das erste ist ein Inferenzmodul, das es einem Agenten ermöglicht, das zukünftige Verhalten anderer Agenten und die von ihnen verwendeten Lernalgorithmen auf der Grundlage früherer Aktionen zu erraten. Die Informationen werden dann in das Reinforcement-Learning-Modul eingespeist, auf das sich der Agent verlässt, um sein Verhalten anzupassen und andere Agenten zu beeinflussen. 

„Die Herausforderung bestand darin, an die Unendlichkeit zu denken. Wir mussten viele verschiedene mathematische Werkzeuge verwenden, um dies zu ermöglichen, und einige Annahmen treffen, damit es in der Praxis funktioniert“, sagt Kim. 

Das Team testete seine Methode im Vergleich zu anderen Multiagenten-Reinforcement-Learning-Frameworks in verschiedenen Szenarien, wobei die KI-Agenten, die FURTHER nutzten, die Nase vorn hatten. 

Der Ansatz ist dezentral, sodass die Agenten lernen, selbstständig zu gewinnen. Darüber hinaus lässt es sich besser skalieren als andere Methoden, die einen zentralen Computer zur Steuerung der Agenten erfordern. 

Nach Angaben des Teams könnte FURTHER bei einer Vielzahl von Multiagentenproblemen eingesetzt werden. Kim hofft besonders auf seine Anwendung in den Wirtschaftswissenschaften, wo es zur Entwicklung einer soliden Politik in Situationen eingesetzt werden könnte, an denen viele interagierende Einheiten mit Verhaltensweisen und Interessen beteiligt sind, die sich im Laufe der Zeit ändern.