Technik ermöglicht es KI, weit in die Zukunft zu denken

Ein Team von Forschern der MIT, des MIT-IBM Watson AI Lab und anderer Institutionen hat einen neuen Ansatz entwickelt, der es künstlichen Intelligenz (KI)-Agenten ermöglicht, eine weitsichtige Perspektive zu erlangen. Mit anderen Worten: Die KI kann weit in die Zukunft denken, wenn sie ihre Verhaltensweisen und die Verhaltensweisen anderer KI-Agents berücksichtigt, wenn sie eine Aufgabe ausführen.

Die Forschung soll auf der Konferenz über neuronale Informationsverarbeitungssysteme präsentiert werden.

KI berücksichtigt die zukünftigen Aktionen anderer Agenten

Das von dem Team entwickelte maschinelle Lern-Framework ermöglicht es kooperativen oder konkurrierenden KI-Agents, zu berücksichtigen, was andere Agenten tun werden. Dies ist nicht nur für die nächsten Schritte, sondern vielmehr für die Zeit, die bis ins Unendliche reicht. Die Agenten passen ihr Verhalten entsprechend an, um das zukünftige Verhalten anderer Agenten zu beeinflussen und so optimale, langfristige Lösungen zu erreichen.

Laut dem Team könnte das Framework beispielsweise von einer Gruppe autonomer Drohnen verwendet werden, die zusammenarbeiten, um einen verlorenen Wanderer zu finden. Es könnte auch von selbstfahrenden Fahrzeugen verwendet werden, um die zukünftigen Bewegungen anderer Fahrzeuge vorherzusagen und so die Sicherheit der Passagiere zu verbessern.

Dong-Ki Kim ist ein Doktorand im MIT Laboratory for Information and Decision Systems (LIDS) und Erstautor der Forschungsarbeit.

“Wenn KI-Agents kooperieren oder konkurrieren, ist es am wichtigsten, wenn ihre Verhaltensweisen sich zu einem bestimmten Zeitpunkt in der Zukunft konvergieren”, sagt Kim. “Es gibt viele vorübergehende Verhaltensweisen auf dem Weg, die nicht sehr wichtig sind, wenn man langfristig denkt. Das Erreichen dieses konvergierten Verhaltens ist das, was wir wirklich wollen, und wir haben jetzt eine mathematische Möglichkeit, dies zu ermöglichen.”

Das Problem, das die Forscher angegangen sind, ist das sogenannte multi-agenten-Reinforcement-Learning, wobei Reinforcement-Learning eine Form des maschinellen Lernens ist, bei der KI-Agents durch Trial und Error lernen.

Wenn es mehrere kooperative oder konkurrierende Agenten gibt, die gleichzeitig lernen, kann der Prozess viel komplexer werden. Wenn die Agenten mehr zukünftige Schritte der anderen Agenten sowie ihr eigenes Verhalten und dessen Einfluss auf andere berücksichtigen, benötigt das Problem zu viel Rechenleistung.

KI denkt über die Unendlichkeit nach

“Die KI will wirklich über das Ende des Spiels nachdenken, aber sie weiß nicht, wann das Spiel enden wird”, sagt Kim. “Sie muss überlegen, wie sie ihr Verhalten anpassen kann, um bis ins Unendliche zu gelangen, damit sie irgendwann in der Zukunft gewinnen kann. Unsere Arbeit schlägt im Wesentlichen ein neues Ziel vor, das es der KI ermöglicht, über die Unendlichkeit nachzudenken.”

Es ist unmöglich, die Unendlichkeit in einen Algorithmus zu integrieren, daher haben die Forscher das System so konzipiert, dass die Agenten sich auf einen zukünftigen Punkt konzentrieren, an dem ihr Verhalten mit dem der anderen Agenten konvergiert. Dies wird als Gleichgewicht bezeichnet, und ein Gleichgewichtspunkt bestimmt die langfristige Leistung der Agenten.

Es ist möglich, dass in einem multi-agenten-Szenario mehrere Gleichgewichte existieren, und wenn ein effektiver Agent das zukünftige Verhalten anderer Agenten aktiv beeinflusst, kann er ein wünschenswertes Gleichgewicht aus seiner Perspektive erreichen. Wenn alle Agenten sich gegenseitig beeinflussen, konvergieren sie zu einem allgemeinen Konzept, das als „aktives Gleichgewicht“ bezeichnet wird.

FURTHER-Framework

Das maschinelle Lern-Framework des Teams heißt FURTHER und ermöglicht es den Agenten, zu lernen, wie sie ihr Verhalten anpassen können, um aufgrund ihrer Interaktionen mit anderen Agenten ein aktives Gleichgewicht zu erreichen.

Das Framework basiert auf zwei maschinellen Lern-Modulen. Das erste ist ein Inferenz-Modul, das es einem Agenten ermöglicht, die zukünftigen Verhaltensweisen anderer Agenten und die Lernalgorithmen, die sie verwenden, basierend auf vorherigen Aktionen zu erraten. Die Informationen werden dann in das Reinforcement-Learning-Modul eingespeist, auf das der Agent angewiesen ist, um sein Verhalten anzupassen und das Verhalten anderer Agenten zu beeinflussen.

“Die Herausforderung bestand darin, über die Unendlichkeit nachzudenken. Wir mussten viele verschiedene mathematische Werkzeuge verwenden, um dies zu ermöglichen, und einige Annahmen treffen, um es in der Praxis umzusetzen”, sagt Kim.

Das Team testete seine Methode gegen andere multi-agenten-Reinforcement-Learning-Frameworks in verschiedenen Szenarien, in denen die KI-Agents, die FURTHER verwendeten, besser abschnitten.

Der Ansatz ist dezentralisiert, sodass die Agenten unabhängig lernen, zu gewinnen. Darüber hinaus ist er besser geeignet, um zu skalieren, im Vergleich zu anderen Methoden, die einen zentralen Computer benötigen, um die Agenten zu steuern.

Laut dem Team könnte FURTHER in einer Vielzahl von multi-agenten-Problemen eingesetzt werden. Kim ist insbesondere hoffnungsvoll hinsichtlich seiner Anwendungen in der Wirtschaft, wo es verwendet werden könnte, um eine vernünftige Politik in Situationen zu entwickeln, in denen viele interagierende Entitäten mit Verhaltensweisen und Interessen beteiligt sind, die sich im Laufe der Zeit ändern.