Forschungsteam entwickelt Ansatz zum Vergleich neuronaler Netze

Ein Team von Forschern am Los Alamos National Laboratory hat einen neuen Ansatz zum Vergleich neuronaler Netze entwickelt. Laut dem Team bietet dieser neue Ansatz einen Blick in die “Black Box” der künstlichen Intelligenz (KI) und hilft dabei, das Verhalten von neuronalen Netzen zu verstehen. Neuronale Netze, die Muster in Datenmengen erkennen, werden für eine Vielzahl von Anwendungen wie Gesichtserkennungssysteme und autonome Fahrzeuge eingesetzt.

Das Team stellte sein Papier, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” auf der Konferenz über Unsicherheit in der künstlichen Intelligenz vor.

Haydn Jones ist Forscher in der Gruppe Advanced Research in Cyber Systems am Los Alamos und Hauptautor des Forschungspapiers.

Besseres Verständnis neuronaler Netze

“Die Forschergemeinschaft im Bereich künstliche Intelligenz verfügt nicht unbedingt über ein vollständiges Verständnis dessen, was neuronale Netze tun; sie liefern uns gute Ergebnisse, aber wir wissen nicht, wie oder warum,” sagte Jones. “Unsere neue Methode ermöglicht es uns, neuronale Netze besser zu vergleichen, was ein entscheidender Schritt auf dem Weg zu einem besseren Verständnis der Mathematik hinter der KI ist.“

Die neue Forschung wird auch dazu beitragen, dass Experten das Verhalten von robusten neuronalen Netzen besser verstehen.

Neuronale Netze sind zwar leistungsstark, aber auch anfällig für Störungen. Kleine Änderungen in den Bedingungen, wie zum Beispiel ein teilweise abgedecktes Stoppschild, das von einem autonomen Fahrzeug verarbeitet wird, können dazu führen, dass das neuronale Netz das Schild falsch identifiziert. Dies kann dazu führen, dass das Fahrzeug gar nicht anhält, was gefährlich sein kann.

Adversarial-Training neuronaler Netze

Die Forscher versuchten, diese Art von neuronalen Netzen zu verbessern, indem sie nach Möglichkeiten suchten, die Netzrobustheit zu erhöhen. Ein Ansatz besteht darin, die Netze während ihres Trainingsprozesses anzugreifen, indem absichtlich Störungen eingeführt werden, während die KI trainiert wird, diese zu ignorieren. Dieser Prozess, der als Adversarial-Training bezeichnet wird, macht es schwieriger für die Netze, getäuscht zu werden.

Das Team wendete die neue Metrik der Netzähnlichkeit auf adversariell trainierte neuronale Netze an. Sie waren überrascht, festzustellen, dass Adversarial-Training neuronale Netze im Bereich der Computer-Vision dazu bringt, bei zunehmender Größe des Angriffs auf ähnliche Datenrepräsentationen zu konvergieren, unabhängig von der Netzarchitektur.

“Wir fanden heraus, dass wenn wir neuronale Netze trainieren, um robust gegenüber adversariellen Angriffen zu sein, sie beginnen, die gleichen Dinge zu tun,” sagte Jones.

Dies ist nicht das erste Mal, dass Experten versucht haben, die perfekte Architektur für neuronale Netze zu finden. Die neuen Erkenntnisse zeigen jedoch, dass die Einführung von Adversarial-Training die Lücke erheblich schließt, was bedeutet, dass die KI-Forschungsgemeinschaft möglicherweise nicht so viele neue Architekturen erforschen muss, da es nun bekannt ist, dass Adversarial-Training dazu führt, dass diverse Architekturen auf ähnliche Lösungen konvergieren.

“Indem wir feststellen, dass robuste neuronale Netze ähnlich zueinander sind, machen wir es einfacher, zu verstehen, wie robuste KI tatsächlich funktionieren könnte,” sagte Jones. “Wir könnten sogar Hinweise darauf entdecken, wie Wahrnehmung bei Menschen und anderen Tieren funktioniert.”