Team entwickelt Ansatz zum Vergleich von neuronalen Netzen

Ein Team von Forschern am Los Alamos National Laboratory hat einen neuen Ansatz zur Vergleichbarkeit von neuronalen Netzen entwickelt. Laut dem Team schaut dieser neue Ansatz in die “Black Box” der künstlichen Intelligenz (KI) hinein und hilft ihnen, das Verhalten von neuronalen Netzen zu verstehen. Neuronale Netze, die Muster in Datensätzen erkennen, werden für eine Vielzahl von Anwendungen wie Gesichtserkennungssysteme und autonome Fahrzeuge verwendet.

Das Team stellte seinen Beitrag, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” auf der Konferenz über Unsicherheit in der künstlichen Intelligenz vor.

Haydn Jones ist Forscher in der Abteilung für Fortgeschrittene Forschung in Cyber-Systemen am Los Alamos und Hauptautor des Forschungsbeitrags.

Besseres Verständnis neuronaler Netze

“Die Forschergemeinschaft im Bereich künstliche Intelligenz versteht nicht unbedingt, was neuronale Netze tun; sie liefern gute Ergebnisse, aber wir wissen nicht, wie oder warum,” sagte Jones. “Unsere neue Methode ermöglicht es, neuronale Netze besser zu vergleichen, was ein entscheidender Schritt auf dem Weg zu einem besseren Verständnis der Mathematik hinter der KI ist.

Die neue Forschung wird auch dazu beitragen, dass Experten das Verhalten robuster neuronaler Netze besser verstehen.

Neuronale Netze sind zwar leistungsfähig, aber auch zerbrechlich. Kleine Änderungen in den Bedingungen, wie z. B. ein teilweise abgedecktes Stoppschild, das von einem autonomen Fahrzeug verarbeitet wird, können dazu führen, dass das neuronale Netz das Schild falsch identifiziert. Dies bedeutet, dass es möglicherweise nie anhält, was gefährlich werden kann.

Adversarial-Training neuronaler Netze

Die Forscher versuchten, diese Art von neuronalen Netzen zu verbessern, indem sie nach Möglichkeiten suchten, die Netzrobustheit zu verbessern. Ein Ansatz besteht darin, die Netze während des Trainingsprozesses anzugreifen, indem die Forscher absichtlich Abweichungen einführen, während sie das Training des KI-Systems anweisen, diese zu ignorieren. Der Prozess, der als adversarial-Training bezeichnet wird, macht es schwieriger für die Netze, hereingeführt zu werden.

Das Team wendete die neue Metrik der Netzähnlichkeit auf adversarial trainierte neuronale Netze an. Sie waren überrascht, festzustellen, dass adversarial-Training neuronale Netze im Bereich der Computer-Vision dazu bringt, bei zunehmender Größe des Angriffs auf ähnliche Datenrepräsentationen zu konvergieren, unabhängig von der Netzarchitektur.

“Wir haben festgestellt, dass neuronale Netze, wenn sie trainiert werden, um robust gegenüber adversarial-Angriffen zu sein, beginnen, dieselben Dinge zu tun,” sagte Jones.

Es ist nicht das erste Mal, dass Experten nach der perfekten Architektur für neuronale Netze gesucht haben. Die neuen Erkenntnisse zeigen jedoch, dass die Einführung von adversarial-Training die Lücke erheblich schließt, was bedeutet, dass die KI-Forschungsgemeinschaft möglicherweise nicht so viele neue Architekturen erforschen muss, da nun bekannt ist, dass adversarial-Training diverse Architekturen zu ähnlichen Lösungen führt.

“Indem wir herausfinden, dass robuste neuronale Netze einander ähnlich sind, machen wir es einfacher, zu verstehen, wie robuste KI wirklich funktioniert,” sagte Jones. “Wir könnten sogar Hinweise darauf entdecken, wie Wahrnehmung bei Menschen und anderen Tieren funktioniert.”