Neue Neural-Tangent-Bibliothek von Google gibt Data Scientists “unvergleichliche” Einblicke in Modelle

Google hat eine neue Open-Source-Bibliothek entworfen, um die Black-Box des Machine Learning zu öffnen und Ingenieuren mehr Einblick in die Funktionsweise ihrer Machine-Learning-Systeme zu geben. Wie von VentureBeat berichtet, sagt das Google-Forschungsteam, dass die Bibliothek “unvergleichliche” Einblicke in die Funktionsweise von Machine-Learning-Modellen geben könnte.

Neuronale Netze funktionieren durch Neuronen, die mathematische Funktionen enthalten, die die Daten auf verschiedene Weise transformieren. Die Neuronen im Netzwerk sind in Schichten verbunden, und neuronale Netze haben Tiefe und Breite. Die Tiefe eines neuronalen Netzwerks wird durch die Anzahl der Schichten bestimmt, und die verschiedenen Schichten des Netzwerks passen die Verbindungen zwischen Neuronen an, was die Art und Weise beeinflusst, wie die Daten zwischen den Schichten verarbeitet werden. Die Anzahl der Neuronen in einer Schicht ist die Breite der Schicht. Laut dem Google-Forschungsingenieur Roman Novak und dem Senior-Forschungswissenschaftler bei Google, Samuel S. Schoenholz, ist die Breite der Modelle eng mit regelmäßigem, wiederholbarem Verhalten korreliert. In einem Blog-Beitrag erklärten die beiden Forscher, dass die Erhöhung der Breite neuronaler Netze ihr Verhalten regelmäßiger und einfacher zu interpretieren macht.

Es gibt eine andere Art von Machine-Learning-Modell, das als Gauss-Prozess bezeichnet wird. Ein Gauss-Prozess ist ein stochastischer Prozess, der als multivariate Normalverteilung dargestellt werden kann. Mit einem Gauss-Prozess ist jede Menge/finite lineare Kombination von Variablen normalverteilt. Dies bedeutet, dass es möglich ist, außergewöhnlich komplexe Interaktionen zwischen Variablen als interpretierbare lineare Algebra-Gleichungen darzustellen, und daher ist es möglich, das Verhalten eines KI-Systems durch diese Linse zu studieren. Wie genau sind Machine-Learning-Modelle mit Gauss-Prozessen verwandt? Machine-Learning-Modelle, die unendlich breit sind, konvergieren auf einen Gauss-Prozess.

Allerdings ist es, obwohl es möglich ist, Machine-Learning-Modelle durch die Linse eines Gauss-Prozesses zu interpretieren, erforderlich, die unendliche Breite eines Modells abzuleiten. Dies ist eine komplexe Reihe von Berechnungen, die für jedes separate Architektur-Modell durchgeführt werden müssen. Um diese Berechnungen einfacher und schneller zu machen, entwarf das Google-Forschungsteam Neural Tangents. Neural Tangents ermöglicht es einem Data-Scientist, nur wenige Code-Zeilen zu verwenden und mehrere unendlich breite Netze gleichzeitig zu trainieren. Mehrere neuronale Netze werden oft auf die gleichen Datensätze trainiert und ihre Vorhersagen werden gemittelt, um eine robuste Vorhersage zu erhalten, die immun gegen Probleme ist, die in jedem einzelnen Modell auftreten können. Eine solche Technik wird als Ensemble-Learning bezeichnet. Ein Nachteil von Ensemble-Learning ist, dass es oft rechenintensiv ist. Wenn jedoch ein unendlich breites Netz trainiert wird, wird das Ensemble durch einen Gauss-Prozess beschrieben und die Varianz und der Mittelwert können berechnet werden.

Drei verschiedene unendlich breite neuronale Netzwerk-Architekturen wurden zum Test verglichen, und die Ergebnisse des Vergleichs wurden in dem Blog-Beitrag veröffentlicht. Im Allgemeinen sind die Ergebnisse von Ensemble-Netzen, die von Gauss-Prozessen angetrieben werden, ähnlich wie die Leistung von regulären, endlichen neuronalen Netzen:

Wie das Forschungsteam erklärt in einem Blog-Beitrag:

“Wir sehen, dass, ähnlich wie endliche neuronale Netze, unendlich breite Netze eine ähnliche Hierarchie der Leistung aufweisen, wobei vollständig verbundene Netze schlechter abschneiden als konvolutionale Netze, die wiederum schlechter abschneiden als breite Restnetze. Allerdings ist, im Gegensatz zu regulärem Training, die Lerndynamik dieser Modelle vollständig in geschlossener Form nachvollziehbar, was [neue] Einblicke in ihr Verhalten ermöglicht.”

Die Veröffentlichung von Neural Tangents scheint zeitlich mit dem TensorFlow Dev Summit abgestimmt zu sein. Der Dev Summit bringt Machine-Learning-Ingenieure zusammen, die Googles TensorFlow-Plattform nutzen. Die Ankündigung von Neural Tangents erfolgt nicht lange nach der Ankündigung von TensorFlow Quantum.

Neural Tangents ist über GitHub verfügbar und es gibt ein Google Colaboratory-Notebook und ein Tutorial, auf das Interessierte zugreifen können.