Neue Neural-Tangents-Bibliothek von Google gibt Datenwissenschaftlern “beispielslose” Einblicke in Modelle

Google (GOOGL ) hat eine neue Open-Source-Bibliothek entworfen, die darauf abzielt, die Black-Box des maschinellen Lernens zu öffnen und Ingenieuren mehr Einblick in die Funktionsweise ihrer maschinellen Lernsysteme zu geben. Wie von VentureBeat berichtet, sagt das Google-Forschungsteam, dass die Bibliothek “beispielslose” Einblicke in die Funktionsweise von maschinellen Lernmodellen geben könnte.

Neuronale Netze funktionieren durch Neuronen, die mathematische Funktionen enthalten, die die Daten auf verschiedene Weise transformieren. Die Neuronen im Netzwerk sind in Schichten verbunden, und neuronale Netze haben Tiefe und Breite. Die Tiefe eines neuronalen Netzes wird durch die Anzahl der Schichten kontrolliert, und die verschiedenen Schichten des Netzes passen die Verbindungen zwischen den Neuronen an, was sich auf die Datenverarbeitung auswirkt, wenn die Daten zwischen den Schichten weitergeleitet werden. Die Anzahl der Neuronen in einer Schicht ist die Breite der Schicht. Laut Google-Forschungsingenieur Roman Novak und Senior-Forschungswissenschaftler bei Google, Samuel S. Schoenholz, ist die Breite der Modelle eng mit regelmäßigem, wiederholbarem Verhalten korreliert. In einem Blog-Beitrag erklärten die beiden Forscher, dass die Verbreiterung neuronaler Netze ihr Verhalten regelmäßiger und einfacher zu interpretieren macht.

Es gibt eine andere Art von maschinellen Lernmodell, das als Gauss-Prozess bezeichnet wird. Ein Gauss-Prozess ist ein stochastischer Prozess, der als multivariante Normalverteilung dargestellt werden kann. Mit einem Gauss-Prozess ist jede endliche lineare Kombination von Variablen normal verteilt. Das bedeutet, dass es möglich ist, außerordentlich komplexe Wechselwirkungen zwischen Variablen als interpretierbare lineare Algebra-Gleichungen darzustellen, und daher ist es möglich, das Verhalten einer künstlichen Intelligenz durch diese Linse zu untersuchen. Wie genau sind maschinelle Lernmodelle mit Gauss-Prozessen verbunden? Maschinelle Lernmodelle, die unendlich breit sind, konvergieren auf einen Gauss-Prozess.

Es ist jedoch möglich, maschinelle Lernmodelle durch die Linse eines Gauss-Prozesses zu interpretieren, was die Ableitung der unendlichen Breite eines Modells erfordert. Dies ist eine komplexe Reihe von Berechnungen, die für jede separate Architektur durchgeführt werden müssen. Um diese Berechnungen einfacher und schneller zu machen, entwarf das Google-Forschungsteam Neural Tangents. Neural Tangents ermöglicht es einem Datenwissenschaftler, nur wenige Codezeilen zu verwenden und mehrere unendlich breite Netze gleichzeitig zu trainieren. Mehrere neuronale Netze werden oft auf die gleichen Datensätze trainiert und ihre Vorhersagen werden gemittelt, um eine robuste Vorhersage zu erhalten, die immun gegen Probleme ist, die in einem einzelnen Modell auftreten können. Eine solche Technik wird als Ensemble-Lernen bezeichnet. Ein Nachteil des Ensemble-Lernens ist, dass es oft rechenintensiv ist. Wenn jedoch ein unendlich breites Netz trainiert wird, wird das Ensemble durch einen Gauss-Prozess beschrieben und die Varianz und der Mittelwert können berechnet werden.

Drei verschiedene unendlich breite neuronale Netzarchitekturen wurden zum Vergleich herangezogen, und die Ergebnisse des Vergleichs wurden in dem Blog-Beitrag veröffentlicht. Im Allgemeinen sind die Ergebnisse von Ensemble-Netzen, die von Gauss-Prozessen angetrieben werden, ähnlich wie die Leistung von regulären, endlichen neuronalen Netzen:

Wie das Forschungsteam in einem Blog-Beitrag erklärt:

„Wir sehen, dass unendlich breite Netze, ähnlich wie endliche neuronale Netze, eine ähnliche Hierarchie der Leistung aufweisen, wobei vollständig verbundene Netze schlechter abschneiden als konvolutionelle Netze, die wiederum schlechter abschneiden als breite Restnetze. Allerdings ist die Lerndynamik dieser Modelle im Gegensatz zum regulären Training vollständig in geschlossener Form nachvollziehbar, was neue Einblicke in ihr Verhalten ermöglicht.“

Die Veröffentlichung von Neural Tangents scheint zeitlich mit dem TensorFlow Dev Summit abgestimmt zu sein. Der Dev Summit bringt maschinelle Lerningenieure zusammen, die Googles TensorFlow-Plattform nutzen. Die Ankündigung von Neural Tangents erfolgt nicht lange nach der Ankündigung von TensorFlow Quantum.

Neural Tangents ist über GitHub verfügbar und es gibt ein Google Colaboratory-Notebook und eine Anleitung, auf die Interessierte zugreifen können.