Nouvelle bibliothèque Neural Tangent de Google donne aux data scientists une “insight sans précédent” dans les modèles

Google (GOOGL ) a conçu une nouvelle bibliothèque open-source destinée à ouvrir la boîte noire de l’apprentissage automatique et à donner aux ingénieurs plus d’insight sur la façon dont leurs systèmes d’apprentissage automatique fonctionnent. Selon VentureBeat, l’équipe de recherche de Google affirme que la bibliothèque pourrait offrir une “insight sans précédent” sur la façon dont les modèles d’apprentissage automatique fonctionnent.

Les réseaux de neurones fonctionnent grâce à des neurones contenant des fonctions mathématiques qui transforment les données de diverses manières. Les neurones du réseau sont connectés en couches, et les réseaux de neurones ont une profondeur et une largeur. La profondeur d’un réseau de neurones est contrôlée par le nombre de couches qu’il possède, et les différentes couches du réseau ajustent les connexions entre les neurones, ce qui affecte la façon dont les données sont traitées lorsqu’elles passent d’une couche à l’autre. Le nombre de neurones dans une couche est la largeur de la couche. Selon les ingénieurs de recherche de Google, Roman Novak et Samuel S. Schoenholz, la largeur des modèles est étroitement liée à un comportement régulier et répétitif. Dans un billet de blog, les deux chercheurs ont expliqué que rendre les réseaux de neurones plus larges rend leur comportement plus régulier et plus facile à interpréter.

Il existe un autre type de modèle d’apprentissage automatique appelé processus gaussien. Un processus gaussien est un processus stochastique qui peut être représenté par une distribution normale multivariée. Avec un processus gaussien, chaque combinaison linéaire finie de variables sera distribuée de manière normale. Cela signifie qu’il est possible de représenter des interactions extrêmement complexes entre les variables sous forme d’équations d’algèbre linéaire interprétables, et donc qu’il est possible d’étudier le comportement d’un modèle d’apprentissage automatique à travers cette lentille. Comment les modèles d’apprentissage automatique sont-ils liés aux processus gaussiens ? Les modèles d’apprentissage automatique qui sont infiniment larges en largeur convergent vers un processus gaussien.

Cependant, même si il est possible d’interpréter les modèles d’apprentissage automatique à travers la lentille d’un processus gaussien, cela nécessite de dériver la limite de largeur infinie d’un modèle. Il s’agit d’une série complexe de calculs qui doivent être effectués pour chaque architecture séparée. Pour rendre ces calculs plus faciles et plus rapides, l’équipe de recherche de Google a conçu Neural Tangents. Neural Tangents permet à un data scientist d’utiliser seulement quelques lignes de code et de former plusieurs réseaux de neurones de largeur infinie en même temps. Plusieurs réseaux de neurones sont souvent formés sur les mêmes jeux de données et leurs prédictions sont moyennées pour obtenir une prédiction plus robuste, insensible aux problèmes qui pourraient survenir dans n’importe quel modèle individuel. Une telle technique est appelée apprentissage d’ensemble. L’un des inconvénients de l’apprentissage d’ensemble est qu’il est souvent coûteux en termes de calcul. Cependant, lorsqu’un réseau de largeur infinie est formé, l’ensemble est décrit par un processus gaussien et la variance et la moyenne peuvent être calculées.

Trois différentes architectures de réseaux de neurones de largeur infinie ont été comparées à titre de test, et les résultats de la comparaison ont été publiés dans le billet de blog. En général, les résultats des réseaux d’ensemble basés sur des processus gaussiens sont similaires à ceux des réseaux de neurones finis réguliers:

Comme l’explique l’équipe de recherche dans un billet de blog:

“Nous voyons que, imitant les réseaux de neurones finis, les réseaux de neurones de largeur infinie suivent une hiérarchie de performance similaire, les réseaux entièrement connectés ayant de moins bonnes performances que les réseaux convolutionnels, qui à leur tour ont de moins bonnes performances que les réseaux résiduels larges. Cependant, contrairement à la formation régulière, la dynamique d’apprentissage de ces modèles est complètement traçable en forme fermée, ce qui permet de nouvelles insights dans leur comportement.”

La sortie de Neural Tangents semble être synchronisée avec la conférence des développeurs TensorFlow. La conférence des développeurs voit les ingénieurs d’apprentissage automatique qui utilisent la plate-forme TensorFlow de Google se réunir. L’annonce de Neural Tangents arrive peu de temps après que TensorFlow Quantum ait été annoncé.

Neural Tangents est disponible via GitHub et il existe un notebook et un didacticiel Google Colaboratory que les intéressés peuvent accéder.