Nieuwe Neural Tangent-bibliotheek van Google geeft datawetenschappers “ongekende” inzicht in modellen

Google (GOOGL ) heeft een nieuwe open-source-bibliotheek ontworpen om de black box van machine learning te openen en ingenieurs meer inzicht te geven in hoe hun machine learning-systemen werken. Volgens VentureBeat zegt het Google-onderzoeksteam dat de bibliotheek “ongekende” inzichten kan geven in hoe machine learning-modellen werken.

Neurale netwerken werken via neuronen die wiskundige functies bevatten die de gegevens op verschillende manieren transformeren. De neuronen in het netwerk zijn met elkaar verbonden in lagen, en neurale netwerken hebben diepte en breedte. De diepte van een neuronaal netwerk wordt bepaald door het aantal lagen dat het heeft, en de verschillende lagen van de netwerken passen de verbindingen tussen neuronen aan, waardoor de manier waarop de gegevens worden verwerkt als ze tussen lagen worden doorgegeven, wordt beïnvloed. Het aantal neuronen in een laag is de breedte van de laag. Volgens Google-onderzoeker Roman Novak en senior onderzoeker Samuel S. Schoenholz is de breedte van modellen nauw verbonden met regelmatig, herhaalbaar gedrag. In een blogpost legden de twee onderzoekers uit dat het verbreden van neurale netwerken hun gedrag regelmatiger en gemakkelijker te interpreteren maakt.

Er bestaat een ander type machine learning-model, genaamd een Gaussian proces. Een Gaussian proces is een stochastisch proces dat kan worden weergegeven als een multivariate normale verdeling. Met een Gaussian proces is elke eindige lineaire combinatie van variabelen normaal verdeeld. Dit betekent dat het mogelijk is om buitengewoon complexe interacties tussen variabelen weer te geven als interpreteerbare lineaire algebra-vergelijkingen, en het is dus mogelijk om het gedrag van een AI te bestuderen door middel van deze lens. Hoe zijn machine learning-modellen precies gerelateerd aan Gaussian processen? Machine learning-modellen die oneindig breed zijn, convergeren naar een Gaussian proces.

Hoewel het mogelijk is om machine learning-modellen te interpreteren via de lens van een Gaussian proces, vereist dit het afleiden van de oneindige-breedte-limiet van een model. Dit is een complexe reeks berekeningen die voor elk afzonderlijk architectuurtype moet worden uitgevoerd. Om deze berekeningen gemakkelijker en sneller te maken, ontwierp het Google-onderzoeksteam Neural Tangents. Neural Tangents stelt een datawetenschapper in staat om met slechts een paar regels code meerdere oneindig-brede netwerken tegelijk te trainen. Meerdere neurale netwerken worden vaak getraind op dezelfde datasets en hun voorspellingen worden gemiddeld om een robuustere voorspelling te krijgen die immuun is voor problemen die in een individueel model kunnen optreden. Een dergelijke techniek heet ensemble learning. Een van de nadelen van ensemble learning is dat het vaak computationeel duur is. Toch, wanneer een oneindig breed netwerk wordt getraind, wordt het ensemble beschreven door een Gaussian proces en kunnen de variantie en het gemiddelde worden berekend.

Drie verschillende oneindig-brede neurale netwerkarchitecturen werden vergeleken als test, en de resultaten van de vergelijking werden in de blogpost gepubliceerd. In het algemeen zijn de resultaten van ensemble-netwerken die worden aangedreven door Gaussian processen vergelijkbaar met de prestaties van reguliere, eindige neurale netwerken:

Volgens het onderzoeksteam in een blogpost:

“We zien dat, net als bij eindige neurale netwerken, oneindig-brede netwerken een soortgelijke hiërarchie van prestaties volgen, waarbij volledig verbonden netwerken slechter presteren dan convolutionale netwerken, die op hun beurt slechter presteren dan brede restnetwerken. Echter, in tegenstelling tot reguliere training, is de leer dynamiek van deze modellen volledig te traceren in gesloten vorm, waardoor [nieuwe] inzichten in hun gedrag mogelijk worden.”

De release van Neural Tangents lijkt te zijn getimed om samen te vallen met de TensorFlow Dev Summit. De dev summit brengt machine learning-ingenieurs bij elkaar die Google’s TensorFlow-platform gebruiken. De aankondiging van Neural Tangents komt niet lang na de aankondiging van TensorFlow Quantum.

Neural Tangents is beschikbaar gesteld via GitHub en er is een Google Colaboratory-notebook en -tutorial beschikbaar voor geïnteresseerden.