Nytt Neural Tangent Library från Google ger dataforskare "oöverträffad" insikt i modeller

Google har designat ett nytt bibliotek med öppen källkod som är avsett att öppna den svarta lådan med maskininlärning och ge ingenjörer mer insikt i hur deras maskininlärningssystem fungerar. Som rapporterats av VentureBeat, säger Googles forskargrupp att biblioteket kan ge "oöverträffad" insikt i hur maskininlärningsmodeller fungerar.

Neurala nätverk fungerar genom neuroner som innehåller matematiska funktioner som transformerar data på olika sätt. Neuronerna i nätverket är sammanfogade i lager, och neurala nätverk har djup och bredd. Djupet av ett neuralt nätverk styrs av hur många lager det har, och de olika lagren i nätverken justerar kopplingarna mellan neuroner, vilket påverkar hur data hanteras när den rör sig mellan lagren. Antalet neuroner i lagret är lagrets bredd. Enligt Googles forskningsingenjör Roman Novak och senior forskare på Google, Samuel S. Schoenholz, är modellernas bredd nära korrelerad med regelbundet, repeterbart beteende. I ett blogginlägg förklarade de två forskarna att att göra neurala nätverk bredare gör deras beteende mer regelbundet och lättare att tolka.

Det finns en annan typ av maskininlärningsmodell som kallas en Gaussisk process. En Gaussprocess är en stokastisk process som kan representeras som en multivariat normalfördelning. Med en Gauss-process kommer varje mängd/ändlig linjär kombination av variabler att vara normalfördelad. Detta betyder att det är möjligt att representera utomordentligt komplexa interaktioner mellan variabler som tolkningsbara linjära algebra-ekvationer, och därför är det möjligt för en AI:s beteende att studeras genom denna lins. Hur exakt är maskininlärningsmodeller relaterade till Gaussiska processer? Maskininlärningsmodeller som är oändligt stora i bredd konvergerar på en Gauss-process.

Men även om det är möjligt att tolka maskininlärningsmodeller genom linsen av en Gauss-process, kräver det att man härleder en modells oändliga breddgräns. Detta är en komplex serie av beräkningar som måste göras för varje separat arkitektur. För att göra dessa beräkningar enklare och snabbare utformade Googles forskargrupp Neural Tangents. Neural Tangents gör det möjligt för en dataforskare att använda bara några rader kod och träna flera oändliga breda nätverk samtidigt. Flera neurala nätverk tränas ofta på samma datamängder och deras förutsägelser beräknas i medeltal, för att få en mer robust förutsägelse immun mot de problem som kan uppstå i varje enskild modell. En sådan teknik kallas ensemble learning. En av nackdelarna med ensembleinlärning är att det ofta är beräkningsmässigt dyrt. Men när ett nätverk som är oändligt brett tränas, beskrivs ensemblen av en gaussisk process och variansen och medelvärdet kan beräknas.

Tre olika neurala nätverksarkitekturer med oändlig bredd jämfördes som ett test, och resultaten av jämförelsen publicerades i blogginlägget. Generellt sett liknar resultaten av ensemblenätverk som drivs av Gaussiska processer vanliga, finita neurala nätverksprestanda:

Som forskargruppen förklarar i ett blogginlägg:

"Vi ser att, för att efterlikna ändliga neurala nätverk, följer nätverk med oändlig bredd en liknande prestandahierarki med fullt anslutna nätverk som presterar sämre än faltningsnätverk, som i sin tur presterar sämre än breda restnätverk. Men, till skillnad från vanlig träning, är inlärningsdynamiken i dessa modeller helt lätt att hantera i sluten form, vilket ger [ny] insikt om deras beteende."

Utgivningen av Neural Tangents verkar tidsinställd för att sammanfalla med TensorFlow Dev Summit. Utvecklingsmötet träffas maskininlärningsingenjörer som använder Googles TensorFlow-plattform. Tillkännagivandet av Neural Tangents kommer också inte långt efter att TensorFlow Quantum tillkännagavs.

Neural Tangents har gjorts tillgängliga via GitHub och det finns en Google Collaboratory-anteckningsbok och handledning som intresserade kan komma åt.