Ny Neural Tangent-bibliotek fra Google gir dataforskere “utenkelig” innsikt i modeller

Google (GOOGL ) har designet et nytt åpen kildekode-bibliotek som skal åpne den sorte boksen av maskinlæring og gi ingeniører mer innsikt i hvordan deres maskinlæringssystemer fungerer. Ifølge VentureBeat sier Google-forskningsgruppen at biblioteket kan gi “utenkelig” innsikt i hvordan maskinlæringsmodeller fungerer.

Neuronale nettverk fungerer gjennom neuroner som inneholder matematiske funksjoner som transformerer data på forskjellige måter. Neuronene i nettverket er koblet sammen i lag, og neurale nettverk har dybde og bredde. Dybden på et neuralt nettverk kontrolleres av hvor mange lag det har, og de forskjellige lagene i nettverket justerer koblingene mellom neuronene, noe som påvirker hvordan dataene behandles når de flyttes mellom lagene. Antallet neuroner i laget er lagets bredde. Ifølge Google-forskeren Roman Novak og seniorforskeren Samuel S. Schoenholz er bredde på modeller tett korrelert med regulær, gjentakende atferd. I en bloggpost forklarte de to forskerne at å gjøre neurale nettverk bredere gjør deres atferd mer regulær og lettere å tolke.

Det finnes en annen type maskinlæringsmodell som kalles en gaussisk prosess. En gaussisk prosess er en stokastisk prosess som kan representeres som en multivariat normalfordeling. Med en gaussisk prosess vil hver sett/finit lineær kombinasjon av variabler være normalt fordelt. Dette betyr at det er mulig å representere usedvanlig komplekse interaksjoner mellom variabler som tolkbare lineære algebraiske ligninger, og derfor er det mulig å studere en AI-modells atferd gjennom denne linsen. Hva er maskinlæringsmodeller i forhold til gaussiske prosesser? Maskinlæringsmodeller som er uendelig brede i bredde konvergerer mot en gaussisk prosess.

Men selv om det er mulig å tolke maskinlæringsmodeller gjennom linsen av en gaussisk prosess, krever det å kunne derivere den uendelige-bredde-grensen av en modell. Dette er en kompleks serie beregninger som må gjøres for hver enkelt arkitektur. For å gjøre disse beregningene enklere og raskere, designet Google-forskningsgruppen Neural Tangents. Neural Tangents gjør det mulig for en dataforsker å bruke bare noen få linjer med kode og trene flere uendelig-brede nettverk på én gang. Flere neurale nettverk trenes ofte på samme datasett, og deres prediksjoner kombineres, for å få en mer robust prediksjon som er immun mot problemer som kan oppstå i enkeltmodeller. En slik teknikk kalles ensemble-læring. En av ulemper ved ensemble-læring er at det ofte er komputasjonskrevende. Men når et nettverk som er uendelig bredt trenes, beskrives ensemblet av en gaussisk prosess, og variasjonen og middelverdien kan beregnes.

Tre forskjellige uendelig-brede neurale nettverksarkitekturer ble sammenlignet i en test, og resultater fra sammenligningen ble publisert i en bloggpost. Generelt sett er resultater fra ensemble-nettverk drevet av gaussiske prosesser lignende til vanlige, endelige neurale nettverksytelser:

Som forskningsgruppen forklarer i en bloggpost:

“Vi ser at, likt finite neurale nettverk, uendelig-brede nettverk følger en lignende hierarki av ytelse, hvor fullstendig koblete nettverk utfører dårligere enn konvolusjonsnettverk, som igjen utfører dårligere enn brede residualnettverk. Men, i motsetning til vanlig trening, er læringsdynamikken til disse modellene fullstendig sporbart i lukket form, noe som tillater [ny] innsikt i deres atferd.”

Utgielsen av Neural Tangents ser ut til å være timet sammen med TensorFlow Dev Summit. Dev-summitet samler maskinlæringsingeniører som bruker Googles TensorFlow-plattform sammen. Neural Tangents-annonsen kommer også ikke lenge etter at TensorFlow Quantum ble annonsert.

Neural Tangents er gjort tilgjengelig via GitHub, og det finnes en Google Colaboratory-notebok og tutorial som de interesserte kan få tilgang til.