Nyt Neural Tangent Library fra Google giver datavidenskabsfolk "hidtil uset" indsigt i modeller

Google har designet et nyt open source-bibliotek, der har til formål at åbne den sorte boks af maskinlæring og give ingeniører mere indsigt i, hvordan deres maskinlæringssystemer fungerer. Som rapporteret af VentureBeat, siger Googles forskningsteam, at biblioteket kunne give "hidtil uset" indsigt i, hvordan maskinlæringsmodeller fungerer.

Neurale netværk fungerer gennem neuroner, der indeholder matematiske funktioner, der transformerer dataene på forskellige måder. Neuronerne i netværket er forbundet i lag, og neurale netværk har dybde og bredde. Dybden af ​​et neuralt netværk styres af, hvor mange lag det har, og de forskellige lag af netværkene justerer forbindelserne mellem neuroner, hvilket påvirker, hvordan dataene håndteres, når de bevæger sig mellem lag. Antallet af neuroner i laget er lagets bredde. Ifølge Googles forskningsingeniør Roman Novak og seniorforsker hos Google, Samuel S. Schoenholz, er bredden af ​​modeller tæt korreleret med regelmæssig, gentagelig adfærd. I et blogindlæg forklarede de to forskere, at at gøre neurale netværk bredere gør deres adfærd mere regelmæssig og lettere at fortolke.

Der findes en anden type maskinlæringsmodel kaldet en Gauss-proces. En Gauss-proces er en stokastisk proces, der kan repræsenteres som en multivariat normalfordeling. Med en Gauss-proces vil hver sæt/endelig lineær kombination af variable være normalfordelt. Dette betyder, at det er muligt at repræsentere ekstraordinært komplekse interaktioner mellem variabler som fortolkbare lineære algebra-ligninger, og derfor er det muligt for en AI's adfærd at blive studeret gennem denne linse. Hvordan er maskinlæringsmodeller præcist relateret til gaussiske processer? Maskinlæringsmodeller, der er uendeligt store i bredden, konvergerer på en Gauss-proces.

Men selvom det er muligt at fortolke maskinlæringsmodeller gennem linsen af ​​en Gauss-proces, kræver det at udlede en models uendelige breddegrænse. Dette er en kompleks række af beregninger, der skal udføres for hver separat arkitektur. For at gøre disse beregninger nemmere og hurtigere har Googles forskningsteam designet Neural Tangents. Neural Tangents gør det muligt for en dataforsker at bruge nogle få linjer kode og træne flere uendelig bredde netværk på én gang. Flere neurale netværk trænes ofte på de samme datasæt, og deres forudsigelser beregnes i gennemsnit for at få en mere robust forudsigelse, der er immun over for de problemer, der kan opstå i enhver individuel model. Sådan en teknik kaldes ensemble learning. En af ulemperne ved ensemblelæring er, at det ofte er beregningsmæssigt dyrt. Men når et netværk, der er uendeligt bredt, trænes, beskrives ensemblet ved en Gauss-proces, og variansen og middelværdien kan beregnes.

Tre forskellige neurale netværksarkitekturer med uendelig bredde blev sammenlignet som en test, og resultaterne af sammenligningen blev offentliggjort i blogindlægget. Generelt svarer resultaterne af ensemblenetværk drevet af Gaussiske processer til regelmæssig, finit neural netværksydelse:

Som forskerholdet forklarer i et blogindlæg:

"Vi ser, at efterligning af finite neurale netværk følger netværk med uendelig bredde et lignende ydelseshierarki med fuldt forbundne netværk, der yder dårligere end foldningsnetværk, som igen yder dårligere end brede resterende netværk. Men i modsætning til almindelig træning er læringsdynamikken i disse modeller fuldstændig overskuelig i lukket form, hvilket giver [ny] indsigt i deres adfærd."

Udgivelsen af ​​Neural Tangents ser ud til at falde sammen med TensorFlow Dev Summit. Udviklertopmødet ser maskinlæringsingeniører, der bruger Googles TensorFlow-platform, mødes. Neural Tangents-meddelelsen kommer også ikke længe efter, at TensorFlow Quantum blev annonceret.

Neural Tangents er blevet gjort tilgængelig via GitHub, og der er en Google Collaboratory notesbog og tutorial, som interesserede kan få adgang til.