Ny Neural Tangent Bibliotek Fra Google Giver Datavidenskabsmænd “Uforudset” Indblik I Modeller

Google har designede et nyt open-source bibliotek, der er beregnet til at åbne den sorte kasse af maskinlæring og give ingeniører mere indsigt i, hvordan deres maskinlæringssystemer fungerer. Som rapporteret af VentureBeat, siger Google-forskningsholdet, at biblioteket kunne give “uforudset” indsigt i, hvordan maskinlæringmodeller fungerer.

Neurale netværk fungerer gennem neuroner, der indeholder matematiske funktioner, der transformerer dataen på forskellige måder. Neuronerne i netværket er forbundet i lag, og neurale netværk har dybde og bredde. Dybden af et neuralt netværk styres af, hvor mange lag det har, og de forskellige lag af netværket justerer forbindelserne mellem neuroner, hvilket påvirker, hvordan dataen behandles, mens den flyttes mellem lagene. Antallet af neuroner i laget er lagets bredde. Ifølge Google-forskningsingeniør Roman Novak og seniorforsker ved Google, Samuel S. Schoenholz, er bredde af modeller tæt korreleret med regelmæssig, gentagen adfærd. I en blogindlæg forklarede de to forskere, at at gøre neurale netværk bredere gør deres adfærd mere regelmæssig og lettere at fortolke.

Der findes en anden type maskinlæringmodel kaldet en Gaussian proces. En Gaussian proces er en stokastisk proces, der kan repræsenteres som en multivariat normalfordeling. Med en Gaussian proces vil hver sæt/begrænset lineær kombination af variabler være normalt fordelt. Dette betyder, at det er muligt at repræsentere ekstraordinært komplekse interaktioner mellem variabler som fortolkelige lineære algebraiske ligninger, og derfor er det muligt at studere en AIs adfærd gennem dette lens. Hvordan er maskinlæringmodeller relateret til Gaussian processer? Maskinlæringmodeller, der er uendeligt brede, konvergerer mod en Gaussian proces.

Men selvom det er muligt at fortolke maskinlæringmodeller gennem linsen af en Gaussian proces, kræver det at aflede den uendeligt brede grænse af en model. Dette er en kompleks række af beregninger, der skal udføres for hver enkelt arkitektur. For at gøre disse beregninger lettere og hurtigere designede Google-forskningsholdet Neural Tangents. Neural Tangents giver en datavidenskabsmand mulighed for at bruge kun få linjer kode og træne multiple uendeligt brede netværk på én gang. Multiple neurale netværk trænes ofte på samme datasæt, og deres forudsigelser kombineres for at få en mere robust forudsigelse, der er immun over for problemer, der kan opstå i enkeltmodeller. En sådan teknik kaldes ensemble-læring. En af ulemperne ved ensemble-læring er, at det ofte er beregningsmæssigt dyrt. Men når et netværk, der er uendeligt bredt, trænes, beskrives ensemblet af en Gaussian proces, og variansen og middelværdien kan beregnes.

Tre forskellige uendeligt brede neurale netværksarkitekturer blev sammenlignet som en test, og resultaterne af sammenligningen blev offentliggjort i blogindlægget. Generelt er resultaterne af ensemble-netværk drevet af Gaussian processer lignende til almindelige, endelige neurale netværkspræstationer:

Som forskningsholdet forklarer i et blogindlæg:

“Vi ser, at, ligesom endelige neurale netværk, uendeligt brede netværk følger en lignende hierarki af præstation med fuldt forbundne netværk, der udfører dårligere end convolutionelle netværk, der igen udfører dårligere end brede restnetværk. Men, til forskel fra almindelig træning, er læringsdynamikken af disse modeller fuldstændigt sporbare i lukket form, hvilket giver [ny] indsigt i deres adfærd.”

Udgivelsen af Neural Tangents synes at være timet til at sammenfald med TensorFlow Dev Summit. Dev-summitten ser maskinlæringingeniører, der anvender Googles TensorFlow-platform, mødes sammen. Neural Tangents-annonceringen kommer også ikke længe efter, at TensorFlow Quantum blev annonceret.

Neural Tangents er blevet gjort tilgængelig via GitHub, og der er en Google Colaboratory-notebog og tutorial, som de interesserede kan få adgang til.