Ny Neural Tangent Bibliotek Fra Google Giver Datavidenskabsmænd “Uforudset” Indblik I Modeller

Google (GOOGL ) har designede et nyt open-source bibliotek, der er tænkt til at åbne den sorte kasse af maskinlæring og give ingeniører mere indsigt i, hvordan deres maskinlæringssystemer fungerer. Som rapporteret af VentureBeat, siger Google-forskningsholdet, at biblioteket kunne give “uforudset” indsigt i, hvordan maskinlæringmodeller fungerer.

Neuronale netværk fungerer gennem neuroner, der indeholder matematiske funktioner, der transformerer data på forskellige måder. Neuronerne i netværket er forbundet i lag, og neurale netværk har dybde og bredde. Dybden af et neuronalt netværk kontrolleres af, hvor mange lag det har, og de forskellige lag af netværket justerer forbindelserne mellem neuroner, hvilket påvirker, hvordan dataene behandles, mens de flyttes mellem lagene. Antallet af neuroner i laget er lagets bredde. Ifølge Google-forskningsingeniør Roman Novak og seniorforsker ved Google, Samuel S. Schoenholz, er bredde af modeller tæt korreleret med regelmæssig, gentagen adfærd. I en blogindlæg forklarede de to forskere, at at gøre neurale netværk bredere gør deres adfærd mere regelmæssig og lettere at fortolke.

Der findes en anden type maskinlæringmodel kaldet en Gaussian proces. En Gaussian proces er en stokastisk proces, der kan repræsenteres som en multivariat normalfordeling. Med en Gaussian proces vil hver sæt/ende linær kombination af variabler være normalt fordelt. Dette betyder, at det er muligt at repræsentere ekstraordinært komplekse interaktioner mellem variabler som fortolkelige lineære algebra ligninger, og derfor er det muligt for en AIs adfærd at studeres gennem denne linse. Hvordan er maskinlæringmodeller relateret til Gaussian processer? Maskinlæringmodeller, der er uendeligt store i bredde, konvergerer mod en Gaussian proces.

Men selvom det er muligt at fortolke maskinlæringmodeller gennem linsen af en Gaussian proces, kræver det at aflede den uendeligt brede grænse af en model. Dette er en kompleks række af beregninger, der skal udføres for hver enkelt arkitektur. For at gøre disse beregninger lettere og hurtigere designede Google-forskningsholdet Neural Tangents. Neural Tangents giver en datavidenskabsmand mulighed for at bruge kun få linjer kode og træne multiple uendeligt brede netværk på én gang. Multiple neurale netværk trænes ofte på samme datasæt, og deres forudsigelser sammenlignes, for at få en mere robust forudsigelse, der er immun over for problemer, der kan opstå i en enkelt model. En sådan teknik kaldes ensemble-læring. En af ulemperne ved ensemble-læring er, at det ofte er beregningsmæssigt dyrt. Men når et netværk, der er uendeligt bredt, trænes, beskrives ensemblet af en Gaussian proces, og variansen og middelværdien kan beregnes.

Tre forskellige uendeligt brede neurale netværksarkitekturer blev sammenlignet som en test, og resultaterne af sammenligningen blev offentliggjort i blogindlægget. Generelt er resultaterne af ensemble-netværk drevet af Gaussian processer lignende til almindelig, endelig neural netværkspræstation:

Som forskningsholdet forklarer i en blogindlæg:

“Vi ser, at, ligesom endelige neurale netværk, uendeligt brede netværk følger en lignende hierarki af præstation med fuldt forbundne netværk, der udfører dårligere end convolutionelle netværk, der igen udfører dårligere end brede residuelle netværk. Men, til forskel fra almindelig træning, er læringsdynamikken af disse modeller fuldstændig sporbart i lukket form, hvilket giver [ny] indsigt i deres adfærd.”

Udgivelsen af Neural Tangents synes at være timet til at sammentræffe med TensorFlow Dev Summit. Dev-summit ser maskinlæringingeniører, der anvender Google’s TensorFlow-platform, mødes sammen. Neural Tangents-annonceringen kommer også ikke længe efter, at TensorFlow Quantum blev annonceret.

Neural Tangents er blevet gjort tilgængeligt via GitHub, og der er en Google Colaboratory-notebog og tutorial, som de interesserede kan få adgang til.