A Google új Neurális Tangens Könyvtára „Példátlan” betekintést enged az adatkutatóknak a modellekbe

A Google egy új nyílt forráskódú könyvtárat tervezett, amelynek célja a gépi tanulás fekete dobozának feltörése, és a mérnökök számára jobb betekintést nyújtani gépi tanulási rendszereik működésébe. Amint arról a VentureBeat is beszámolt, a Google kutatócsoportja szerint a könyvtár „példátlan” betekintést nyújthat a gépi tanulási modellek működésébe.

A neurális hálózatok olyan idegsejteken keresztül működnek, amelyek matematikai függvényeket tartalmaznak, amelyek különféle módon alakítják át az adatokat. A hálózat idegsejtjei rétegekben kapcsolódnak egymáshoz, és a neurális hálózatoknak mélysége és szélessége van. A neurális hálózat mélységét az határozza meg, hogy hány rétege van, és a hálózatok különböző rétegei szabályozzák a neuronok közötti kapcsolatokat, befolyásolva az adatok kezelését a rétegek között. A rétegben lévő neuronok száma a réteg szélessége. A Google kutatómérnöke, Roman Novak és a Google vezető kutatója, Samuel S. Schoenholz szerint a modellek szélessége szorosan összefügg a szabályos, megismételhető viselkedéssel. A két kutató egy blogbejegyzésben kifejtette, hogy a neurális hálózatok szélesítése szabályosabbá és könnyebben értelmezhetőbbé teszi viselkedésüket.

Létezik egy másik típusú gépi tanulási modell, az úgynevezett Gauss-folyamat. A Gauss-folyamat egy sztochasztikus folyamat, amely többváltozós normális eloszlásként ábrázolható. A Gauss-eljárással a változók minden halmaza/véges lineáris kombinációja normális eloszlású lesz. Ez azt jelenti, hogy a változók közötti rendkívül összetett kölcsönhatások értelmezhető lineáris algebrai egyenletekként ábrázolhatók, és ezért lehetséges, hogy egy mesterséges intelligencia viselkedését ezen az objektíven keresztül tanulmányozzák. Pontosan hogyan kapcsolódnak a gépi tanulási modellek a Gauss-folyamatokhoz? A végtelenül nagy szélességű gépi tanulási modellek egy Gauss-folyamathoz konvergálnak.

Azonban bár lehetséges a gépi tanulási modellek értelmezése egy Gauss-folyamat lencséjén keresztül, ehhez le kell vezetni a modell végtelen szélességének határát. Ez egy összetett számítási sorozat, amelyet minden egyes architektúrához el kell végezni. A számítások egyszerűbbé és gyorsabbá tétele érdekében a Google kutatócsoportja neurális érintőket tervezett. A Neural Tangents lehetővé teszi az adattudós számára, hogy csak néhány sornyi kódot használjon, és egyszerre több végtelen szélességű hálózatot tanítson. Gyakran több neurális hálózatot képeznek ugyanazon az adathalmazokon, és előrejelzéseiket átlagolják, hogy egy robusztusabb előrejelzést kapjanak, amely immunis a bármely egyedi modellben előforduló problémákkal szemben. Az ilyen technikát együttes tanulásnak nevezik. Az együttes tanulás egyik hátránya, hogy gyakran számítástechnikailag költséges. Mégis, amikor egy végtelenül széles hálózatot tanítanak, az együttest egy Gauss-folyamat írja le, és kiszámítható a variancia és az átlag.

Három különböző végtelen szélességű neurális hálózati architektúrát hasonlítottak össze próbaképpen, az összehasonlítás eredményeit a blogbejegyzésben tették közzé. Általánosságban elmondható, hogy a Gauss-folyamatok által vezérelt ensemble hálózatok eredményei hasonlóak a szabályos, véges neurális hálózat teljesítményéhez:

Ahogy a kutatócsoport kifejti Egy blogbejegyzésben:

„Azt látjuk, hogy a véges neurális hálózatokat utánozva a végtelen szélességű hálózatok hasonló teljesítményhierarchiát követnek, és a teljesen összekapcsolt hálózatok rosszabbul teljesítenek, mint a konvolúciós hálózatok, amelyek viszont rosszabbul teljesítenek, mint a széles maradék hálózatok. A rendszeres képzéstől eltérően azonban ezeknek a modelleknek a tanulási dinamikája zárt formában teljesen követhető, ami [új] betekintést tesz lehetővé viselkedésükbe.”

Úgy tűnik, hogy a Neural Tangents megjelenése egybeesik a TensorFlow Dev Summittal. A fejlesztői csúcstalálkozón a Google TensorFlow platformját használó gépi tanulási mérnökök találkoznak. A Neural Tangents bejelentése szintén nem sokkal a TensorFlow Quantum bejelentése után érkezik.

A Neural Tangents elérhetővé vált a GitHubon keresztül, és van egy Google Colaboratory notebook és oktatóanyag, amelyhez az érdeklődők hozzáférhetnek.