Nová knihovna neuronových tangent od společnosti Google poskytuje datovým vědcům „bezprecedentní“ pohled na modely

Google navrhl novou open-source knihovnu, která má prolomit černou skříňku strojového učení a poskytnout inženýrům více informací o tom, jak jejich systémy strojového učení fungují. Jak informoval VentureBeat, výzkumný tým Google říká, že knihovna by mohla poskytnout „bezprecedentní“ pohled na to, jak fungují modely strojového učení.

Neuronové sítě fungují prostřednictvím neuronů obsahujících matematické funkce, které transformují data různými způsoby. Neurony v síti jsou spojeny do vrstev a neuronové sítě mají hloubku a šířku. Hloubka neuronové sítě je řízena tím, kolik vrstev má, a různé vrstvy sítí upravují spojení mezi neurony, což má vliv na to, jak se s daty zachází, když se pohybují mezi vrstvami. Počet neuronů ve vrstvě je šířka vrstvy. Podle výzkumného inženýra společnosti Google Romana Novaka a vedoucího výzkumného pracovníka společnosti Google Samuela S. Schoenholze šířka modelů úzce koreluje s pravidelným, opakovatelným chováním. V příspěvku na blogu oba výzkumníci vysvětlili, že rozšíření neuronových sítí dělá jejich chování pravidelnějším a snadněji interpretovatelným.

Existuje jiný typ modelu strojového učení nazývaný Gaussův proces. Gaussův proces je stochastický proces, který lze znázornit jako vícerozměrné normální rozdělení. U Gaussova procesu bude každá množina/konečná lineární kombinace proměnných normálně rozdělena. To znamená, že je možné reprezentovat mimořádně složité interakce mezi proměnnými jako interpretovatelné rovnice lineární algebry, a proto je možné chování AI studovat touto optikou. Jak přesně souvisí modely strojového učení s Gaussovými procesy? Modely strojového učení, které jsou nekonečně velké na šířku, konvergují na Gaussově procesu.

I když je však možné interpretovat modely strojového učení optikou Gaussova procesu, vyžaduje to odvození limitu nekonečné šířky modelu. Jedná se o komplexní řadu výpočtů, které je nutné provést pro každou samostatnou architekturu. Aby byly tyto výpočty snazší a rychlejší, výzkumný tým Google navrhl Neural Tangents. Neural Tangents umožňuje datovým vědcům používat pouze několik řádků kódu a trénovat více sítí s nekonečnou šířkou najednou. Mnoho neuronových sítí je často trénováno na stejných souborech dat a jejich předpovědi jsou zprůměrovány, aby byla získána robustnější předpověď imunní vůči problémům, které by se mohly vyskytnout v jakémkoli individuálním modelu. Taková technika se nazývá souborové učení. Jednou z nevýhod souborového učení je, že je často výpočetně nákladné. Když je však trénována síť, která je nekonečně široká, soubor je popsán Gaussovým procesem a lze vypočítat rozptyl a průměr.

V rámci testu byly porovnány tři různé architektury neuronových sítí s nekonečnou šířkou a výsledky srovnání byly zveřejněny v příspěvku na blogu. Obecně platí, že výsledky souborových sítí řízených Gaussovými procesy jsou podobné výkonu běžné, konečné neuronové sítě:

Jak vysvětluje výzkumný tým v blogu:

„Vidíme, že napodobováním konečných neuronových sítí sledují sítě s nekonečnou šířkou podobnou hierarchii výkonu s plně propojenými sítěmi, které fungují hůře než konvoluční sítě, které zase fungují hůře než široké zbytkové sítě. Na rozdíl od běžného tréninku je však dynamika učení těchto modelů zcela ovladatelná v uzavřené formě, což umožňuje [nový] pohled na jejich chování.“

Zdá se, že vydání Neural Tangents je načasováno tak, aby se shodovalo s TensorFlow Dev Summit. Na konferenci pro vývojáře se setkávají inženýři strojového učení, kteří využívají platformu TensorFlow společnosti Google. Oznámení Neural Tangents také přichází krátce po oznámení TensorFlow Quantum.

Neural Tangents byl zpřístupněn prostřednictvím GitHubu a existuje zápisník a výukový program Google Colaboratory, ke kterým mají zájemci přístup.