Inženýři vyvinuli energeticky efektivní metodu “Early Bird” pro trénování hlubokých neuronových sítí

Inženýři z Riceovy univerzity vyvinuli novou metodu pro trénování hlubokých neuronových sítí (DNN) s pouhým zlomkem energie, která je obvykle vyžadována. DNN jsou forma umělé inteligence (AI), která hraje klíčovou roli ve vývoji technologií, jako jsou samořiditelná auta, inteligentní asistenti, rozpoznávání obličeje a dalších aplikací.

Early Bird byl popsán v článku dne 29. dubna výzkumníky z Riceovy univerzity a Texas A&M University. Konal se na Mezinárodní konferenci o učících se reprezentacích, nebo ICLR 2020.

Hlavními autory studie byli Haoran You a Chaojian Li z EIC Labu na Riceově univerzitě. V jedné studii prokázali, jak metoda může trénovat DNN na stejné úrovni a přesnosti jako současné metody, ale s pouhými 10,7krát menší spotřebou energie.

Výzkum vedl ředitel EIC Labu Yingyan Lin, Richard Baraniuk z Riceovy univerzity a Zhangyang Wang z Texas A&M University. Dalšími spoluautory jsou Pengfei Xu, Yonggan Fu, Yue Wang a Xiaohan Chen.

“Hlavním hnacím motorem nedávných průlomů v oblasti AI je zavedení větších a dražších DNN,” řekl Lin. “Ale trénování těchto DNN vyžaduje značné množství energie. Pro další inovace je nezbytné najít ‘zelenější’ trénovací metody, které řeší environmentální problémy a snižují finanční bariéry výzkumu AI.”

Drahé trénování DNN

Může být velmi drahé trénovat nejlepší DNN na světě, a cena se neustále zvyšuje. V roce 2019 studie vedená Allenovým institutem pro AI v Seattlu zjistila, že pro trénování špičkového hlubokého neuronového sítě je potřeba 300 000krát více výpočtů než v letech 2012-2018. Další studie z roku 2019, tentokrát vedená výzkumníky na University of Massachusetts Amherst, zjistila, že trénování jediné špičkové DNN uvolňuje přibližně stejné množství emisí oxidu uhličitého jako pět amerických automobilů.

Aby DNN mohly plnit své vysoce specializované úkoly, musí se skládat z alespoň milionů umělých neuronů. Jsou schopny učit se, jak dělat rozhodnutí, někdy lepší než lidé, pozorováním velkého počtu příkladů. To mohou dělat bez potřeby explicitního programování.

Prune a trénovat

Lin je asistentem profesora elektrotechniky a počítačového inženýrství na Brownově škole inženýrství.

“Stavová metoda pro trénování DNN se nazývá progresivní pruning a trénování,” řekl Lin. “Nejdříve trénujete hustou, obří síť, pak odstraníte části, které se nezdají důležité – jako když seříznete strom. Pak znovu trénujete prořízlou síť, aby se obnovila výkonnost, protože výkonnost se zhoršuje po proříznutí. A v praxi je třeba proříznout a znovu trénovat mnohokrát, aby se dosáhlo dobré výkonnosti.”

Tato metoda se používá, protože ne všechny umělé neurony jsou potřebné pro dokončení specializovaného úkolu. Spojnice mezi neurony jsou posíleny trénováním a ostatní lze odstranit. Tato metoda proříznutí snižuje výpočetní náklady a snižuje velikost modelu, což činí plně trénované DNN dostupnějšími.

“První krok, trénování husté, obří sítě, je nejdražší,” řekl Lin. “Naše myšlenka v této práci je identifikovat konečnou, plně funkční prořízlou síť, kterou nazýváme ‘early-bird ticket’, na počátku této drahé první fáze.”

Výzkumníci to dělají hledáním klíčových vzorců spojení sítě a byli schopni objevit tyto early-bird tikety. To jim umožnilo urychlit trénování DNN.

Early Bird v počáteční fázi trénování

Lin a další výzkumníci zjistili, že Early Bird může objevit jeden desetinu nebo méně cesty skrz počáteční fázi trénování.

“Naše metoda může automaticky identifikovat early-bird tikety v prvních 10 % nebo méně trénování husté, obří sítě,” řekl Lin. “To znamená, že můžete trénovat DNN, aby dosáhlo stejné nebo dokonce lepší přesnosti pro daný úkol, za pouhých 10 % nebo méně času potřebného pro tradiční trénování, což může vést k více než jedné řádové úspoře jak ve výpočtu, tak v energii.”

Kromě toho, že je rychlejší a energeticky efektivnější, mají výzkumníci silný důraz na environmentální dopad.

“Naším cílem je učinit AI více environmentálně šetrnou a inkluzivní,” řekla. “Velikost komplexních problémů AI vynechala menší hráče. Zelená AI může otevřít dveře výzkumníkům s laptopem nebo omezenými výpočetními zdroji, aby mohli prozkoumat inovace AI.”

Výzkum získal podporu od Národního vědeckého fondu.