Inžinieri vyvinuli energeticky efektívnu metódu „Early Bird“ na trénovanie hlbokých neurónových sietí

Inžinieri z Rice University vyvinuli novú metódu na trénovanie hlbokých neurónových sietí (DNN) so zlomkom normálne potrebnej energie. DNN sú formou umelej inteligencie (AI), ktorá hrá kľúčovú úlohu vo vývoji technológií, ako sú samoriadiace autá, inteligentní asistenti, rozpoznávanie tváre a ďalšie aplikácie.

Early Bird bol podrobne popísaný v papier 29. apríla výskumníkmi z Rice a Texas A&M University. Uskutočnilo sa to na Medzinárodná konferencia o vzdelávacích reprezentáciáchalebo ICLR 2020. 

Hlavnými autormi štúdie boli Haoran You a Chaojian Li z Rice's Efficient and Intelligent Computing (EIC) Lab. V jednej štúdii demonštrovali, ako by táto metóda mohla trénovať DNN na rovnakej úrovni a presnosti ako dnešné metódy, ale s použitím 10.7-krát menej energie. 

Výskum viedli riaditeľ laboratória EIC Yingyan Lin, Richard Baraniuk z Riceovej a Zhangyang Wang z Texas A&M. Medzi ďalších spoluautorov patria Pengfei Xu, Yonggan Fu, Yue Wang a Xiaohan Chen. 

„Hlavnou hnacou silou nedávnych prelomov AI je zavedenie väčších a drahších DNN,“ povedal Lin. „Tréning týchto DNN si však vyžaduje značnú energiu. Aby sa odhalilo viac inovácií, je nevyhnutné nájsť „zelenšie“ školiace metódy, ktoré sa budú zaoberať environmentálnymi problémami a zároveň znížia finančné bariéry výskumu AI.“

Drahé vlaky DNN

Trénovať najlepšie DNN na svete môže byť veľmi drahé a cena sa neustále zvyšuje. V roku 2019 štúdia vedená Allen Institute for AI v Seattli zistila, že na trénovanie špičkovej hlbokej neurónovej siete je potrebných 300,000 2012-krát viac výpočtov v porovnaní s rokmi 2018 – 2019. Ďalšia štúdia z roku XNUMX, tentoraz vedená výskumníkmi z University of Massachusetts Amherst, zistila, že tréningom jednej elitnej DNN sa uvoľní približne rovnaké množstvo emisií oxidu uhličitého ako päť amerických automobilov. 

Aby DNN mohli vykonávať svoje vysoko špecializované úlohy, pozostávajú z najmenej miliónov umelých neurónov. Sú schopní naučiť sa robiť rozhodnutia, pričom niekedy predčia ľudí, pozorovaním veľkého množstva príkladov. Môžu to urobiť bez toho, aby potrebovali explicitné programovanie. 

Prerezávať a trénovať

Lin je odborným asistentom elektrotechniky a počítačového inžinierstva na Rice's Brown School of Engineering. 

„Najmodernejší spôsob, ako vykonávať tréning DNN, sa nazýva progresívne prerezávanie a trénovanie,“ povedal Lin. „Najskôr natrénujete hustú, obrovskú sieť, potom odstránite časti, ktoré nevyzerajú dôležito – napríklad orezanie stromu. Potom znova natrénujete orezanú sieť, aby sa obnovil výkon, pretože výkon sa po orezaní zníži. A v praxi musíte veľakrát prerezať a preškoliť, aby ste dosiahli dobrý výkon.“

Táto metóda sa používa, pretože nie všetky umelé neuróny sú potrebné na dokončenie špecializovanej úlohy. Spojenia medzi neurónmi sú vďaka tréningu posilnené a iné môžu byť vyradené. Táto metóda prerezávania znižuje výpočtové náklady a znižuje veľkosť modelu, vďaka čomu sú plne vyškolené DNN cenovo dostupnejšie. 

„Prvý krok, tréning hustej, obrovskej siete, je najdrahší,“ povedal Lin. "Našou myšlienkou v tejto práci je identifikovať konečnú, plne funkčnú orezanú sieť, ktorú nazývame "včasný lístok", v počiatočnej fáze tohto nákladného prvého kroku."

Výskumníci to robia hľadaním kľúčových vzorov sieťového pripojenia a boli schopní objaviť tieto skoré lístky. To im umožnilo urýchliť tréning DNN. 

Early Bird v počiatočnej fáze tréningu

Lin a ďalší výskumníci zistili, že Early Bird sa môže objaviť jednu desatinu alebo menej z počiatočnej fázy tréningu. 

"Naša metóda dokáže automaticky identifikovať skoré lístky v rámci prvých 10 % alebo menej tréningu hustých obrovských sietí," povedal Lin. "To znamená, že môžete trénovať DNN, aby ste dosiahli rovnakú alebo dokonca lepšiu presnosť pre danú úlohu za približne 10% alebo menej času potrebného na tradičné školenie, čo môže viesť k úspore viac ako jednej objednávky vo výpočte aj energii."

Okrem toho, že sú rýchlejšie a energeticky účinnejšie, výskumníci sa silne zameriavajú na vplyv na životné prostredie. 

„Naším cieľom je, aby AI bola šetrnejšia k životnému prostrediu a inkluzívnejšia,“ povedala. „Veľká veľkosť zložitých problémov s AI zabránila menším hráčom. Zelená AI môže otvoriť dvere a umožniť výskumníkom s notebookom alebo obmedzenými výpočtovými zdrojmi skúmať inovácie AI.

Výskum získal podporu od Národnej vedeckej nadácie.