Инженерите развиваат енергетски ефикасен метод „Early Bird“ за обука на длабоки невронски мрежи

Инженерите од Универзитетот Рајс развија нов метод за обука на длабоки невронски мрежи (DNN) со дел од вообичаено потребната енергија. DNN се форма на вештачка интелигенција (ВИ) која игра клучна улога во развојот на технологии како што се самоуправувачки автомобили, интелигентни асистенти, препознавање лица и други апликации.

Раната птица беше детално опишана во хартија на 29 април од истражувачите од Универзитетот Рајс и Тексас А&М. Тоа се одржа во Меѓународна конференција за репрезентации за учење, или ICLR 2020 година. 

Водечки автори на студијата беа Хаоран Ју и Чаоџијан Ли од Лабораторијата за ефикасно и интелигентно пресметување на Рајс (EIC). Во една студија, тие покажаа како методот може да тренира DNN на исто ниво и точност како и денешните методи, но користејќи 10.7 пати помалку енергија. 

Истражувањето го водеа директорот на EIC Lab Јингјан Лин, Ричард Бараниук од Рајс и Џангјанг Ванг од Тексас А&М. Други коавтори се Пенгфеи Ксу, Јонгган Фу, Јуе Ванг и Ксијаохан Чен. 

„Главната движечка сила во неодамнешните откритија на вештачката интелигенција е воведувањето на поголеми, поскапи DNN“, рече Лин. „Но, обуката на овие DNN бара значителна енергија. За да бидат откриени повеќе иновации, императив е да се изнајдат „позелени“ методи за обука кои истовремено се однесуваат на грижите за животната средина и ги намалуваат финансиските бариери за истражување на вештачката интелигенција“.

Скапо е да се обучуваат DNN

Може да биде многу скапо да се обучуваат најдобрите DNN во светот, а цената продолжува да се зголемува. Во 2019 година, студија предводена од Институтот Ален за вештачка интелигенција во Сиетл покажа дека за да се обучи врвна длабока невронска мрежа, потребни се 300,000 пати повеќе пресметки во споредба со 2012-2018 година. Друга студија од 2019 година, овојпат предводена од истражувачи од Универзитетот во Масачусетс Амхерст, покажа дека со обука на еден, елитен DNN, се ослободува приближно иста количина на емисии на јаглерод диоксид како пет американски автомобили. 

Со цел DNN да ги извршуваат своите високо специјализирани задачи, тие се состојат од најмалку милиони вештачки неврони. Тие се способни да научат како да донесуваат одлуки, понекогаш надминувајќи ги луѓето, набљудувајќи голем број примери. Тие можат да го направат тоа без потреба од експлицитно програмирање. 

Изчистете и тренирајте

Лин е доцент по електро и компјутерско инженерство во Браун Факултетот за инженерство Рајс. 

„Најсовремениот начин за изведување на обука за DNN се нарекува прогресивно чистење и тренирање“, рече Лин. „Прво, тренирате густа, џиновска мрежа, а потоа отстранувате делови што не изгледаат важни - како кастрење дрво. Потоа повторно ја обучувате исечената мрежа за да ги вратите перформансите бидејќи перформансите се намалуваат по кастрењето. И во пракса, треба многу пати да се режеш и да се преквалификуваш за да постигнеш добри перформанси“.

Овој метод се користи бидејќи не се потребни сите вештачки неврони за да се заврши специјализираната задача. Врските меѓу невроните се зајакнати поради обуката, а други може да се отфрлат. Овој метод на кастрење ги намалува пресметковните трошоци и ја намалува големината на моделот, што ги прави целосно обучените DNN подостапни. 

„Првиот чекор, обуката на густата, џиновска мрежа, е најскапиот“, рече Лин. „Нашата идеја во оваа работа е да ја идентификуваме конечната, целосно функционална исчистена мрежа, која ја нарекуваме „билет за рана птица“, во почетната фаза на овој скап прв чекор“.

Истражувачите го прават тоа барајќи клучни обрасци за мрежно поврзување и успеале да ги откријат овие билети за рана птица. Ова им овозможи да ја забрзаат обуката за DNN. 

Рана птица во почетната фаза на обука

Лин и другите истражувачи открија дека Раната птица може да се појави на една десетина или помалку од почетокот на фазата на обука. 

„Нашиот метод може автоматски да ги идентификува билетите за рана птица во првите 10% или помалку од обуката на густите, гигантски мрежи“, рече Лин. „Ова значи дека можете да тренирате DNN за да постигнете иста или уште подобра точност за дадена задача во околу 10% или помалку од времето потребно за традиционална обука, што може да доведе до повеќе од една заштеда на нарачки и во пресметките и во енергијата“.

Покрај тоа што се побрзи и енергетски поефикасни, истражувачите имаат силен фокус на влијанието врз животната средина. 

„Нашата цел е да ја направиме вештачката интелигенција и поеколошка и поинклузивна“, рече таа. „Огромната големина на сложените проблеми со вештачката интелигенција ги задржа помалите играчи. Зелената вештачка интелигенција може да ја отвори вратата овозможувајќи им на истражувачите со лаптоп или ограничени пресметковни ресурси да ги истражуваат иновациите на вештачката интелигенција“.

Истражувањето доби поддршка од Националната научна фондација.