Inżynierowie opracowują energooszczędną metodę „Early Bird” do szkolenia głębokich sieci neuronowych

Inżynierowie z Uniwersytetu Rice opracowali nową metodę uczenia głębokich sieci neuronowych (DNN) przy użyciu ułamka normalnie wymaganej energii. Sieci DNN to forma sztucznej inteligencji (AI), która odgrywa kluczową rolę w rozwoju technologii, takich jak samochody autonomiczne, inteligentni asystenci, rozpoznawanie twarzy i inne zastosowania.

Early Bird został szczegółowo opisany w papier 29 kwietnia przez naukowców z Rice i Texas A&M University. Miało to miejsce o godz Międzynarodowa konferencja na temat reprezentacji uczenia sięlub ICLR 2020. 

Głównymi autorami badania byli Haoran You i Chaojian Li z laboratorium Efficient and Intelligent Computing (EIC) firmy Rice. W jednym z badań wykazano, że dzięki tej metodzie można wyszkolić DNN na tym samym poziomie i z taką samą dokładnością, jak dzisiejsze metody, ale zużywając 10.7 razy mniej energii. 

Badaniami kierowała dyrektor laboratorium EIC Yingyan Lin, Richard Baraniuk z Rice i Zhangyang Wang z Texas A&M. Inni współautorzy to Pengfei Xu, Yonggan Fu, Yue Wang i Xiaohan Chen. 

„Główną siłą napędową ostatnich przełomów w dziedzinie sztucznej inteligencji jest wprowadzenie większych i droższych sieci DNN” – powiedział Lin. „Ale szkolenie tych DNN wymaga znacznej energii. Aby ujawnić więcej innowacji, konieczne jest znalezienie „bardziej ekologicznych” metod szkoleniowych, które zarówno rozwiązują problemy środowiskowe, jak i zmniejszają bariery finansowe w badaniach nad sztuczną inteligencją”.

Drogie w szkoleniu DNN

Szkolenie najlepszych DNN na świecie może być bardzo kosztowne, a cena stale rośnie. Badanie przeprowadzone w 2019 r. przez Allen Institute for AI w Seattle wykazało, że do wyszkolenia najwyższej klasy głębokiej sieci neuronowej potrzeba 300,000 2012 razy więcej obliczeń w porównaniu z latami 2018–2019. Inne badanie przeprowadzone w XNUMX r., tym razem prowadzone przez naukowców z Uniwersytetu Massachusetts Amherst, wykazało, że szkolenie jednej elitarnej DNN powoduje emisję mniej więcej tej samej ilości dwutlenku węgla, co pięć amerykańskich samochodów. 

Aby sieci DNN mogły wykonywać swoje wysoce wyspecjalizowane zadania, składają się z co najmniej milionów sztucznych neuronów. Są w stanie nauczyć się podejmować decyzje, czasami przewyższając ludzi, obserwując dużą liczbę przykładów. Mogą to zrobić bez potrzeby jawnego programowania. 

Przycinaj i trenuj

Lin jest adiunktem inżynierii elektrycznej i komputerowej w Brown School of Engineering w Rice. 

„Najnowocześniejszy sposób prowadzenia treningu DNN nazywa się progresywnym przycinaniem i treningiem” – powiedział Lin. „Najpierw trenujesz gęstą, gigantyczną sieć, a następnie usuwasz części, które nie wyglądają na ważne — na przykład przycinanie drzewa. Następnie ponownie szkolisz oczyszczoną sieć, aby przywrócić wydajność, ponieważ po oczyszczeniu wydajność spada. W praktyce trzeba wiele razy przycinać i przekwalifikowywać, aby uzyskać dobre wyniki.

Metodę tę stosuje się, ponieważ nie wszystkie sztuczne neurony są potrzebne do wykonania specjalistycznego zadania. Połączenia między neuronami zostają wzmocnione w wyniku treningu, a inne mogą zostać odrzucone. Ta metoda przycinania obniża koszty obliczeniowe i zmniejsza rozmiar modelu, co sprawia, że ​​w pełni wyszkolone DNN są tańsze. 

„Pierwszy krok, czyli przeszkolenie gęstej, gigantycznej sieci, jest najdroższy” – powiedział Lin. „Nasz pomysł w tej pracy polega na zidentyfikowaniu ostatecznej, w pełni funkcjonalnej, oczyszczonej sieci, którą nazywamy „biletem dla wczesnych ptaków”, na początkowym etapie tego kosztownego pierwszego kroku”.

Badacze robią to, szukając kluczowych wzorców łączności sieciowej i udało im się odkryć bilety typu Early Bird. Pozwoliło im to przyspieszyć szkolenie DNN. 

Early Bird w początkowej fazie szkolenia

Lin i inni badacze odkryli, że Early Bird może pojawić się w jednej dziesiątej lub mniej początkowej fazy szkolenia. 

„Nasza metoda może automatycznie identyfikować bilety wczesnych ptaków w ciągu pierwszych 10% lub mniej szkolenia gęstych, gigantycznych sieci” – powiedział Lin. „Oznacza to, że możesz wyszkolić DNN, aby osiągał taką samą lub nawet lepszą dokładność dla danego zadania w około 10% lub mniej czasu potrzebnego na tradycyjne szkolenie, co może prowadzić do więcej niż jednego zamówienia oszczędności zarówno w obliczeniach, jak i energii”.

Oprócz tego, że jest szybszy i bardziej energooszczędny, naukowcy kładą duży nacisk na wpływ na środowisko. 

„Naszym celem jest sprawienie, aby sztuczna inteligencja była zarówno bardziej przyjazna dla środowiska, jak i bardziej inkluzywna” – powiedziała. „Sam rozmiar złożonych problemów związanych ze sztuczną inteligencją powstrzymywał mniejszych graczy. Zielona sztuczna inteligencja może otworzyć drzwi, umożliwiając naukowcom dysponującym laptopem lub ograniczonymi zasobami obliczeniowymi badanie innowacji w zakresie sztucznej inteligencji”.

Badania otrzymały wsparcie od National Science Foundation.