Inżynierowie opracowali energooszczędny sposób “Early Bird” do szkolenia głębokich sieci neuronowych

Inżynierowie z Uniwersytetu Rice opracowali nową metodę szkolenia głębokich sieci neuronowych (DNN) przy użyciu ułamka energii, która jest zwykle wymagana. DNN to forma sztucznej inteligencji (AI), która odgrywa kluczową rolę w rozwoju technologii takich jak samochody bez kierowcy, inteligentni asystenci, rozpoznawanie twarzy i innych aplikacji.

Early Bird został szczegółowo opisany w artykule z dnia 29 kwietnia przez badaczy z Rice i Uniwersytetu Texas A&M. Odbyło się to na Międzynarodowej Konferencji poświęconej Reprezentacji Uczenia, czyli ICLR 2020.

Głównymi autorami badania byli Haoran You i Chaojian Li z Laboratorium Efektywnego i Inteligentnego Obliczania (EIC) na Uniwersytecie Rice. W jednym z badań wykazali, jak metoda ta może szkolić DNN na tym samym poziomie i dokładności, co metody stosowane dzisiaj, ale przy użyciu 10,7 razy mniej energii.

Badanie zostało przeprowadzone pod kierunkiem dyrektora Laboratorium EIC, Yingyan Lin, Richarda Baraniuka z Uniwersytetu Rice oraz Zhangyanga Wanga z Uniwersytetu Texas A&M. Innymi współautorami są Pengfei Xu, Yonggan Fu, Yue Wang i Xiaohan Chen.

“Główną siłą napędową w ostatnich przełomach AI jest wprowadzenie większych, bardziej kosztownych DNN”, powiedział Lin. “Jednak szkolenie tych DNN wymaga znacznej ilości energii. Aby więcej innowacji mogło zostać ujawnionych, konieczne jest znalezienie ‘bardziej ekologicznych’ metod szkolenia, które zarówno rozwiązują problemy środowiskowe, jak i redukują bariery finansowe badań AI.”

Drogi w szkoleniu DNN

Może być bardzo drogo, aby szkolić najlepsze DNN na świecie, a cena ta ciągle rośnie. W 2019 roku badanie przeprowadzone przez Instytut Allen Institute for AI w Seattle wykazało, że aby szkolić najlepszą głęboką sieć neuronową, potrzeba 300 000 razy więcej obliczeń w porównaniu z latami 2012-2018. Inne badanie z 2019 roku, tym razem przeprowadzone przez badaczy z Uniwersytetu Massachusetts Amherst, wykazało, że szkolenie jednej, elitarnej DNN powoduje emisję dwutlenku węgla porównywalną do pięciu samochodów w Stanach Zjednoczonych.

Aby DNN mogły wykonywać swoje wyspecjalizowane zadania, składają się one z co najmniej milionów sztucznych neuronów. Mogą one uczyć się podejmowania decyzji, czasem przewyższając ludzi, poprzez obserwację dużej liczby przykładów. Mogą to robić bez potrzeby jawnej programacji.

Prune and Train

Lin jest asystentem profesora inżynierii elektrycznej i komputerowej w Szkole Inżynierskiej Browna na Uniwersytecie Rice.

“Najnowocześniejszy sposób szkolenia DNN nazywa się postępowym cięciem i szkoleniem”, powiedział Lin. “Najpierw szkolisz gęstą, olbrzymią sieć, a następnie usuwasz części, które nie wydają się istotne – jak cięcie drzewa. Następnie szkolisz ponownie wyciętą sieć, aby przywrócić jej wydajność, ponieważ wydajność pogarsza się po wycięciu. W praktyce musisz wielokrotnie ciąć i szkolić, aby uzyskać dobrą wydajność.”

Ta metoda jest stosowana, ponieważ nie wszystkie sztuczne neurony są potrzebne do wykonania wyspecjalizowanego zadania. Połączenia między neuronami są wzmacniane podczas szkolenia, a inne mogą być odrzucone. Ta metoda cięcia redukuje koszty obliczeniowe i zmniejsza rozmiar modelu, co sprawia, że w pełni wyszkolone DNN stają się bardziej przystępne.

“Pierwszy krok, szkolenie gęstej, olbrzymiej sieci, jest najdroższy”, powiedział Lin. “Nasza idea w tym badaniu polega na identyfikacji końcowej, w pełni funkcjonalnej wyciętej sieci, którą nazywamy ‘bilet early bird’, na początku tego kosztownego pierwszego kroku.”

Badacze robią to, szukając kluczowych wzorców połączeń sieciowych i byli w stanie odkryć te bilety early bird. To pozwoliło im przyspieszyć szkolenie DNN.

Early Bird na początku fazy szkolenia

Lin i inni badacze odkryli, że Early Bird może pojawić się jeden dziesiąty lub mniej od początku fazy szkolenia.

“Nasza metoda może automatycznie identyfikować bilety early bird w ciągu pierwszych 10% lub mniej szkolenia gęstej, olbrzymiej sieci”, powiedział Lin. “To oznacza, że możesz szkolić DNN, aby osiągnąć taką samą lub nawet lepszą dokładność dla danego zadania w ciągu 10% lub mniej czasu potrzebnego do tradycyjnego szkolenia, co może prowadzić do oszczędności rzędu jednej wielkości w obliczeniach i energii.”

Oprócz tego, że jest szybszy i bardziej efektywny energetycznie, badacze mają silny nacisk na wpływ na środowisko.

“Naszym celem jest uczynienie AI bardziej przyjaznym dla środowiska i bardziej inkluzywnym”, powiedziała. “Ogromna skala złożonych problemów AI wykluczyła mniejszych graczy. Zielony AI może otworzyć drzwi, umożliwiając badaczom z laptopem lub ograniczonymi zasobami obliczeniowymi eksplorowanie innowacji AI.”

Badanie otrzymało wsparcie od Narodowej Fundacji Nauki.