Strategia uprawy i przycinania sztucznej inteligencji wydaje się zmniejszać zużycie energii przez sztuczną inteligencję

Ludzki mózg działa według strategii „rozwijaj i przycinaj”, początkowo zaczynając od ogromnej liczby połączeń neuronowych, a następnie z czasem usuwając nieużywane połączenia. Niedawno zespół badaczy sztucznej inteligencji zastosował to podejście do systemów sztucznej inteligencji i odkrył, że mogłoby to znacznie zmniejszyć ilość energii potrzebnej do szkolenia sztucznej inteligencji.

Zespół badaczy z Uniwersytetu Princeton niedawno opracowano nową metodę uczenia systemów sztucznej inteligencji. Wydaje się, że ta nowa metoda uczenia jest w stanie spełnić lub przekroczyć standardy branżowe w zakresie dokładności, ale jest w stanie to osiągnąć, zużywając znacznie mniej mocy obliczeniowej, a tym samym mniej energii, niż tradycyjne modele uczenia maszynowego. W dwóch różnych artykułach badacze z Princeton pokazali, jak rozwijać sieć, dodając do niej neurony i połączenia. Nieużywane połączenia zostały następnie z biegiem czasu usunięte, pozostawiając jedynie najbardziej efektywne i wydajne części modelu.

Niraj Jha, profesor elektrotechniki na Uniwersytecie Princeton, wyjaśnił w wywiadzie dla Princeton News, że model opracowany przez naukowców działa w oparciu o paradygmat „row-and-prune” (odcinania i rzędowania). Jha wyjaśnił, że mózg człowieka osiąga najwyższy poziom złożoności w wieku około trzech lat, a po tym okresie zaczyna usuwać zbędne połączenia synaptyczne. W rezultacie w pełni rozwinięty mózg jest w stanie wykonywać wszystkie niezwykle złożone zadania, które wykonujemy każdego dnia, ale wykorzystuje około połowę wszystkich synaps, którymi dysponował w szczytowym okresie rozwoju. Jha i inni badacze naśladowali tę strategię, aby usprawnić proces szkolenia sztucznej inteligencji.

Jha wyjaśnił:

„Nasze podejście nazywamy paradygmatem uprawy i przycinania. Działa podobnie do tego, co robi mózg od dzieciństwa do małego dziecka. W trzecim roku życia ludzki mózg zaczyna wycinać połączenia między komórkami mózgowymi. Proces ten trwa aż do dorosłości, tak że w pełni rozwinięty mózg pracuje mniej więcej w połowie swojego szczytu synaptycznego. Mózg dorosłego jest wyspecjalizowany w każdym treningu, jaki mu zapewniliśmy. Nie jest tak dobry do ogólnego uczenia się, jak mózg małego dziecka”.

Dzięki technice uprawy i przycinania można równie dobrze przewidywać wzorce w danych, wykorzystując jedynie ułamek mocy obliczeniowej, która była wcześniej wymagana. Celem badaczy jest znalezienie metod zmniejszania zużycia energii i kosztów obliczeniowych, ponieważ jest to kluczem do wprowadzenia uczenia maszynowego na małe urządzenia, takie jak telefony i inteligentne zegarki. Zmniejszenie ilości energii zużywanej przez algorytmy uczenia maszynowego może również pomóc branży zmniejszyć swój ślad węglowy. Xiaoliang Dai, pierwszy autor artykułów, wyjaśnił, że modele muszą być szkolone lokalnie, ponieważ transmisja do chmury wymaga dużej ilości energii.

W trakcie pierwszego badania badacze próbowali opracować narzędzie do tworzenia sieci neuronowych, którego mogliby używać do projektowania sieci neuronowych i odtwarzania od podstaw niektórych z sieci o najwyższej wydajności. Narzędzie to nazwano NeST (narzędzie syntezy sieci neuronowej), a gdy zostanie wyposażone w zaledwie kilka neuronów i połączeń, jego złożoność gwałtownie wzrasta poprzez dodanie większej liczby neuronów do sieci. Gdy sieć osiągnie wybrany benchmark, z czasem zaczyna się oczyszczać. Podczas gdy poprzednie modele sieci wykorzystywały techniki przycinania, metoda opracowana przez badaczy z Princeton jako pierwsza wykorzystała sieć i symulowała etapy rozwoju, przechodząc od „niemowlęcia” do „malucha” i ostatecznie do „mózgu dorosłego”.

Podczas drugiego artykułu badacze współpracowali z zespołem z Uniwersytetu Kalifornijskiego w Berkely i Facebookiem, aby ulepszyć swoją technikę za pomocą narzędzia o nazwie Chameleon. Chameleon jest w stanie zacząć od pożądanego punktu końcowego, pożądanych wyników i pracować wstecz, aby zbudować odpowiedni typ sieci neuronowej. Eliminuje to wiele domysłów związanych z ręcznym dostosowywaniem sieci, dając inżynierom punkty wyjścia, które prawdopodobnie będą natychmiast przydatne. Chameleon przewiduje wydajność różnych architektur w różnych warunkach. Połączenie Chameleon i platformy NeST może pomóc organizacjom badawczym, którym brakuje dużych zasobów obliczeniowych, w wykorzystaniu mocy sieci neuronowych.