Rozwijaj i przycinaj strategię AI, która wydaje się redukować zużycie energii przez AI

Ludzki mózg działa zgodnie z „rozwijaj i przycinaj” strategią, początkowo zaczynając od ogromnej ilości połączeń neuronalnych, a następnie przycinając niepotrzebne połączenia w czasie. Niedawno zespół badaczy AI zastosował ten podejście do systemów AI i stwierdził, że może on znacznie zmniejszyć ilość energii potrzebnej do szkolenia AI.

Zespół badaczy z Uniwersytetu Princeton niedawno stworzył nową metodę szkolenia systemów sztucznej inteligencji. Ta nowa metoda szkolenia wydaje się w stanie spełnić lub przewyższyć branżowe standardy dokładności, ale jest w stanie to osiągnąć, zużywając znacznie mniej mocy obliczeniowej, a tym samym mniej energii, niż tradycyjne modele uczenia maszynowego. W ciągu dwóch różnych prac badacze z Princeton wykazali, jak rozwijać sieć, dodając neurony i połączenia. Nieużywane połączenia były następnie przycinane w czasie, pozostawiając tylko najbardziej skuteczne i wydajne części modelu.

Niraj Jha, profesor inżynierii elektrycznej na Uniwersytecie Princeton, wyjaśnił w Princeton News, że model opracowany przez badaczy działa na „rozwijaj i przycinaj” paradygmacie. Jha wyjaśnił, że ludzki mózg jest najbardziej złożony wokół trzeciego roku życia, a po tym punkcie mózg zaczyna przycinać niepotrzebne połączenia synaptyczne. W efekcie w pełni rozwinięty mózg jest w stanie wykonywać wszystkie nadzwyczaj złożone zadania, które wykonujemy każdego dnia, ale używa tylko około połowy wszystkich synaps, które miał w szczytowym momencie. Jha i inni badacze naśladowali tę strategię, aby udoskonalić szkolenie AI.

Jha wyjaśnił:

„Nasze podejście to tzw. rozwijaj i przycinaj paradygmat. Jest to podobne do tego, co robi mózg od czasu, gdy jesteśmy niemowlęciem, do czasu, gdy jesteśmy małym dzieckiem. W trzecim roku życia ludzki mózg zaczyna przycinać połączenia między komórkami mózgu. Ten proces trwa do dorosłości, tak że w pełni rozwinięty mózg działa przy około połowie swojego szczytowego poziomu synaptycznego. Dorosły mózg jest wyspecjalizowany w tym, czego się nauczyliśmy. Nie jest tak dobry w ogólnym uczeniu się, jak mózg niemowlęcia.”

Dzięki technice rozwijania i przycinania można uzyskać równie dobre przewidywania wzorców w danych, używając tylko ułamka mocy obliczeniowej, która była wcześniej wymagana. Badacze starają się znaleźć metody redukcji zużycia energii i kosztów obliczeniowych, ponieważ jest to kluczowe dla wprowadzenia uczenia maszynowego na małe urządzenia, takie jak telefony i zegarki. Redukcja ilości energii zużywanej przez algorytmy uczenia maszynowego może również pomóc branży w redukcji śladu węglowego. Xiaoliang Dai, pierwszy autor prac, wyjaśnił, że modele muszą być szkolone lokalnie ze względu na to, że transmisja do chmury wymaga dużej ilości energii.

W trakcie pierwszej pracy badacze starali się opracować narzędzie do tworzenia sieci neuronowych, które mogliby wykorzystać do inżynierii sieci neuronowych i odtworzenia niektórych z najlepszych sieci z podstaw. Narzędzie to nosiło nazwę NeST (Narzędzie do syntezy sieci neuronowych), a gdy jest mu podane tylko kilka neuronów i połączeń, szybko zwiększa złożoność, dodając więcej neuronów do sieci. Gdy sieć osiąga wybrany punkt odniesienia, zaczyna się przycinać w czasie. Chociaż wcześniejsze modele sieci wykorzystywały techniki przycinania, metoda opracowana przez badaczy z Princeton była pierwszą, która wzięła sieć i symulowała etapy rozwoju, przechodząc od „niemowlęcia” do „dziecka” i w końcu do „dorosłego mózgu”.

W trakcie drugiej pracy badacze współpracowali z zespołem z Uniwersytetu Kalifornijskiego w Berkeley i Facebookiem, aby udoskonalić swoją technikę, wykorzystując narzędzie o nazwie Chameleon. Chameleon jest w stanie zacząć od pożądanego punktu końcowego, pożądanych wyników i pracować wstecz, aby zbudować odpowiedni typ sieci neuronowej. To eliminuje wiele pracy związanej z ręcznym dostosowywaniem sieci, dając inżynierom punkty startowe, które są prawdopodobnie natychmiast użyteczne. Chameleon przewiduje wyniki różnych architektur w różnych warunkach. Połączenie Chameleon i ramy NeST mogłoby pomóc organizacjom badawczym, które nie mają ciężkich zasobów obliczeniowych, w wykorzystaniu mocy sieci neuronowych. Inżynierowie rozpoczynający pracę mają punkty startowe, które są prawdopodobnie natychmiast użyteczne. Chameleon przewiduje wyniki różnych architektur w różnych warunkach. Połączenie Chameleon i ramy NeST mogłoby pomóc organizacjom badawczym, które nie mają ciężkich zasobów obliczeniowych, w wykorzystaniu mocy sieci neuronowych. (META )