Nowe badania sugerują, że sztuczne mózgi mogą skorzystać ze snu

Nowe badania przeprowadzone w Los Alamos National Laboratory sugerują, że sztuczne mózgi prawdopodobnie skorzystają z okresów odpoczynku, podobnie jak żywe mózgi.

Badania zostaną przedstawione na Women in Computer Vision Workshop w Seattle 14 czerwca.

Yijing Watkins jest komputerowym naukowcem w Los Alamos National Laboratory.

“Badamy sieci neuronowe, które uczą się podobnie jak żywe mózgi”, powiedział Watkins. “Byliśmy zainteresowani perspektywą szkolenia procesora neuromorficznego w sposób analogiczny do tego, jak ludzie i inne systemy biologiczne uczą się ze swojego otoczenia w trakcie rozwoju dziecięcego”.

Rozwiązywanie niestabilności w symulacjach sieci

Watkins i zespół odkryli, że ciągłe okresy nienadzorowanego uczenia się prowadziły do niestabilności w symulacjach sieci. Jednak gdy zespół wprowadził sieci do stanów, które są wynikiem fal, jakie żywe mózgi doświadczają podczas snu, udało się przywrócić stabilność.

“Było to tak, jakby dawaliśmy sieciom neuronowym odpowiednik dobrej nocy snu”, powiedział Watkins.

Zespół dokonał tego odkrycia, gdy pracowali nad rozwijaniem sieci neuronowych opartych na tym, jak ludzie i inne systemy biologiczne uczą się widzieć. Zespół spotkał się z pewnymi wyzwaniami, gdy chodziło o stabilizowanie symulowanych sieci neuronowych, które przechodziły nienadzorowane szkolenie słownika. Nienadzorowane szkolenie słownika polega na klasyfikowaniu obiektów bez posiadania wcześniejszych przykładów do porównania.

Garrett Kenyon jest komputerowym naukowcem w Los Alamos i współautorem badania.

“Problem, jak utrzymać systemy uczące się stabilne, pojawia się tylko wtedy, gdy próbuje się wykorzystać biologicznie realistyczne, sztuczne procesory neuromorficzne lub gdy próbuje się zrozumieć samą biologię”, powiedział Kenyon. “Ogromna większość badaczy uczenia maszynowego, głębokiego uczenia się i sztucznej inteligencji nie spotyka się z tym problemem, ponieważ w badanych przez nich sztucznych systemach mają luksus wykonywania globalnych operacji matematycznych, które mają efekt regulacji ogólnego dynamiki systemu”.

Sen jako rozwiązanie ostateczne

Zdaniem badaczy, narażenie sieci na sztuczny analog snu było ich ostatnim rozwiązaniem, aby je stabilizować. Po eksperymentach z różnymi rodzajami szumu, który jest podobny do szumu pomiędzy stacjami radiowymi, najlepsze wyniki uzyskano dzięki falom szumu Gaussa. Ten rodzaj szumu obejmuje szeroki zakres częstotliwości i amplitud.

Badacze wysunęli hipotezę, że podczas snu wolnofalowego szum naśladuje sygnały otrzymywane przez neurony biologiczne. Wyniki sugerują, że sen wolnofalowy może odgrywać rolę w zapewnieniu, że neurony korowe nie cierpią na halucynacje i utrzymują stabilność.

Zespół będzie teraz pracował nad wdrożeniem algorytmu na chipie neuromorficznym Intel (INTC ) Loihi, licząc, że sen pomoże mu stabilnie przetwarzać informacje z kamery retinowej w czasie rzeczywistym. Jeśli badania ustalą, że sztuczne mózgi skorzystają ze snu, to samo jest prawdopodobne dla androidów i innych inteligentnych maszyn.

Źródło: Wykorzystanie szumu sinusoidalnie-modyfikowanego jako substytutu snu wolnofalowego w celu uzyskania stabilnego nienadzorowanego uczenia słownika w modelu kodowania rzadkiego opartym na impulsach, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, Stany Zjednoczone)