Naukowcy zwracają się do neuronaukowców, aby pokonać tendencyjność zbioru danych

Zespół naukowców z MIT, Uniwersytetu Harvarda i Fujitsu, Ltd. poszukiwał sposobu, w jaki model machine learning mógłby pokonać tendencyjność zbioru danych. Opierali się na podejściu z dziedziny neuronauki, aby zbadać, w jaki sposób dane szkoleniowe wpływają na to, czy sztuczna sieć neuronowa może nauczyć się rozpoznawać obiekty, których nigdy nie widziała.

Badanie zostało opublikowane w Nature Machine Intelligence.

Różnorodność danych szkoleniowych

Wyniki badania wykazały, że różnorodność danych szkoleniowych wpływa na to, czy sieć neuronowa jest w stanie pokonać tendencyjność. Jednak różnorodność danych może również mieć negatywny wpływ na działanie sieci. Naukowcy udowodnili również, że sposób szkolenia sieci neuronowej może również wpływać na to, czy jest w stanie pokonać tendencyjny zbiór danych.

Xavier Boix jest naukowcem w Departamencie Mózgu i Nauk Kognitywnych (BCS) oraz w Centrum dla Mózgów, Umysłów i Maszyn (CBMM). Jest również głównym autorem artykułu.

“Sztuczna sieć neuronowa może pokonać tendencyjność zbioru danych, co jest zachęcające. Ale główny wniosek tutaj jest taki, że musimy wziąć pod uwagę różnorodność danych. Musimy przestać myśleć, że jeśli tylko zebramy dużo surowych danych, to nas to gdzieś zaprowadzi. Musimy być bardzo ostrożni, jak projektujemy zbiory danych od samego początku”, mówi Boix.

Zespół przyjął podejście neuronaukowe, aby opracować nowe podejście. Według Boix, powszechną praktyką jest używanie kontrolowanych zbiorów danych w eksperymentach, więc zespół zbudował zbiory danych, które zawierały obrazy różnych obiektów w różnych pozach. Następnie kontrolowali kombinacje, tak aby niektóre zbiory były bardziej różnorodne niż inne. Zbiór danych z więcej obrazami, które pokazują obiekty tylko z jednej perspektywy, jest mniej różnorodny, podczas gdy zbiór z więcej obrazami, które pokazują obiekty z wielu perspektyw, jest bardziej różnorodny.

Naukowcy wzięli te zbiory danych i użyli ich do szkolenia sieci neuronowej do klasyfikacji obrazów. Następnie zbadali, jak dobrze radziła sobie z identyfikacją obiektów z perspektyw, których sieć nie widziała podczas szkolenia.

Stwierdzili, że bardziej różnorodne zbiory danych pozwalają sieci lepiej uogólniać nowe obrazy lub perspektywy, co jest kluczowe do pokonania tendencyjności.

“Ale nie jest tak, że więcej różnorodności danych zawsze jest lepsze; jest tu napięcie. Kiedy sieć neuronowa staje się lepsza w rozpoznawaniu nowych rzeczy, których nie widziała, wtedy staje się trudniejsze dla niej rozpoznanie rzeczy, które już widziała”, mówi Boix.

Metody szkolenia sieci neuronowych

Zespół odkrył również, że model szkolony oddzielnie dla każdego zadania jest lepiej w stanie pokonać tendencyjność w porównaniu z modelem szkolonym dla obu zadań jednocześnie.

“Wyniki były naprawdę uderzające. W rzeczywistości, pierwszy raz, kiedy wykonaliśmy ten eksperyment, myśleliśmy, że to błąd. Zajęło nam kilka tygodni, aby zrealizować, że to prawdziwy wynik, ponieważ był tak nieoczekiwany”, kontynuuje Boix.

Głębsza analiza ujawniła, że specjalizacja neuronów jest zaangażowana w tym procesie. Kiedy sieć neuronowa jest szkolona do rozpoznawania obiektów na obrazach, pojawiają się dwa rodzaje neuronów. Jeden neuron specjalizuje się w rozpoznawaniu kategorii obiektu, podczas gdy drugi specjalizuje się w rozpoznawaniu perspektywy.

Specjalizowane neurony stają się bardziej wyraźne, kiedy sieć jest szkolona do wykonywania zadań oddzielnie. Jednak kiedy sieć jest szkolona do wykonania obu zadań jednocześnie, niektóre neurony stają się rozmyte. Oznacza to, że nie specjalizują się w jednym zadaniu i są bardziej skłonne do pomyłek.

“Ale następne pytanie teraz jest, jak te neurony się tam znalazły? Szkolisz sieć neuronową i pojawiają się one z procesu uczenia. Nikt nie powiedział sieci, aby uwzględniła te typy neuronów w swojej architekturze. To jest fascynujące”, mówi Boix.

Naukowcy będą dążyć do zbadania tego pytania w swojej przyszłej pracy, a także zastosują nowe podejście do bardziej złożonych zadań.