Naukowcy szukają pomocy neuronaukowców, aby pokonać tendencyjność zbioru danych

Zespół naukowców z MIT, Harvard University i Fujitsu, Ltd. poszukiwał sposobu, w jaki model machine learning może pokonać tendencyjność zbioru danych. Opierali się na podejściu z dziedziny neuronauki, aby zbadać, jak dane szkoleniowe wpływają na to, czy sztuczna sieć neuronowa może nauczyć się rozpoznawać obiekty, których nie widziała.

Badanie zostało opublikowane w Nature Machine Intelligence.

Różnorodność w danych szkoleniowych

Wyniki badania wykazały, że różnorodność w danych szkoleniowych wpływa na to, czy sieć neuronowa może pokonać tendencyjność. Jednak różnorodność danych może również mieć negatywny wpływ na wydajność sieci. Naukowcy również udowodnili, że sposób szkolenia sieci neuronowej może również wpłynąć na to, czy może pokonać tendencyjny zbiór danych.

Xavier Boix jest naukowcem w Departamencie Mózgu i Nauk Kognitywnych (BCS) oraz w Centrum dla Mózgu, Umysłów i Maszyn (CBMM). Jest również głównym autorem artykułu.

“Sieć neuronowa może pokonać tendencyjność zbioru danych, co jest zachęcające. Ale główny wniosek tutaj jest taki, że musimy wziąć pod uwagę różnorodność danych. Musimy przestać myśleć, że jeśli tylko zebramy mnóstwo surowych danych, to nas gdzieś zaprowadzi. Musimy być bardzo ostrożni, jak projektujemy zbiory danych od samego początku”, mówi Boix.

Zespół przyjął podejście neuronaukowe, aby opracować nowe podejście. Według Boix, jest to powszechne, aby używać kontrolowanych zbiorów danych w eksperymentach, więc zespół zbudował zbiory danych, które zawierały obrazy różnych obiektów w różnych pozach. Następnie kontrolowali kombinacje, tak aby niektóre zbiory były bardziej różnorodne niż inne. Zbiór danych z więcej obrazami, które pokazują obiekty tylko z jednej perspektywy, jest mniej różnorodny, podczas gdy ten z więcej obrazami, które pokazują obiekty z wielu perspektyw, jest bardziej różnorodny.

Naukowcy wzięli te zbiory danych i użyli ich do szkolenia sieci neuronowej do klasyfikacji obrazów. Następnie zbadali, jak dobrze jest w stanie identyfikować obiekty z perspektyw, których sieć nie widziała podczas szkolenia.

Stwierdzili, że bardziej różnorodne zbiory danych pozwalają sieci lepiej uogólniać nowe obrazy lub perspektywy, co jest kluczowe do pokonania tendencyjności.

“Ale nie jest tak, że więcej różnorodności danych zawsze jest lepsze; jest tu napięcie. Kiedy sieć neuronowa staje się lepsza w rozpoznawaniu nowych rzeczy, których nie widziała, wtedy staje się trudniejsza do rozpoznania rzeczy, które już widziała”, mówi Boix.

Metody szkolenia sieci neuronowych

Zespół również odkrył, że model szkolony oddzielnie dla każdego zadania jest lepiej w stanie pokonać tendencyjność w porównaniu z modelem szkolonym dla obu zadań jednocześnie.

“Wyniki były naprawdę uderzające. W rzeczywistości, pierwszy raz, kiedy wykonaliśmy ten eksperyment, myśleliśmy, że to jest błąd. Zajęło nam kilka tygodni, aby zrealizować, że to jest prawdziwy wynik, ponieważ był tak nieoczekiwany”, kontynuuje Boix.

Głębsza analiza ujawniła, że specjalizacja neuronów jest zaangażowana w tym procesie. Kiedy sieć neuronowa jest szkolona do rozpoznawania obiektów na obrazach, pojawiają się dwa rodzaje neuronów. Jeden neuron specjalizuje się w rozpoznawaniu kategorii obiektu, podczas gdy drugi specjalizuje się w rozpoznawaniu perspektywy.

Neurony specjalistyczne stają się bardziej widoczne, kiedy sieć jest szkolona do wykonywania zadań oddzielnie. Jednak kiedy sieć jest szkolona do wykonania obu zadań jednocześnie, niektóre neurony stają się rozcieńczone. Oznacza to, że nie specjalizują się w jednym zadaniu i są bardziej skłonne do pomyłek.

“Ale następne pytanie teraz jest, jak te neurony się tam znalazły? Szkolimy sieć neuronową i one pojawiają się w procesie uczenia. Nikt nie powiedział sieci, aby zawierała tego rodzaju neurony w swojej architekturze. To jest fascynujące”, mówi Boix.

Naukowcy będą dążyć do zbadania tego pytania w swojej przyszłej pracy, a także do zastosowania nowego podejścia do bardziej złożonych zadań.