Výzkumníci se obracejí na neurovědce, aby překonali zkreslení dat

Tým výzkumníků z MIT, Harvardské univerzity a Fujitsu, Ltd. hledal způsob, jak by model strojového učení mohl překonat zkreslení dat. Snažili se využít přístup z neurovědy, aby studovali, jak trénovací data ovlivňují, zda umělá neuronová síť může rozpoznat objekty, které dosud neviděla.

Výzkum byl zveřejněn v Nature Machine Intelligence.

Rozmanitost trénovacích dat

Výsledky studie ukázaly, že rozmanitost trénovacích dat ovlivňuje, zda neuronová síť může překonat zkreslení. Nicméně, rozmanitost dat může mít také negativní dopad na výkon sítě. Výzkumníci také ukázali, že způsob, jakým je neuronová síť trénována, může také ovlivnit, zda může překonat zkreslená data.

Xavier Boix je výzkumný pracovník v oddělení mozkové a kognitivní vědy (BCS) a Centru pro mozek, mysl a stroje (CBMM). Je také hlavním autorem článku.

“Neuronová síť může překonat zkreslení dat, což je povzbudivé. Ale hlavní poznatek zde je, že musíme brát v úvahu rozmanitost dat. Musíme přestat myslet, že pokud pouze shromáždíme spoustu surových dat, že to nějakým způsobem povede k úspěchu. Musíme být velmi opatrní, jak navrhujeme datové sady již na počátku,” říká Boix.

Tým přijal přístup neurovědce, aby vyvinul nový přístup. Podle Boixe je běžné používat řízené datové sady v experimentech, takže tým vytvořil datové sady, které obsahovaly obrázky různých objektů v různých polohách. Poté kontrolovali kombinace, aby některé datové sady byly rozmanitější než jiné. Datová sada s více obrázky, které zobrazují objekty pouze z jednoho úhlu, je méně rozmanitá, zatímco ta, která zobrazuje objekty z více úhlů, je rozmanitější.

Výzkumníci vzali tyto datové sady a použili je k trénování neuronové sítě pro klasifikaci obrázků. Poté studovali, jak dobře je schopna identifikovat objekty z úhlů, které síť neviděla během trénování.

Zjistili, že rozmanitější datové sady umožňují síti lépe zobecnit nové obrázky nebo úhly, a to je zásadní pro překonání zkreslení.

“Ale není to tak, že více datové rozmanitosti je vždy lepší; zde je napětí. Když se neuronová síť stává lepší v rozpoznávání nových věcí, které neviděla, pak se stává obtížnější pro ni rozpoznat věci, které již viděla,” říká Boix.

Metody trénování neuronových sítí

Tým také zjistil, že model trénovaný samostatně pro každou úlohu je lépe schopen překonat zkreslení ve srovnání s modelem trénovaným pro obě úlohy společně.

“Výsledky byly opravdu úžasné. Ve skutečnosti, prvníkrát, co jsme provedli tento experiment, jsme si mysleli, že je to chyba. Trvalo nám několik týdnů, než jsme si uvědomili, že je to skutečný výsledek, protože byl tak neočekávaný,” pokračuje Boix.

Podrobnější analýza odhalila, že specializace neuronů je zapojena do tohoto procesu. Když je neuronová síť trénována k rozpoznávání objektů v obrázcích, objevují se dva typy neuronů. Jeden neuron se specializuje na rozpoznávání kategorie objektu, zatímco druhý se specializuje na rozpoznávání úhlu.

Specializované neurony se stávají více prominentními, když je síť trénována k provádění úloh samostatně. Nicméně, když je síť trénována k provádění obou úloh současně, některé neurony se stávají zředěnými. To znamená, že se nespecializují na jednu úlohu, a jsou více náchylné k záměně.

“Ale další otázka nyní je, jak se tyto neurony dostaly tam? Trénujete neuronovou síť a ony se objevují z procesu učení. Nikdo nenapověděl síti, aby zahrnula tyto typy neuronů do své architektury. To je fascinující věc,” říká Boix.

Výzkumníci se budou snažit prozkoumat tuto otázku ve své budoucí práci, stejně jako aplikovat nový přístup na složitější úlohy.