Výskumníci očakávajú od neurovedcov, aby prekonali zaujatosť súboru údajov

Tím výskumníkov z MIT, Harvardskej univerzity a Fujitsu, Ltd. hľadal, ako by model strojového učenia mohol prekonať zaujatosť súboru údajov. Spoliehali sa na prístup neurovedy, aby študovali, ako tréningové dáta ovplyvňujú, či sa umelá neurónová sieť dokáže naučiť rozpoznávať objekty, ktoré nikdy nevidela. 

Výskum bol publikovaný v roku XNUMX Nature Machine Intelligence. 

Rozmanitosť v tréningových údajoch

Výsledky štúdie ukázali, že rozmanitosť v tréningových údajoch ovplyvňuje, či je neurónová sieť schopná prekonať zaujatosť. Rozmanitosť dát však môže mať aj negatívny vplyv na výkon siete. Výskumníci tiež ukázali, že spôsob, akým je neurónová sieť trénovaná, môže tiež ovplyvniť, či dokáže prekonať zaujatý súbor údajov. 

Xavier Boix je vedecký pracovník na oddelení mozgových a kognitívnych vied (BCS) a v Centre pre mozgy, mysle a stroje (CBMM). Je tiež hlavným autorom článku. 

„Neurónová sieť môže prekonať zaujatosť súboru údajov, čo je povzbudzujúce. Hlavným prínosom je však to, že musíme brať do úvahy rôznorodosť údajov. Musíme si prestať myslieť, že ak nazbierate množstvo nespracovaných údajov, niekam sa dostanete. V prvom rade musíme byť veľmi opatrní pri navrhovaní súborov údajov,“ hovorí Boix.

Tím prijal myseľ neurovedca, aby vyvinul nový prístup. Podľa Boixa je bežné používať pri experimentoch riadené súbory údajov, takže tím vytvoril súbory údajov, ktoré obsahovali obrázky rôznych objektov v rôznych pozíciách. Potom kontrolovali kombinácie, takže niektoré súbory údajov boli rozmanitejšie ako iné. Súbor údajov s viacerými obrázkami, ktoré zobrazujú objekty iba z jedného uhla pohľadu, je menej rôznorodý, zatiaľ čo súbor s viacerými obrázkami zobrazujúcimi objekty z viacerých uhlov pohľadu je rôznorodejší. 

Výskumníci vzali tieto súbory údajov a použili ich na trénovanie neurónovej siete na klasifikáciu obrázkov. Potom študovali, aký dobrý bol pri identifikácii objektov z hľadísk, ktoré sieť nevidela počas tréningu. 

Zistili, že rozmanitejšie súbory údajov umožňujú sieti lepšie zovšeobecňovať nové obrázky alebo uhly pohľadu, čo je rozhodujúce pre prekonanie zaujatosti. 

„Ale nie je to tak, že väčšia rozmanitosť údajov je vždy lepšia; je tu napätie. Keď sa neurónová sieť zlepší v rozpoznávaní nových vecí, ktoré nevidela, bude pre ňu ťažšie rozpoznať veci, ktoré už videla,“ hovorí Boix.

Metódy tréningu neurónových sietí

Tím tiež zistil, že model trénovaný samostatne pre každú úlohu je lepšie schopný prekonať zaujatosť v porovnaní s modelom trénovaným pre obe úlohy spoločne. 

"Výsledky boli naozaj ohromujúce. V skutočnosti, keď sme prvýkrát robili tento experiment, mysleli sme si, že ide o chybu. Trvalo nám niekoľko týždňov, kým sme si uvedomili, že ide o skutočný výsledok, pretože to bolo také nečakané,“ pokračuje Boix.

Hlbšia analýza odhalila, že do tohto procesu je zapojená špecializácia neurónov. Keď je neurónová sieť trénovaná na rozpoznávanie objektov na obrázkoch, objavia sa dva typy neurónov. Jeden neurón sa špecializuje na rozpoznávanie kategórie objektu, zatiaľ čo druhý sa špecializuje na rozpoznávanie hľadiska. 

Špecializované neuróny sú výraznejšie, keď je sieť trénovaná na samostatné vykonávanie úloh. Keď je však sieť trénovaná na dokončenie oboch úloh súčasne, niektoré neuróny sa rozriedia. To znamená, že sa nešpecializujú na jednu úlohu a je pravdepodobnejšie, že budú zmätení. 

„Ďalšou otázkou však teraz je, ako sa tam tieto neuróny dostali? Trénujete neurónovú sieť a ona sa vynorí z procesu učenia. Nikto nepovedal sieti, aby zahrnula tieto typy neurónov do svojej architektúry. To je fascinujúce,“ hovorí Boix.

Výskumníci sa budú snažiť preskúmať túto otázku vo svojej budúcej práci, ako aj aplikovať nový prístup na zložitejšie úlohy.