Onderzoekers kijken naar neurologen om datasetvooroordeel te overwinnen

Een team van onderzoekers aan het MIT, Harvard University en Fujitsu, Ltd. zocht naar manieren waarop een machine-learningmodel datasetvooroordeel kon overwinnen. Zij vertrouwden op een benadering uit de neurologie om te bestuderen hoe trainingsdata de mogelijkheid van een kunstmatig neurale netwerk beïnvloedt om objecten te herkennen die het nog nooit heeft gezien.

Het onderzoek werd gepubliceerd in Nature Machine Intelligence.

Diversiteit in trainingsdata

De resultaten van de studie toonden aan dat diversiteit in trainingsdata de mogelijkheid van een neurale netwerk om vooroordeel te overwinnen beïnvloedt. Echter, diversiteit in data kan ook een negatieve invloed hebben op de prestaties van het netwerk. De onderzoekers toonden ook aan dat de manier waarop een neurale netwerk getraind wordt, de mogelijkheid om een vooroordeel te overwinnen eveneens beïnvloedt.

Xavier Boix is een onderzoeker in de afdeling Hersen- en cognitiewetenschappen (BCS) en het Centrum voor Hersenen, Geesten en Machines (CBMM). Hij is ook de senior auteur van het artikel.

“Een neurale netwerk kan datasetvooroordeel overwinnen, wat bemoedigend is. Maar de belangrijkste conclusie hier is dat we rekening moeten houden met diversiteit in data. We moeten stoppen met denken dat het verzamelen van een grote hoeveelheid ruwe data ons ergens brengt. We moeten heel voorzichtig zijn bij het ontwerpen van datasets vanaf het begin,” zegt Boix.

Het team nam de benadering van een neuroloog om de nieuwe aanpak te ontwikkelen. Volgens Boix is het gebruikelijk om gecontroleerde datasets te gebruiken in experimenten, dus bouwden ze datasets die afbeeldingen van verschillende objecten in verschillende posities bevatten. Vervolgens controleerden ze de combinaties zodat sommige datasets diverser waren dan andere. Een dataset met meer afbeeldingen die objecten vanuit slechts één perspectief laten zien, is minder divers, terwijl een dataset met meer afbeeldingen die objecten vanuit meerdere perspectieven laten zien, diverser is.

De onderzoekers namen deze datasets en gebruikten ze om een neurale netwerk te trainen voor beeldclassificatie. Vervolgens bestudeerden ze hoe goed het was in het identificeren van objecten vanuit perspectieven die het netwerk tijdens de training niet had gezien.

Zij vonden dat de diversere datasets het netwerk beter in staat stelden om nieuwe afbeeldingen of perspectieven te generaliseren, en dit is cruciaal om vooroordeel te overwinnen.

“Maar het is niet zo dat meer diversiteit in data altijd beter is; er is een spanning hier. Wanneer het neurale netwerk beter wordt in het herkennen van nieuwe dingen die het nog nooit heeft gezien, wordt het moeilijker voor het netwerk om dingen te herkennen die het al heeft gezien,” zegt Boix.

Methoden voor het trainen van neurale netwerken

Het team vond ook dat een model dat afzonderlijk voor elke taak getraind werd, beter in staat was om vooroordeel te overwinnen in vergelijking met een model dat voor beide taken tegelijk getraind werd.

“De resultaten waren echt opvallend. In feite dachten we de eerste keer dat we dit experiment deden dat het een bug was. Het duurde ons enkele weken om te realiseren dat het een echt resultaat was omdat het zo onverwacht was,” vervolgt Boix.

Diepere analyse onthulde dat neuron-specialisatie bij dit proces betrokken is. Wanneer het neurale netwerk getraind wordt om objecten in afbeeldingen te herkennen, ontstaan er twee soorten neuronen. De ene neuron specialiseert zich in het herkennen van de objectcategorie, terwijl de andere neuron specialiseert zich in het herkennen van het perspectief.

De gespecialiseerde neuronen worden meer prominent wanneer het netwerk getraind wordt om afzonderlijke taken uit te voeren. Echter, wanneer een netwerk getraind wordt om beide taken tegelijk uit te voeren, worden sommige neuronen verdund. Dit betekent dat ze niet specialiseren in één taak en dat ze meer geneigd zijn om verward te raken.

“Maar de volgende vraag is nu, hoe kwamen deze neuronen daar? Je traint het neurale netwerk en ze ontstaan uit het leerproces. Niemand zei tegen het netwerk om deze soort neuronen in zijn architectuur op te nemen. Dat is het fascinerende,” zegt Boix.

De onderzoekers zullen proberen om deze vraag in hun toekomstig werk te onderzoeken, evenals om de nieuwe aanpak toe te passen op complexere taken.