Forscher suchen nach Hilfe von Neurowissenschaftlern, um Datensatz-Vorurteile zu überwinden

Ein Team von Forschern an der MIT, der Harvard University und Fujitsu, Ltd. suchte nach Möglichkeiten, wie ein maschinelles Lernmodell Datensatz-Vorurteile überwinden kann. Sie nutzten einen neuroscientifischen Ansatz, um zu untersuchen, wie Trainingsdaten die Fähigkeit eines künstlichen neuronalen Netzes beeinflussen, Objekte zu erkennen, die es noch nie gesehen hat.

Die Forschung wurde in Nature Machine Intelligence veröffentlicht.

Variabilität in Trainingsdaten

Die Ergebnisse der Studie zeigten, dass die Variabilität in Trainingsdaten einen Einfluss darauf hat, ob ein neuronales Netzwerk Vorurteile überwinden kann. Allerdings kann die Variabilität der Daten auch negative Auswirkungen auf die Leistung des Netzes haben. Die Forscher zeigten auch, dass die Art und Weise, wie ein neuronales Netzwerk trainiert wird, ebenfalls einen Einfluss darauf hat, ob es Vorurteile überwinden kann.

Xavier Boix ist ein Forschungswissenschaftler in der Abteilung für Gehirn- und Kognitionsforschung (BCS) und dem Zentrum für Gehirne, Geister und Maschinen (CBMM). Er ist auch der Hauptautor des Artikels.

“Ein neuronales Netzwerk kann Datensatz-Vorurteile überwinden, was ermutigend ist. Aber die wichtigste Erkenntnis hier ist, dass wir die Variabilität der Daten berücksichtigen müssen. Wir müssen aufhören, zu denken, dass die Sammlung von rohen Daten allein uns weiterbringt. Wir müssen sehr vorsichtig sein, wie wir Datensätze von Anfang an entwerfen”, sagt Boix.

Das Team nahm die Perspektive eines Neurowissenschaftlers ein, um den neuen Ansatz zu entwickeln. Laut Boix ist es üblich, kontrollierte Datensätze in Experimenten zu verwenden, also bauten sie Datensätze, die Bilder von verschiedenen Objekten in verschiedenen Ansichten enthielten. Sie kontrollierten dann die Kombinationen, so dass einige Datensätze vielfältiger waren als andere. Ein Datensatz mit mehr Bildern, die Objekte aus nur einer Perspektive zeigen, ist weniger vielfältig, während ein Datensatz mit mehr Bildern, die Objekte aus mehreren Perspektiven zeigen, vielfältiger ist.

Die Forscher nahmen diese Datensätze und verwendeten sie, um ein neuronales Netzwerk für die Bilderkennung zu trainieren. Sie untersuchten dann, wie gut es darin war, Objekte aus Perspektiven zu erkennen, die das Netzwerk während des Trainings nicht gesehen hatte.

Sie fanden heraus, dass die vielfältigeren Datensätze es dem Netzwerk ermöglichen, neue Bilder oder Perspektiven besser zu generalisieren, und dies ist entscheidend, um Vorurteile zu überwinden.

“Aber es ist nicht so, dass mehr Daten-Variabilität immer besser ist; hier gibt es eine Spannung. Wenn das neuronale Netzwerk besser darin wird, neue Dinge zu erkennen, die es noch nie gesehen hat, wird es schwieriger für es, Dinge zu erkennen, die es bereits gesehen hat”, sagt Boix.

Methoden zum Trainieren neuronaler Netze

Das Team fand auch heraus, dass ein Modell, das separat für jede Aufgabe trainiert wird, besser in der Lage ist, Vorurteile zu überwinden, im Vergleich zu einem Modell, das für beide Aufgaben gleichzeitig trainiert wird.

“Die Ergebnisse waren wirklich auffallend. Tatsächlich dachten wir beim ersten Mal, dass es ein Fehler war. Es dauerte uns mehrere Wochen, um zu realisieren, dass es ein echtes Ergebnis war, weil es so unerwartet war”, fährt Boix fort.

Eine tiefere Analyse zeigte, dass die Spezialisierung von Neuronen in diesem Prozess involviert ist. Wenn das neuronale Netzwerk trainiert wird, um Objekte in Bildern zu erkennen, entstehen zwei Arten von Neuronen. Ein Neuron spezialisiert sich auf die Erkennung der Objektkategorie, während das andere Neuron sich auf die Erkennung der Perspektive spezialisiert.

Die spezialisierten Neuronen werden deutlicher, wenn das Netzwerk separat für jede Aufgabe trainiert wird. Wenn jedoch ein Netzwerk für beide Aufgaben gleichzeitig trainiert wird, werden einige Neuronen verwässert. Das bedeutet, dass sie sich nicht auf eine Aufgabe spezialisieren und eher verwirrt werden.

“Aber die nächste Frage ist jetzt, wie diese Neuronen dort hingekommen sind. Man trainiert das neuronale Netzwerk und sie entstehen aus dem Lernprozess. Niemand hat dem Netzwerk gesagt, diese Arten von Neuronen in seine Architektur aufzunehmen. Das ist das Faszinierende”, sagt Boix.

Die Forscher werden versuchen, diese Frage in ihrer zukünftigen Arbeit zu erforschen, sowie den neuen Ansatz auf komplexere Aufgaben anzuwenden.