Исследователи обращаются к нейробиологам, чтобы преодолеть предвзятость наборов данных

Команда исследователей в MIT, Гарвардском университете и Fujitsu, Ltd. изучала, как модель машинного обучения может преодолеть предвзятость набора данных. Они опирались на подход нейробиологии, чтобы изучить, как данные обучения влияют на способность искусственной нейронной сети распознавать объекты, которые она никогда не видела.

Исследование было опубликовано в Nature Machine Intelligence.

Разнообразие в обучающих данных

Результаты исследования показали, что разнообразие в обучающих данных влияет на способность нейронной сети преодолеть предвзятость. Однако разнообразие данных также может иметь негативное влияние на производительность сети. Исследователи также показали, что способ обучения нейронной сети также влияет на ее способность преодолеть предвзятый набор данных.

Xavier Boix – исследователь в Департаменте мозга и когнитивных наук (BCS) и Центре мозга, умов и машин (CBMM). Он также является старшим автором статьи.

“Нейронная сеть может преодолеть предвзятость набора данных, что обнадеживает. Но главный вывод здесь заключается в том, что нам нужно учитывать разнообразие данных. Нам нужно перестать думать, что если вы просто соберете огромное количество сырых данных, это приведет вас куда-то. Нам нужно быть очень осторожными в отношении того, как мы проектируем наборы данных с самого начала”, – говорит Боикс.

Команда приняла подход нейробиолога, чтобы разработать новый подход. Согласно Боиксу, обычно используются контролируемые наборы данных в экспериментах, поэтому команда построила наборы данных, содержащие изображения различных объектов в разных позах. Затем они контролировали комбинации, чтобы некоторые наборы данных были более разнообразными, чем другие. Набор данных с большим количеством изображений, показывающих объекты только с одной точки зрения, менее разнообразен, тогда как набор данных с большим количеством изображений, показывающих объекты с нескольких точек зрения, более разнообразен.

Исследователи взяли эти наборы данных и использовали их для обучения нейронной сети для классификации изображений. Затем они изучили, насколько хорошо она смогла идентифицировать объекты с точек зрения, которые сеть не видела во время обучения.

Они обнаружили, что более разнообразные наборы данных позволяют сети лучше обобщать новые изображения или точки зрения, и это крайне важно для преодоления предвзятости.

“Но это не значит, что большее разнообразие данных всегда лучше; здесь есть напряжение. Когда нейронная сеть становится лучше в распознавании новых вещей, которых она не видела, тогда она станет более трудной для распознавания вещей, которые она уже видела”, – говорит Боикс.

Методы обучения нейронных сетей

Команда также обнаружила, что модель, обученная отдельно для каждой задачи, лучше способна преодолеть предвзятость по сравнению с моделью, обученной для обеих задач вместе.

“Результаты были действительно поразительными. На самом деле, в первый раз, когда мы провели этот эксперимент, мы подумали, что это ошибка. Нам потребовалось несколько недель, чтобы понять, что это реальный результат, потому что он был так неожиданным”, – продолжает Боикс.

Более глубокий анализ показал, что специализация нейронов участвует в этом процессе. Когда нейронная сеть обучается распознавать объекты на изображениях, появляются два типа нейронов. Один нейрон специализируется на распознавании категории объекта, а другой – на распознавании точки зрения.

Специализированные нейроны становятся более заметными, когда сеть обучается выполнять задачи отдельно. Однако, когда сеть обучается выполнять обе задачи одновременно, некоторые нейроны становятся разбавленными. Это означает, что они не специализируются на одной задаче и более склонны к путанице.

“Но следующий вопрос теперь заключается в том, как эти нейроны появились. Вы обучаете нейронную сеть, и они появляются из процесса обучения. Никто не сказал сети включить эти типы нейронов в ее архитектуру. Это fasciniruyushchee”, – говорит Боикс.

Исследователи будут стремиться изучить этот вопрос в своей будущей работе, а также применить новый подход к более сложным задачам.