Исследователи обращаются к нейробиологам, чтобы преодолеть предвзятость наборов данных

Команда исследователей из MIT, Гарвардского университета и Fujitsu, Ltd. изучала, как модель машинного обучения может преодолеть предвзятость наборов данных. Они использовали подход, основанный на нейробиологии, для изучения того, как данные обучения влияют на способность искусственной нейронной сети распознавать объекты, которые она никогда не видела.

Исследование было опубликовано в Nature Machine Intelligence.

Разнообразие в наборах данных

Результаты исследования показали, что разнообразие в наборах данных влияет на способность нейронной сети преодолеть предвзятость. Однако разнообразие данных также может иметь негативное влияние на производительность сети. Исследователи также показали, что способ обучения нейронной сети также может повлиять на ее способность преодолеть предвзятый набор данных.

Ксавьер Бойкс – исследователь в Департаменте мозга и когнитивных наук (BCS) и Центре мозга, умов и машин (CBMM). Он также является старшим автором статьи.

“Нейронная сеть может преодолеть предвзятость набора данных, что обнадеживает. Но главный вывод здесь заключается в том, что нам нужно учитывать разнообразие данных. Нам нужно перестать думать, что если вы просто соберете много сырых данных, это приведет вас к успеху. Нам нужно быть очень осторожными при проектировании наборов данных с самого начала”, – говорит Бойкс.

Команда приняла подход нейробиолога для разработки нового подхода. Согласно Бойксу, обычно используются контролируемые наборы данных в экспериментах, поэтому команда создала наборы данных, содержащие изображения различных объектов в разных позах. Затем они контролировали комбинации, так что некоторые наборы данных были более разнообразными, чем другие. Набор данных с более изображениями, показывающими объекты только с одной точки зрения, менее разнообразен, тогда как набор данных с более изображениями, показывающими объекты с нескольких точек зрения, более разнообразен.

Исследователи взяли эти наборы данных и использовали их для обучения нейронной сети для классификации изображений. Затем они изучили, насколько хорошо она может идентифицировать объекты с точек зрения, которые сеть не видела во время обучения.

Они обнаружили, что более разнообразные наборы данных позволяют сети лучше обобщать новые изображения или точки зрения, и это имеет решающее значение для преодоления предвзятости.

“Но это не значит, что более разнообразные данные всегда лучше; здесь есть напряжение. Когда нейронная сеть становится лучше в распознавании новых вещей, которые она никогда не видела, тогда она станет более трудной для распознавания вещей, которые она уже видела”, – говорит Бойкс.

Методы обучения нейронных сетей

Команда также обнаружила, что модель, обученная отдельно для каждой задачи, лучше способна преодолеть предвзятость по сравнению с моделью, обученной для обеих задач вместе.

“Результаты были действительно поразительными. На самом деле, когда мы впервые провели этот эксперимент, мы подумали, что это ошибка. Нам потребовалось несколько недель, чтобы понять, что это реальный результат, потому что он был так неожиданным”, – продолжает Бойкс.

Более глубокий анализ показал, что специализация нейронов участвует в этом процессе. Когда нейронная сеть обучается распознавать объекты на изображениях, появляются два типа нейронов. Один нейрон специализируется на распознавании категории объекта, тогда как другой специализируется на распознавании точки зрения.

Специализированные нейроны становятся более выраженными, когда сеть обучается выполнять задачи отдельно. Однако, когда сеть обучается выполнять обе задачи одновременно, некоторые нейроны становятся разбавленными. Это означает, что они не специализируются на одной задаче и более вероятно будут путаться.

“Но следующий вопрос сейчас заключается в том, как эти нейроны появились? Вы обучаете нейронную сеть, и они появляются из процесса обучения. Никто не сказал сети, чтобы она включала эти типы нейронов в свою архитектуру. Это fasciniruyushchee”, – говорит Бойкс.

Исследователи будут стремиться изучить этот вопрос в своей будущей работе, а также применить новый подход к более сложным задачам.