Дослідники звертаються до нейробіологів, щоб подолати упередженість набору даних

Команда дослідників з Массачусетського технологічного інституту, Гарвардського університету та компанії Fujitsu, Ltd. шукала способи, щоб модель машинного навчання могла подолати упередженість набору даних. Вони спиралися на підхід нейробіології, щоб вивчити, як тренувальні дані впливають на те, чи може штучна нейронна мережа навчитися розпізнавати об’єкти, яких вона ніколи не бачила.

Дослідження було опубліковано в Nature Machine Intelligence.

Різноманітність тренувальних даних

Результати дослідження показали, що різноманітність тренувальних даних впливає на те, чи може нейронна мережа подолати упередженість. Однак різноманітність даних також може мати негативний вплив на продуктивність мережі. Дослідники також показали, що спосіб навчання нейронної мережі також може вплинути на те, чи може вона подолати упереджений набір даних.

Ксав’є Бойкс є дослідником у відділі мозку та когнітивних наук (BCS) та Центрі для мозку, розуму та машин (CBMM). Він також є старшим автором статті.

“Нейронна мережа може подолати упередженість набору даних, що є заохочувальним. Але головний висновок тут полягає в тому, що нам потрібно враховувати різноманітність даних. Нам потрібно перестати думати, що якщо ви просто збираєте велику кількість сирих даних, це приведе вас до чогось. Нам потрібно бути дуже обережними щодо того, як ми проектуємо набори даних спочатку”, – говорить Бойкс.

Команда прийняла підхід нейробіолога, щоб розробити новий підхід. За словами Бойкса, звичайно використовують контрольовані набори даних у експериментах, тому команда створила набори даних, які містили зображення різних об’єктів у різних позах. Потім вони контролювали комбінації, щоб деякі набори даних були більш різноманітними, ніж інші. Набір даних з більшою кількістю зображень, які показують об’єкти тільки з одного погляду, менш різноманітний, тоді як той, який містить більше зображень, що показують об’єкти з кількох поглядів, більш різноманітний.

Дослідники взяли ці набори даних і використали їх для навчання нейронної мережі для класифікації зображень. Потім вони вивчили, наскільки добре вона могла ідентифікувати об’єкти з поглядів, яких мережа не бачила під час навчання.

Вони виявили, що більш різноманітні набори даних дозволяють мережі краще узагальнювати нові зображення або погляди, і це є важливим для подолання упередженості.

“Але це не означає, що більша різноманітність даних завжди краще; тут є певна напруженість. Коли нейронна мережа стає краще в розпізнаванні нових речей, яких вона не бачила, тоді вона стане важчою для розпізнавання речей, які вона вже бачила”, – говорить Бойкс.

Методи навчання нейронних мереж

Команда також виявила, що модель, навчена окремо для кожної задачі, краще здатна подолати упередженість порівняно з моделлю, навченою для обидвох задач одночасно.

“Результати були дійсно вражаючими. Насправді, перший раз, коли ми зробили цей експеримент, ми подумали, що це була помилка. Нам знадобилось кілька тижнів, щоб зрозуміти, що це був справжній результат, оскільки він був настільки несподіваним”, – продовжує Бойкс.

Глибший аналіз показав, що спеціалізація нейронів бере участь у цьому процесі. Коли нейронна мережа навчається розпізнавати об’єкти на зображеннях, виникають два типи нейронів. Один нейрон спеціалізується на розпізнаванні категорії об’єкта, тоді як інший спеціалізується на розпізнаванні погляду.

Спеціалізовані нейрони стають більш вираженими, коли мережа навчається виконувати завдання окремо. Однак, коли мережа навчається виконувати обидва завдання одночасно, деякі нейрони стають розбавленими. Це означає, що вони не спеціалізуються в одному завданні, і вони більш схильні до плутанини.

“Але наступне питання зараз полягає в тому, як ці нейрони з’явились. Ви навчаєте нейронну мережу, і вони виникають з процесу навчання. Ніхто не сказав мережі включити ці типи нейронів у свою архітектуру. Це і є тим, що є захоплюючим”, – говорить Бойкс.

Дослідники будуть шукати відповідь на це питання в своїй майбутній роботі, а також застосовувати новий підхід до більш складних завдань.