Дослідники звертаються до нейробіологів, щоб подолати упередженість набору даних

Команда дослідників з MIT, Гарвардського університету та компанії Fujitsu, Ltd. шукала способи, як модель машинного навчання могла б подолати упередженість набору даних. Вони спиралися на підхід нейробіології для вивчення того, як навчальні дані впливають на здатність штучної нейронної мережі розпізнавати об’єкти, яких вона раніше не бачила.

Дослідження було опубліковано в Nature Machine Intelligence.

Різноманітність навчальних даних

Результати дослідження показали, що різноманітність навчальних даних впливає на здатність нейронної мережі подолати упередженість. Однак різноманітність даних також може мати негативний вплив на продуктивність мережі. Дослідники також показали, що спосіб навчання нейронної мережі також може вплинути на її здатність подолати упереджений набір даних.

Ксав’є Бойкс – дослідник у відділі мозку та когнітивних наук (BCS) та Центрі для мозку, розуму та машин (CBMM). Він також старший автор статті.

“Нейронна мережа може подолати упередженість набору даних, що є заохочувальним. Але головний висновок тут полягає в тому, що нам потрібно враховувати різноманітність даних. Нам потрібно зупинити думки про те, що якщо ви просто збираєте велику кількість сирої інформації, це приведе вас до чогось. Нам потрібно бути дуже обережними щодо того, як ми проектуємо набори даних з самого початку”, – говорить Бойкс.

Команда прийняла підхід нейробіолога для розробки нового підходу. За словами Бойкса, часто використовуються контрольовані набори даних у експериментах, тому команда створила набори даних, які містили зображення різних об’єктів у різних позах. Потім вони контролювали комбінації, щоб деякі набори даних були більш різноманітними, ніж інші. Набір даних з більшою кількістю зображень, які показують об’єкти тільки з одного погляду, менш різноманітний, тоді як той, який містить більше зображень, що показують об’єкти з 여러 поглядів, більш різноманітний.

Дослідники взяли ці набори даних та використали їх для навчання нейронної мережі для класифікації зображень. Потім вони вивчили, наскільки добре вона могла розпізнавати об’єкти з поглядів, яких мережа не бачила під час навчання.

Вони виявили, що більш різноманітні набори даних дозволяють мережі краще узагальнювати нові зображення чи погляди, і це є важливим для подолання упередженості.

“Але це не означає, що більша різноманітність даних завжди краща; тут є певна напруженість. Коли нейронна мережа стає краще в розпізнаванні нових речей, яких вона раніше не бачила, то вона стане складнішою для розпізнавання речей, яких вона вже бачила”, – говорить Бойкс.

Методи навчання нейронних мереж

Команда також виявила, що модель, навчена окремо для кожної задачі, краще може подолати упередженість порівняно з моделлю, навченою для обидвох задач одночасно.

“Результати були дійсно вражаючими. Насправді, перший раз, коли ми зробили цей експеримент, ми подумали, що це помилка. Нам знадобився кілька тижнів, щоб зрозуміти, що це справжній результат, оскільки він був настільки несподіваним”, – продовжує Бойкс.

Глибший аналіз показав, що спеціалізація нейронів бере участь у цьому процесі. Коли нейронна мережа навчається розпізнавати об’єкти на зображеннях, виникають два типи нейронів. Один нейрон спеціалізується на розпізнаванні категорії об’єкта, тоді як інший спеціалізується на розпізнаванні погляду.

Спеціалізовані нейрони стають більш виразними, коли мережа навчається виконувати завдання окремо. Однак, коли мережа навчається виконувати обидва завдання одночасно, деякі нейрони стають розбавленими. Це означає, що вони не спеціалізуються на одному завданні, і вони більш схильні до плутанини.

“Але наступне питання тепер полягає в тому, як ці нейрони з’явилися? Ви навчаєте нейронну мережу, і вони виникають з процесу навчання. Ніхто не сказав мережі, щоб вона включила ці типи нейронів у свою архітектуру. Це є тим, що є захоплюючим”, – говорить Бойкс.

Дослідники будуть шукати відповідь на це питання в своїй майбутній роботі, а також застосовувати новий підхід до більш складних завдань.