Новий інструмент може показати дослідникам, що GANs залишають поза зображенням

Нещодавно команда дослідників з MIT-IBM Watson AI Lab створила метод відображення того, що Генеративна Адверсарна Мережа (GAN) залишають поза зображенням, коли їм доручено генерувати зображення. Дослідження було названо Seeing What a GAN Cannot Generate, і воно було представлено на Міжнародній конференції з комп’ютерного бачення.

Генеративні Адверсарні Мережі стали більш потужними, складними та широко використовуваними за останні кілька років. Вони стали досить хорошими у генерації зображень, повних деталей, якщо тільки зображення не обмежується відносно малою областю. Однак, коли GANs використовуються для генерації зображень великих сцен та середовищ, вони часто не виконують свою роботу так добре. У сценаріях, коли GANs запитуються на генерацію зображень, повних багатьох об’єктів та предметів, таких як зайнята вулиця, GANs часто залишають багато важливих аспектів зображення.

За даними MIT News, дослідження було розроблено частково Девідом Бау, аспірантом відділу електротехніки та комп’ютерних наук у Массачусетському технологічному інституті. Бау пояснив, що дослідники зазвичай зосереджуються на вдосконаленні того, на що звертають увагу системи машинного навчання, та на визначенні того, як певні входи можуть бути відображені на певні виходи. Однак Бау також пояснив, що розуміння того, які дані ігноруються моделями машинного навчання, часто є так само важливим, і що команда дослідників сподівається, що їх інструменти надихнуть дослідників звернути увагу на ігноровані дані.

Інтерес Бау до GANs був спровокований тим, що вони можуть бути використані для дослідження чорної скриньки нейронних мереж та для отримання інтуїції того, як мережі можуть приймати рішення. Бау раніше працював над інструментом, який міг ідентифікувати конкретні кластери штучних нейронів, позначаючи їх як відповідальні за представлення реальних об’єктів, таких як книги, хмари та дерева. Бау також мав досвід роботи з інструментом під назвою GANPaint, який дозволяє художникам видаляти та додавати конкретні особливості з фотографій за допомогою GANs. За словами Бау, застосування GANPaint показало потенційну проблему з GANs, проблему, яка стала очевидною, коли Бау проаналізував зображення. Як Бау сказав MIT News:

“Мій керівник завжди заохочував нас дивитися за межі цифр та розглядати фактичні зображення. Коли ми подивилися, феномен стрибнув прямо перед нами: Люди були вибрані вибірково.”

Хоча системи машинного навчання призначені для видобування закономірностей із зображень, вони також можуть ігнорувати відповідні закономірності. Бау та інші дослідники експериментували з навчанням GANs на різних внутрішніх та зовнішніх сценах, але у всіх різних типів сцен GANs залишили важливі деталі у сценах, такі як автомобілі, дорожні знаки, люди, велосипеди тощо. Це було вірно навіть тоді, коли об’єкти, які були залишені поза увагою, були важливими для сцени.

Команда дослідників припустила, що коли GAN навчається на зображеннях, GAN може знайти легше захопити закономірності зображення, які легше представити, такі як великі стаціонарні об’єкти, як пейзажі та будівлі. Він вчиться цих закономірностей над іншими, більш важкими для інтерпретації закономірностями, такими як автомобілі та люди. Було загальновідомо, що GANs часто залишають важливі, значущі деталі при генерації зображень, але дослідження команди Массачусетського технологічного інституту може бути першим випадком, коли GANs були продемонстровані як залишають цілі класи об’єктів у зображенні.

Команда дослідників зазначає, що можливо для GANs досягти своїх числових цілей навіть тоді, коли вони залишають об’єкти, які люди цінують при розгляді зображень. Якщо зображення, згенеровані GANs, будуть використовуватися для навчання складних систем, таких як автономні транспортні засоби, дані зображення повинні бути ретельно перевірені, оскільки існує реальна проблема, що критичні об’єкти, такі як знаки, люди та інші автомобілі, можуть бути залишені поза зображенням. Бау пояснив, що їхнє дослідження показує, чому продуктивність моделі не повинна бути заснована тільки на точності:

“Нам потрібно зрозуміти, що мережі роблять і не роблять, щоб переконатися, що вони приймають рішення, які ми хочемо, щоб вони прийняли.”