Новый инструмент может показать исследователям, что GAN оставляет за пределами изображения

Недавно группа исследователей из MIT-IBM Watson AI Lab создала метод отображения того, что генеративно-состязательная сеть оставляет за пределами изображения, когда ее просят создать изображения. Исследование было названо Видеть, что не может сгенерировать ГАНи недавно он был представлен на Международной конференции по компьютерному зрению.

Генеративные состязательные сети за последние несколько лет стали более надежными, сложными и широко используемыми. Они довольно хорошо справляются с визуализацией изображений, полных деталей, если это изображение ограничено относительно небольшой областью. Однако, когда GAN используются для создания изображений больших сцен и сред, они, как правило, не работают так же хорошо. В сценариях, где GAN просят визуализировать сцены, заполненные множеством объектов и элементов, например оживленную улицу, GAN часто упускают из виду многие важные аспекты изображения.

Согласно новостям Массачусетского технологического институтаИсследование было частично разработано Дэвидом Бау, аспирантом факультета электротехники и информатики Массачусетского технологического института. Бау объяснил, что исследователи обычно концентрируются на уточнении того, на что обращают внимание системы машинного обучения, и на выяснении того, как определенные входные данные могут быть сопоставлены с определенными выходными данными. Однако Бау также объяснил, что понимание того, какие данные игнорируются моделями машинного обучения, зачастую не менее важно, и что исследовательская группа надеется, что их инструменты вдохновят исследователей обратить внимание на игнорируемые данные.

Интерес Бау к GAN был вызван тем фактом, что их можно было использовать для исследования природы нейронных сетей как черного ящика и для получения интуитивного представления о том, как сети могут рассуждать. Бау ранее работал над инструментом, который мог бы идентифицировать определенные кластеры искусственных нейронов, помечая их как ответственных за представление объектов реального мира, таких как книги, облака и деревья. У Бау также был опыт работы с инструментом под названием GANPaint, который позволяет художникам удалять и добавлять определенные функции с фотографий с помощью GAN. По словам Бау, приложение GANPaint выявило потенциальную проблему с GAN, проблему, которая стала очевидной, когда Бау проанализировал изображения. Как сказал Бау MIT News:

«Мой советник всегда призывал нас не ограничиваться цифрами и тщательно изучать реальные изображения. Когда мы посмотрели, это явление сразу же бросилось в глаза: люди отсеивались выборочно».

Хотя системы машинного обучения предназначены для извлечения шаблонов из изображений, они также могут игнорировать соответствующие шаблоны. Бау и другие исследователи экспериментировали с обучением GAN на различных внутренних и наружных сценах, но во всех типах сцен GAN не учитывали важные детали в таких сценах, как автомобили, дорожные знаки, люди, велосипеды и т. д. Это было верно, даже когда опущенные объекты были важны для рассматриваемой сцены.

Исследовательская группа выдвинула гипотезу, что, когда GAN обучается на изображениях, GAN может быть легче фиксировать шаблоны изображения, которые легче представить, например, большие стационарные объекты, такие как пейзажи и здания. Он запоминает эти шаблоны вместо других, более сложных для интерпретации шаблонов, таких как автомобили и люди. Общеизвестно, что GAN часто пропускают важные, значимые детали при создании изображений, но исследование, проведенное командой Массачусетского технологического института, может быть первым случаем, когда GAN продемонстрировали пропуск целых классов объектов в изображении.

Исследовательская группа отмечает, что GAN могут достигать своих числовых целей, даже если не учитывать объекты, которые волнуют людей при просмотре изображений. Если изображения, сгенерированные GANS, будут использоваться для обучения сложных систем как автономные транспортные средства, данные изображения должны быть тщательно изучены, потому что существует реальная опасность того, что важные объекты, такие как знаки, люди и другие автомобили, могут быть исключены из изображений. Бау объяснил, что их исследование показывает, почему производительность модели не должна основываться только на точности:

«Нам нужно понять, что сети делают и чего они не делают, чтобы убедиться, что они делают тот выбор, который мы хотим, чтобы они делали».