Нейронные сети помогают удалить облака с аэрофотоснимков

Исследователи и ученые из отдела устойчивой энергетики и экологической инженерии Университета Осаки смогли в цифровом виде удалить облака с аэрофотоснимков с помощью генеративно-состязательных сетей (GAN). С полученными данными они могли автоматически генерировать точные наборы данных для построения масок изображений. 

Исследование было опубликовано в Передовая инженерная информатика. 

Команда сопоставила две сети искусственного интеллекта (ИИ) для повышения качества данных, не требуя при этом предварительно размеченных изображений. По словам команды, эти новые разработки могут быть использованы в таких областях, как гражданское строительство, где технологии компьютерного зрения играют важную роль.

Машинное обучение для восстановления изображений

Машинное обучение часто используется для восстановления затемненных изображений, таких как аэрофотоснимки зданий, скрытых облаками. Эту задачу можно выполнить вручную, но она занимает много времени и не так эффективна, как алгоритмы машинного обучения. Даже для уже доступных алгоритмов требуется большой набор обучающих изображений, поэтому крайне важно развивать технологию дальше.

Именно это сделали исследователи из Университета Осаки, когда применили генеративно-состязательные сети. Одна сеть — «генеративная сеть», предлагающая реконструированные изображения без облаков. Эта сеть противопоставляется «дискриминационной сети», которая опирается на сверточную нейронную сеть, чтобы различать изображения, восстановленные в цифровом виде, и реальные изображения без облаков.

По мере того, как сети проходят через этот процесс, они обе становятся все лучше, что позволяет им создавать очень реалистичные изображения с облаками, стертыми в цифровом виде. 

Казуносукэ Икено — первый автор статьи. 

«Обучая генеративную сеть «обманывать» дискриминативную сеть, заставляя ее думать, что изображение реально, мы получаем реконструированные изображения, которые более последовательны», — говорит Икено. 

Изображение: 2021 Kazunosuke IKENO et al., Передовая инженерная информатика

Обучение системы

Команда опиралась на виртуальные 3D-модели с фотографиями из набора данных с открытым исходным кодом, и они использовались в качестве входных данных. Это позволило системе автоматически генерировать цифровые «маски», которые накладывали реконструированные здания на облако. 

Томохиро Фукуда — старший автор исследования.

«Этот метод позволяет обнаруживать здания в районах без размеченных обучающих данных», — говорит Фукуда.

Обученная модель смогла обнаружить здания со значением «пересечение над соединением» 0.651. Это значение является мерой того, насколько точно реконструированная площадь соответствует фактической площади. 

По словам команды, этот метод может улучшить качество других наборов данных с затененными изображениями, его просто нужно расширить. Сюда могут входить изображения в различных областях, например в здравоохранении, где их можно использовать для улучшения медицинской визуализации.