Нейронные сети помогают удалять облака из аэрофотоснимков

Исследователи и ученые из отделения устойчивой энергетики и экологического инжиниринга Осакского университета смогли цифровым образом удалить облака из аэрофотоснимков, используя генеративные состязательные сети (GAN). С полученными данными они смогли автоматически генерировать точные наборы данных масок изображений зданий.

Исследование было опубликовано в Advanced Engineering Informatics.

Команда противопоставила две искусственные интеллектуальные (ИИ) сети, чтобы улучшить качество данных, и это не требовало предварительно помеченных изображений. Согласно команде, эти новые разработки могут быть использованы в областях, таких как гражданское инжиниринг, где технология компьютерного зрения важна.

Машинное обучение для восстановления изображений

Машинное обучение часто используется для восстановления затененных изображений, таких как аэрофотоснимки зданий, затененных облаками. Эта задача может быть выполнена вручную, но она требует много времени и не так эффективна, как алгоритмы машинного обучения. Даже те алгоритмы, которые уже доступны, требуют большого набора тренировочных изображений, поэтому важно дальнейшее развитие технологии.

Именно это сделали исследователи Осакского университета, когда они применили генеративные состязательные сети. Одна сеть – это “генеративная сеть”, и она предлагает восстановленные изображения без облаков. Эта сеть противопоставляется “дискриминативной сети”, которая использует свёрточную нейронную сеть для различения между цифровым образом восстановленными картинками и реальными изображениями без облаков.

По мере того, как сети проходят через этот процесс, они обе становятся всё лучше и лучше, что позволяет им создавать очень реалистичные изображения с цифровым образом удаленными облаками.

Кадзуносукэ Икэно – первый автор статьи.

“Обучая генеративную сеть ‘обманывать’ дискриминативную сеть, заставляя её думать, что изображение реальное, мы получаем восстановленные изображения, которые более самосогласованные”, – говорит Икэно.

Изображение: 2021 Кадзуносукэ ИКЭНО и др., Advanced Engineering Informatics

Обучение системы

Команда использовала 3D виртуальные модели с фотографиями из открытого набора данных, и это было использовано в качестве входных данных. Это позволило системе автоматически генерировать цифровые “маски”, которые накладывались на восстановленные здания поверх облаков.

Томохиро Фукуда – старший автор исследования.

“Этот метод позволяет обнаруживать здания в районах без помеченных тренировочных данных”, – говорит Фукуда.

Обученная модель смогла обнаружить здания с коэффициентом “пересечения и объединения” 0,651. Этот коэффициент является мерой того, насколько точно восстановленная область соответствует фактической области.

Согласно команде, этот метод может улучшить качество других наборов данных с изображениями, которые затенены, он просто должен быть расширен. Это может включать изображения в различных областях, таких как здравоохранение, где он может быть использован для улучшения медицинской визуализации.