Нейронні мережі допомагають видалити хмари з аерофотознімків

Дослідники та вчені відділу сталого енергетики та екологічної інженерії університету Осаки змогли цифровим чином видалити хмари з аерофотознімків за допомогою генеративних суперницьких мереж (GAN). За допомогою отриманих даних вони могли автоматично генерувати точні набори даних масок зображень будівель.

Дослідження було опубліковано в Advanced Engineering Informatics.

Команда поставила дві штучні інтелектуальні мережі одна проти одної, щоб покращити якість даних, і це не потребувало попередньо позначених зображень. За словами команди, ці нові розробки можуть бути використані в галузях, таких як цивільна інженерія, де важлива технологія комп’ютерного зору.

Машинне навчання для відновлення зображень

Машинне навчання часто використовується для відновлення затенених зображень, таких як аерофотознімки будівель, затінених хмарами. Це завдання можна виконувати вручну, але це тривале та не так ефективне, як алгоритми машинного навчання. Навіть ті алгоритми, які вже доступні, потребують великого набору тренувальних зображень, тому важливо进一步 розвивати цю технологію.

Це зробили дослідники університету Осаки, коли вони застосували генеративні суперницькі мережі. Одна мережа – “генеративна мережа”, і вона пропонує реконструйовані зображення без хмар. Ця мережа протиставляється “дискримінативній мережі”, яка використовує卷олюційну нейронну мережу для розрізнення між цифровими відремонтованими зображеннями та справжніми зображеннями без хмар.

Під час проходження цього процесу обидві мережі стають дедалі кращими, що дозволяє їм створювати високореалістичні зображення з цифровим видаленням хмар.

Кадзуносуке Ікено є першим автором статті.

“Тренуючи генеративну мережу, щоб ‘обманути’ дискримінативну мережу і зробити її схожою на справжнє зображення, ми отримуємо реконструйовані зображення, які більш самозбірні”, – каже Ікено.

Image: 2021 Казуносуке ІКЕНО et al., Advanced Engineering Informatics

Тренування системи

Команда використала 3D-віртуальні моделі з фотографіями з відкритого джерела даних, і це було використано як вхідні дані. Це дозволило системі автоматично генерувати цифрові “маски”, які накладали реконструйовані будівлі над хмарами.

Томохіро Фукуда є старшим автором дослідження.

“Цей метод дозволяє виявляти будівлі в районах без позначених тренувальних даних”, – каже Фукуда.

Навчена модель змогла виявити будівлі з показником “перетину над об’єднанням” 0,651. Це значення є мірою того, наскільки точно реконструйована область відповідає фактичній області.

За словами команди, цей метод може покращити якість інших наборів даних з зображеннями, які затінені, він просто потребує розширення. Це може включати зображення в різних галузях, таких як охорона здоров’я, де його можна використовувати для покращення медичної візуалізації.