Hermosolmut ja neuroverkkot poistavat pilvet ilmakuvista

Osakan yliopiston kestävän energian ja ympäristötekniikan osaston tutkijat ja tiedemiehet pystyivät poistamaan pilvet ilmakuvista digitaalisesti generatiivisten vastakkainasettelun verkkojen (GAN) avulla. Saadulla datalla he pystyivät luomaan automaattisesti tarkkoja rakennuskuvien maskien tietokantoja.

Tutkimus julkaistiin Advanced Engineering Informatics -julkaisussa.

Tutkijaryhmä asetti kaksi tekoälyverkkoa toisiaan vastaan parantaakseen datan laatua, eikä se vaatinut aiemmin merkittyjä kuvia. Ryhmän mukaan nämä uudet kehityssuunnat voivat olla käytössä aloilla, kuten siviilitekniikassa, jossa tietokoneen näkötekniikka on tärkeää.

Konenäkö taustoja korjaamiseen

Konenäköä käytetään usein peittävien kuvien, kuten pilvien peittämien rakennusten ilmakuvien, korjaamiseen. Tätä tehtävää voidaan suorittaa manuaalisesti, mutta se on aikaa vievää ja ei yhtä tehokasta kuin konenäköalgoritmit. Jo olemassa olevat algoritmit vaativat suuren määrän koulutuskuvia, joten on tärkeää edistää teknologiaa.

Tämä on sitä, mitä Osakan yliopiston tutkijat tekivät, kun he sovelsivat generatiivisia vastakkainasettelun verkkoja. Yksi verkko on “generatiivinen verkko”, joka ehdottaa rakennusten kuvia ilman pilviä. Tämä verkko asetetaan “diskriminatiivisen verkon” vastaiseksi, joka luottaa konvoluutio-neuraaliverkkoon erottamaan digitaalisesti korjatut kuvat oikeista kuvasista ilman pilviä.

Kun verkot edetään tämän prosessin läpi, ne molemmat paranevat jatkuvasti, mikä mahdollistaa erittäin realististen kuvien luomisen, joista pilvet on poistettu digitaalisesti.

Kazunosuke Ikeno on tutkimuksen ensisijainen kirjoittaja.

“Kouluttamalla generatiivista verkkoa ‘petkuttamaan’ diskriminatiivista verkkoa uskomaan, että kuva on aito, saamme korjatut kuvat, jotka ovat itsessään johdonmukaisia”, Ikeno sanoo.

Kuva: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Järjestelmän koulutus

Tutkijaryhmä luotti 3D-virtuaalimallien ja valokuvien avoimeen lähdekoodiin, ja sitä käytettiin syötteenä. Tämä mahdollisti järjestelmän luomaan automaattisesti digitaalisia “maskien”, jotka peittivät korjatut rakennukset pilvien päälle.

Tomohiro Fukuda on tutkimuksen vanhempi kirjoittaja.

“Tämä menetelmä mahdollistaa rakennusten havaitsemisen alueilla, joissa ei ole merkittyjä koulutusdataa”, Fukuda sanoo.

Koulutettu malli pystyi havaitsemaan rakennuksia “leikkausyliunion” -arvon 0,651. Tämä arvo on mitattu siitä, kuinka tarkasti korjattu alue vastaa oikeaa aluetta.

Ryhmän mukaan tämä menetelmä voi parantaa muiden peittävien kuvien laadun, ja se voidaan laajentaa. Tämä voidaan soveltaa eri aloilla, kuten terveydenhuollossa, jossa se voidaan käyttää parantamaan lääketieteellistä kuvantamista.