Korkearesoluutioisten kuvien pienentäminen koneoppimisen avulla

Uusi tutkimus Isosta-Britanniasta on ehdottanut parannettua koneoppimismenetelmää kuvien pienentämiseen, joka perustuu kuvan eri osien havaittuun arvoon, sen sijaan, että kaikkia kuvan pikseleitä vähennetään yhdenmukaisesti (ja siten laadun ja saatavissa olevien ominaisuuksien vähentäminen).

Tämä on osa kasvavaa kiinnostusta tekoälypohjaisiin pakkausjärjestelmiin, ja se voisi lopulta vaikuttaa uusiin koodekkeihin yleiseen kuvapakkaamiseen, vaikka työ on motivoidtu terveydenhuollon kuvista, joissa korkearesoluutioisten lääketieteellisten kuvien satunnainen pienentäminen voi johtaa elämän pelastavaa tietoa sisältävän tiedon menetykseen.

Uuden järjestelmän edustava arkkitehtuuri. Interstitiaalisen deformaatio moduuli tuottaa deformaatiokartan, joka vastaa kuvan kiinnostuksen kohteita. Punaisen pisteen tiheys ja suunta osoittavat nämä alueet. Karttaa käytetään sekä pienentämiseen että ensisijaisen kiinnostuksen alueiden rekonstruktioon, kun kuvan sisältö ei ole yhdenmukaisesti muunnettu koulutusprosessin toisella puolella. Lähde: https://arxiv.org/pdf/2109.11071.pdf

Järjestelmä soveltaa semanttista segmentointia kuvissa – laajat lohkot, jotka edustavat tunnistettuja entiteettejä kuvassa, kuten ‘tie’, ‘pyörä’, ‘patologia’ jne. Semanttisen segmentoinnin karttojen asettelu käytetään laskemaan, mitkä kuvan osat eivät saa olla liian voimakkaasti pienennettyjä.

Tutkimuksessa, jonka otsikko on Oppiminen pienentämiseksi ultra-korkearesoluutioisten kuvien segmentointiin, uusi artikkeli on yhteistyö tutkijoiden välillä Lontoon yliopiston lääketieteellisen kuvan käsittelykeskuksessa ja Microsoftin terveydenhuollon osastolla Cambridgessä.

Tietokoneen näön koulutuksen (melko) matalaresoluutioinen maailma

Tietokoneen näön järjestelmien koulutus on merkittävästi rajoitettu GPU:n kapasiteetin vuoksi. Datat voivat sisältää tuhansia kuvia, joista ominaisuuksia on poistettava, mutta teollisuusmittaiset GPU:t yltävät usein 24 Gt:n VRAM:iin, ja jatkuva puute vaikuttaa saatavuuteen ja kustannuksiin.

Tämä tarkoittaa, että data on syötettävä rajoitettujen tensoriydinten kautta hallitettavissa erissä, joissa on tyypillisesti 8-16 kuvaa useissa tietokoneen näön koulutusprosesseissa.

Helppoja ratkaisuja ei ole: vaikka VRAM olisi rajaton ja CPU-arkkitehtuuri voisi käsittää senkaltaisen läpimurron GPU:sta ilman, että se muodostaisi arkkitehtonisen pullonkaulan, hyvin suuret erät johtavat usein korkean tason ominaisuuksiin kustannuksella yksityiskohtaisempia muodonmuutoksia, jotka saattavat olla kriittisiä lopputuloksen hyödyllisyydelle.

Kuvan resoluution lisääminen tarkoittaa, että on käytettävä pienempiä eriä koulutusprosessissa, mikä puolestaan johtaa malliin, joka on “eksentrinen” ja ylioppinut.

Lisäksi lisäämällä GPU:ita ei auta, ainakin yleisimmissä arkkitehtuureissa: vaikka usean GPU:n asetelmat voivat nopeuttaa koulutusaikaa, ne voivat myös vaarantaa koulutustulosten eheyyden, kuten kaksi vierekkäistä tehdasta, jotka työskentelevät saman tuotteen parissa, ja joilla on vain puhelinlinja koordinoimaan pyrkimyksiään.

Älykkäästi pienennetyt kuvat

Mitä jää jäljelle, on se, että tietokoneen näön datasetin tyypillisimpien kuvien merkittävimmät osat voivat uuden menetelmän avulla säilyä koskemattomina automaattisessa pienentämisessä, joka tapahtuu, kun korkearesoluutioisia kuvia on pienennettävä sopimaan koneoppimisputkeen.

Tämä on erillinen haaste häviöllisten artefaktien ongelmaan koneoppimisdatassa, jossa laatu menetetään automaattisessa pienentämisessä, koska pakkauskoodekki heittää pois liian paljon (yleensä palauttamattomia) tietoa.

Pienentäminen häviöttömään kuvaformaattiin (kuten PNG LZW-pakkauksella) ei voi palauttaa tietoa, joka on yleisesti hylätty, kun kuvaa (kuten magneettikuvausta) pienennetään usein ennätyksellisistä mitoista kohtuulliseen 256×256 tai 512×512 pikselin resoluutioon.

Asian tekee vielä huonommaksi se, että mustat reunat lisätään usein suorakaiteenmuotoisiin lähdekuviin tavallisena datankäsittelytehtävänä, jotta voidaan tuottaa aito neliönmuotoinen syöte neuroverkkokäsittelyyn, mikä vähentää edelleen saatavissa olevaa tilaa mahdollisesti kriittisille tiedoille.

Tutkijat Lontoon yliopistosta ja Microsoftilta ehdottavat, että pienentämisprosessi tehdään älykkäämmäksi, käyttämällä järjestelmän yleistä vaihetta korostamaan kiinnostuksen kohteita, siirtämällä osan tulkintakuormasta koneoppimisjärjestelmältä, jonka kautta kuvat lopulta kulkevat.

Menetelmä, jonka tutkijat väittävät parantavan vuoden 2019 tarjontaa (kuva alla), joka pyrki samaan hyötyyn keskittämällä laadun huomioon kohteiden rajoille.

Vuoden 2019 tutkimuksesta ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al. Lähde: https://arxiv.org/pdf/1907.07156.pdf

Kuten uusi tutkimus toteaa, tämä lähestymistapa olettaa, että kiinnostuksen kohteet kokoontuvat rajoille, kun taas esimerkiksi lääketieteellisistä kuvista, kuten merkityistä syöpäalueista, riippuvat korkeamman tason kontekstista ja voivat näyttäytyä helposti hylättävinä yksityiskohtina laajemmissa alueissa kuvassa, eikä niinkään reunoilla.

Oppiminen pienentäjä

Uusi tutkimus ehdottaa oppivaa pienentäjää, jota kutsutaan deformaatiomoduuliksi, joka on koulutettu yhdessä rinnakkaisen segmentointimoduulin kanssa, ja joka voidaan siten kertoa kiinnostuksen kohteista, jotka on tunnistettu semanttisella segmentoinnilla, ja priorisoida nämä pienentämisprosessissa.

Tutkijat testasivat järjestelmää useilla suosituilla datasaamoilla, mukaan lukien Cityscapes, DeepGlobe ja paikallinen Eturauhassyövän histologia -datasetti ‘PCa-Histo’.

Kolme lähestymistapaa: vasemmalla, olemassa oleva ‘yhtenäinen’ pienentäminen; keskellä, ‘optimaalinen reuna’ -lähestymistapa vuoden 2019 tutkimuksesta; oikealla, uuden järjestelmän taustalla oleva arkkitehtuuri, joka perustuu olion tunnistamiseen semanttisella segmentoinnilla.

Samankaltainen lähestymistapa on kokeiltu luokittelijalle, joka on ehdotettu vuonna 2019, mutta tämän tutkimuksen tekijät väittävät, että tämä menetelmä ei riitä korostamaan tärkeitä alueita, mikä voi johtaa elintärkeiden alueiden puuttumiseen lääketieteellisessä kuvissa.

Tulokset

Uuden järjestelmän deformaatiomoduuli on pieni konvoluutioneuroverkko, kun taas segmentointikerros on syvä konvoluutioneuroverkkorakenteen, joka käyttää HRNetV2-W48:ia. Pyramid Scene Parsing Network (PSP-net) käytettiin CityScapes-testien toteutuksessa.

Edellä mainituilla datasaamoilla testattiin uutta kehystä käyttämällä yhdenmukaista pienentämistä (tavallinen menetelmä), optimaalista reunaa vuoden 2019 menetelmästä ja uuden lähestymistavan, joka hyödyntää semanttista segmentointia.

Tutkijat ilmoittavat, että uusi menetelmä osoittaa ‘selvän edun kliinisesti tärkeimpien luokkien tunnistamisessa ja erottamisessa’, 15-20 prosentin tarkinnettavuuden parantumisen kanssa. He huomauttavat myös, että näiden luokkien välinen etäisyys määritellään usein ‘terveen ja sairaan’ rajana.

Luokan mukainen leikkausylikerroin (IoU) -analyysi kolmella menetelmällä: vasemmalla, standardi pienentäminen; keskellä, optimaalinen reuna; ja oikealla, uusi lähestymistapa. CityScapes on pienennetty 64 x 128:aan, PCaHisto 80 x 800:aan ja DeepGlobe 300 pikseliin.

Raportissa todetaan, että heidän menetelmänsä ‘voi oppia pienentämismenetelmän, jolla voidaan paremmin säilyttää tietoa ja saavuttaa parempi tasapaino’, ja se johtaa siihen, että uusi kehys ‘voi oppia, mihin “sijoittaa” rajoitetun budjetin pikseleistä pienentämisessä, jotta saavutetaan korkein mahdollinen palautus segmentoinnin tarkinnettavuudessa’.

Tämän artikkelin pääkuva on peräisin thispersondoesnotexist.com -sivustolta. Päivitetty kello 15.35 GMT+2 tekstivirheen korjaamiseksi.