Parempaa koneoppimisen suorituskykyä CNN-pohjaisen kuvan muuttamisen kautta

Google Research on ehdottanut uutta menetelmää parantamaan kuvapohjaisen tietokoneen näön koulutusprosessien tehokkuutta ja tarkkuutta parantamalla kuvien käsittelyä esikäsittelyvaiheessa.

Tutkimuksessa Learning to Resize Images for Computer Vision Tasks tutkijat Hossein Talebi ja Peyman Milanfar käyttävät CNN:ää luomaan uuden hybridikuvan muuttamisarkkitehtuurin, joka parantaa merkittävästi tunnistustuloksia neljällä suositulla tietokoneen näön datasetillä.

Ehdotettu yhdistetty kehykset tunnistamiseen ja muuttamiseen. Lähde: https://arxiv.org/pdf/2103.09950.pdf

Tutkimus huomauttaa, että automaattisissa koneoppimisputkissa käytettävät kuvan muuttamismenetelmät ovat useita vuosikymmeniä vanhoja ja usein perustuvat pelkästään peruslineaariseen, bikubaattiseen ja lähimpään naapuriin kuvan muuttamiseen – menetelmiin, jotka käsittelevät kaikki pikselit erottamattomasti.

Toisin sanoen ehdotettu menetelmä täydentää kuvadataa CNN:än avulla ja sisällyttää tämän syötteen lopullisiin muutettuihin kuviiin, jotka lopulta kulkevat mallin arkkitehtuuriin.

Kuvan rajoitukset tekoälykoulutuksessa

Jotta malli, joka käsittelee kuvia, voidaan kouluttaa, koneoppimisraamitukseen sisältyy esikäsittelyvaihe, jossa erilaiset kuvat, eri kokoiset, väriavaruudet ja resoluutiot (joista muodostuu koulutusdatasetti) voidaan järjestelmällisesti leikata ja muuttaa yhdenmukaisiksi mitoiksi ja vakaaksi muodoksi.

Yleensä tämä vaatii jonkinlaisen kompromissin PNG-muodon ympärillä, jossa löydetään tasapaino prosessointiajan/resurssien, tiedostokoon ja kuvanlaadun välillä.

Yleensä lopulliset mitat käsitellyistä kuvista ovat hyvin pieniä. Alla on esimerkki 80×80 resoluutiosta, jolla jotkut varhaisimmat deepfakes-datasetit luotiin:

Koska kasvot (ja muut mahdolliset aiheet) harvoin sopivat vaadittuun neliösuhteeseen, mustia palkkeja voi tarvita (tai hukkaa tilaa sallitaan) kuvien yhdenmukaistamiseksi, mikä leikkaa edelleen käytännössä käytettävissä olevan kuvadatan määrää:

Tässä kasvo on poistettu suuremmasta kuvasta alueesta taloudellisesti, jotta koko kasvoalue voidaan sisällyttää. Kuitenkin, kuten oikealla näkyy, suuri osa jäännösaluetta ei käytetä koulutuksessa, mikä korostaa muutetun kuvadatan laadun tärkeyttä.

Kun NVIDIA-korttien GPU-kapasiteetti on parantunut viime vuosina, uusilla NVIDIA-korteilla, joissa on kasvava määrä video-RAM:ia (VRAM:ia), keskimääräinen kuvakoko on alkanut kasvaa, vaikka 224×224 pikseliä on edelleen melko standardi (esimerkiksi se on ResNet-50-datasetin koko).

224×244 pikselin kuva, jota ei ole muutettu.

Erän sovittaminen VRAM:iin

Syy siihen, miksi kaikkien kuvien on oltava samankokoisia, on se, että gradientin laskenta, menetelmä, jolla malli parantaa suorituskykyään ajan myötä, edellyttää yhdenmukaisia koulutusdataa.

Syy siihen, miksi kuvien on oltava niin pieniä, on se, että ne on ladattava (täysin purkattuna) VRAM:iin koulutuksen aikana pienissä erissä, yleensä 6-24 kuvaa per erä. Liian vähän kuvia per erä, ja ryhmämateriaalia ei ole tarpeeksi hyvin yleistettäväksi, ja koulutusaika venyy; liian monta, ja malli saattaa epäonnistua tarpeellisten ominaisuuksien ja yksityiskohtien hankkimisessa (ks. alla).

Tämä “live loading” -osio koulutusarkkitehtuurissa kutsutaan latenttiavaruudeksi. Tässä ominaisuuksia haetaan toistuvasti samasta datasta (ts. samista kuvista), kunnes malli on saavuttanut tilan, jossa se on saavuttanut kaiken yleistetyn tiedon, jota tarvitaan myöhemmin, näkemättömän datan muuntamiseen.

Tämä prosessi kestää yleensä päiviä, mutta se voi kestää jopa kuukausia jatkuvaa, epämukavaa, 24/7 ajattelua, jotta saavutetaan hyödyllinen yleistys. VRAM-koon kasvattaminen on vain osittain hyödyllistä, koska kuvaresoluution pienetkin kasvut voivat aiheuttaa suuria vaikutuksia prosessointikapasiteettiin ja tarkkuuteen, jotka eivät aina ole suotuisia.

VRAM-kapasiteetin kasvattaminen suuremman eräkoon mahdollistamiseksi on myös sekoitettu siunaus, koska suuremmat koulutusnopeudet, joita se saavuttaa, ovat todennäköisesti kompensoitavissa vähemmän tarkoilla tuloksilla.

Siksi, koska koulutusarkkitehtuuri on niin rajoitettu, mikä tahansa, joka voi aiheuttaa parannuksen olemassa olevien rajoitusten puitteissa, on merkittävä saavutus.

Miten parempi pienentäminen auttaa

Lopullisen kuvan laatua, joka sisällytetään koulutusdatasettiin, on todettu parantavan koulutuksen lopputulosta, erityisesti objektin tunnistustehtävissä. Vuonna 2018 Max Planck -instituutin tutkijat väittivät, että uudelleen otteen valinta vaikuttaa merkittävästi koulutuksen suorituskykyyn ja lopputuloksiin.

Lisäksi aiempi Google-tutkimus (johon uuden tutkimuksen tekijät osallistuivat) on osoittanut, että luokittelun tarkkuutta voidaan parantaa hallitsemalla pakkausvirheitä datasetin kuvissa.

Google Researchin ehdottama alennusarkkitehtuuri.

CNN-malli, joka on sisällytetty uuteen pienentämiseen, yhdistää lineaarisen pienentämisen “skip-yhteys”-ominaisuuden, joka voi sisällyttää koulutetun verkon tulosteen pienennettyyn kuvaan.

Toisin kuin tyypillinen encoder/decoder-arkkitehtuuri, uusi ehdotus voidaan käyttää sekä eteenpäin suuntautuneena pullonkaulana että käänteisenä pullonkaulana skaalaukseen mihin tahansa kohdekokoonsa ja/tai kuvasuhteeseen. Lisäksi “standard” -uudelleen otto -menetelmä voidaan korvata minkä tahansa muun soveltuvan perinteisen menetelmän, kuten Lanczosin, kanssa.

Korkeataajuiset yksityiskohdat

Uusi menetelmä tuottaa kuvia, jotka vaikuttavat “paistamaan” avainominaisuudet (joita koulutusprosessi lopulta tunnistaa) suoraan lähdekuvaan. Estetiikan kannalta tulokset ovat epätavallisia:

Uusi menetelmä sovellettu neljään verkkoon – Inception V2; DenseNet-121; ResNet-50; ja MobileNet-V2. Google Researchin kuvan pienentämismenetelmän tulokset tuottavat kuvia, joissa on ilmeinen pikselien ryhmittymä, joka ennakoi avainominaisuuksia, jotka havaitaan koulutusprosessin aikana.

Tutkijat huomauttavat, että nämä alkuvaiheen kokeet on optimoitu vain kuvatunnistustehtävien osalta, ja että testeissä heidän CNN-pohjainen “opittu kooltaan” -menetelmänsä pystyi saavuttamaan parannetun virheen määrän näissä tehtävissä. Tutkijat aikovat tulevaisuudessa soveltaa menetelmää muihin tietokoneen näön sovelluksiin, jotka perustuvat kuvien käyttöön.