Tutkijat käyttävät tekoälyä tutkimassa, miten heijastukset eroavat alkuperäisistä kuvista

Cornellin yliopiston tutkijat ovat äskettäin käyttäneet koneoppimisjärjestelmiä tutkimassa, miten kuvien heijastukset eroavat alkuperäisistä kuvista. ScienceDailyn mukaan tutkijaryhmän luomat algoritmit löysivät, että kuvissa oli ominaispiirteitä, joista voitiin päätellä, että kuva oli käännetty tai heijastettu.

Cornell Techin tietotieteiden apulaisprofessori Noah Snavely oli tutkimuksen vanhempi tekijä. Snavelyn mukaan tutkimusprojekti alkoi, kun tutkijat kiinnostuivat siitä, miten kuvat erosivat toisistaan sekä ilmeisillä että hienovaraisilla tavoilla, kun ne heijastettiin. Snavely selitti, että jopa ne asiat, jotka näyttävät ensimmäisestä silmäykseltä hyvin symmetrisiltä, voidaan yleensä erottaa heijastuksiksi tarkasteltaessa. “Olen kiinnostunut siitä, mitä uusia löytöjä voidaan tehdä uusilla tavoilla tiedon etsimiseksi”, Snavely sanoi ScienceDailylle.

Tutkijat keskittyivät ihmiskuvien tutkimiseen ja käyttivät niitä algoritmien koulutukseen. Tämä tehtiin, koska kasvot eivät vaikuta ilmeisesti epäsymmetrisiltä. Kun algoritmit oli koulutettu tietoihin, jotka erosivat käännettyjä kuvia alkuperäisistä kuvista, tekoäly saavutti 60-90 prosentin tarkkuuden eri tyypien kuvissa.

Monet visuaalisista piirteistä, joita tekoäly oppi tunnistamaan käännettyjen kuvien, ovat hyvin hienovaraisia ja vaikeita ihmisille havaita, kun he tarkastelevat käännettyjä kuvia. Tutkistamaan niitä piirteitä, joita tekoäly käytti eroon tunnistamiseen käännettyjen ja alkuperäisten kuvien välillä, tutkijat loivat lämpökartan. Lämpökartta osoitti alueet kuvissa, joissa tekoäly keskittyi. Tutkijoiden mukaan yksi yleisimmistä vihjeistä, jonka tekoäly käytti käännettyjen kuvien tunnistamiseen, oli teksti. Tämä ei ollut yllättävää, ja tutkijat poistivat tekstikuvat koulutusaineistostaan saadakseen paremman käsityksen hienovaraisemmista eroista käännettyjen ja alkuperäisten kuvien välillä.

Kun tekstikuvat oli poistettu koulutusjoukosta, tutkijat havaitsivat, että tekoälyluokittimen keskittyi kuvien piirteisiin kuten paitojen nappien, matkapuhelimien, rannekellien ja kasvojen. Jotkut näistä piirteistä ovat selkeästi ja luotettavasti mallinnettuja, ja tekoäly voi keskittyä niihin, kuten se, että ihmiset usein kantavat matkapuhelinta oikeassa kädessään ja paitojen nappien ollessa vasemmalla. Kasvonpiirteet ovat kuitenkin yleensä hyvin symmetrisiä, ja niiden erot ovat pieniä ja vaikeita ihmisille havaita.

Tutkijat loivat toisen lämpökartan, joka korosti kasvojen alueita, joissa tekoäly keskittyi. Tekoäly käytti usein silmiä, hiuksia ja partoja käännettyjen kuvien havaitsemiseen. Syytä siihen, miksi ihmiset usein katsovat hieman vasemmalle, kun heidän valokuvansa otetaan, ei ole selvää. Tekoälyn käytön syytä hiuksia ja partoja heijastettujen kuvien tunnistamiseen tutkijat eivät myöskään tiedä, mutta he tekevät teorian, jonka mukaan henkilön kädenjako voisi paljastua siitä, miten hän ajaa partaansa tai kammoaa hiuksiaan. Vaikka nämä osoittimet voivat olla epäluotettavia, tutkijat voivat yhdistää useita osoittimia saadakseen suuremman luottamusasteen ja tarkkuuden.

Lisätutkimuksia on tehtävä, mutta jos tulokset ovat johdonmukaisia ja luotettavia, ne voivat auttaa tutkijoita löytämään tehokkaampia tapoja kouluttaa koneoppimisalgoritmeja. Tietokoneen näkötekoäly koulutetaan usein kuvien heijastuksilla, koska se on tehokas ja nopea tapa lisätä saatavilla olevaa koulutusaineistoa. On mahdollista, että heijastettujen kuvien erojen analysointi voi auttaa tekoälytutkijoita ymmärtämään paremmin tekoälymallien harhaa, jotka voivat aiheuttaa virheellisen kuvien luokittelun.

Snavelyn mukaan, kuten ScienceDailyn mukaan:

“Tämä johtaa avoimeen kysymykseen tietokoneen näköyhteisölle, joka on, milloin on ok käyttää tätä kääntämistä datan laajentamiseen, ja milloin ei ole ok? Toivon, että tämä saa ihmiset ajattelemaan enemmän näistä kysymyksistä ja kehittämään työkaluja ymmärtämään, miten se harhaa algoritmiin.”