Tutkijat käyttävät tekoälyä tutkimaan, miten heijastukset eroavat alkuperäisistä kuvista

Cornellin yliopiston tutkijat käyttivät äskettäin koneoppimisjärjestelmiä tutkiakseen, miten kuvien heijastukset eroavat alkuperäisistä kuvista. ScienceDailyn mukaan tutkijaryhmän luomat algoritmit totesivat, että kuvissa oli ominaispiirteitä, joista voitiin päätellä, että kuva oli käännetty tai heijastettu.

Cornell Techin tietojenkäsittelytieteen apulaisprofessori Noah Snavely oli tutkimuksen vanhempi tekijä. Snavelyn mukaan tutkimusprojekti alkoi, kun tutkijat kiinnostuivat siitä, miten kuvat erosivat toisistaan sekä ilmeisillä että hienovaraisilla tavoilla, kun ne heijastettiin. Snavely selitti, että jopa ne asiat, jotka näyttävät ensisilmäyksellä hyvin symmetrisiltä, voidaan yleensä erottaa heijastuksina tarkasteltaessa. “Olen kiinnostunut siitä, mitä löydöksiä voidaan tehdä uusilla tavoilla tiedon etsimiseksi”, Snavely sanoi ScienceDailylle.

Tutkijat keskittyivät ihmiskuvien tutkimiseen ja käyttivät niitä algoritmien kouluttamiseen. Tämä tehtiin, koska kasvot eivät vaikuta ilmeisesti epäsymmetrisiltä. Kun algoritmit oli koulutettu tietoihin, jotka erosivat käännetyistä kuvasita alkuperäisistä kuvista, tekoäly saavutti 60-90 prosentin tarkkuuden eri tyypien kuvissa.

Monet visuaalisista piirteistä, joita tekoäly oppi tunnistamaan käännetyistä kuvista, ovat hyvin hienovaraisia ja vaikeita ihmisille havaita, kun he tarkastelevat käännetyistä kuvista. Tutkijat loivat lämpökartan, jotta he voisivat tulkita paremmin ne piirteet, joita tekoäly käytti erottamaan käännetyt ja alkuperäiset kuvat. Lämpökartan mukaan tekoäly keskittyi alueisiin, joissa kuvissa oli tekstiä. Tämä ei ollut yllättävää, ja tutkijat poistivat tekstikuvat koulutusaineistostaan, jotta he voisivat saada paremman käsityksen hienovaraisista eroista käännetyissä ja alkuperäisissä kuvissa.

Kun tekstikuvat poistettiin koulutusaineistosta, tutkijat totesivat, että tekoälyluokittimen keskittyi kuvien piirteisiin, kuten paitojen nappien, matkapuhelimien, rannekellien ja kasvojen piirteisiin. Jotkut näistä piirteistä ovat ilmeisiä ja luotettavia, kuten se, että ihmiset usein kantavat matkapuhelinta oikeassa kädessään ja paitojen nappien ollessa vasemmalla puolella. Kasvonpiirteet ovat kuitenkin yleensä hyvin symmetrisiä, ja erot ovat pieniä ja vaikeita ihmisille havaita.

Tutkijat loivat toisen lämpökartan, joka korosti kasvojen alueita, joita tekoäly keskittyi tarkastelemaan. Tekoäly käytti usein silmiä, hiuksia ja partoja käännetyiden kuvien tunnistamiseen. Syy siihen, miksi ihmiset usein katsovat hieman vasemmalle, kun heidän valokuvansa otetaan, on epäselvä, mutta tutkijat epäilevät, että kädenjako voi paljastua siinä, miten ihminen ajaa partaansa tai kampaa hiuksiaan. Vaikka nämä osoittimet voivat olla epäluotettavia, tutkijat voivat yhdistää useita osoittimia saadakseen suuremman luottamusasteen ja tarkkuuden.

Lisätutkimuksia on tehtävä, mutta jos tulokset ovat johdonmukaisia ja luotettavia, ne voivat auttaa tutkijoita kehittämään tehokkaampia tapoja kouluttaa tekoälyalgoritmeja. Tietokoneen näkötekoälyä usein koulutetaan käyttäen kuvien heijastuksia, koska se on tehokas ja nopea tapa lisätä koulutusaineiston määrää. On mahdollista, että heijastettujen kuvien analysointi voi auttaa tekoälytutkijoita ymmärtämään paremmin tekoälymallien harhaisuuksia, jotka voivat johtaa kuvien virheelliseen luokitteluun.

Kuten Snavely sanoi ScienceDailylle:

“Tämä johtaa avoimeen kysymykseen tietokoneen näköyhteisölle, joka on, milloin on sallittua tehdä tämä kääntäminen datan täydentämiseksi, ja milloin se ei ole sallittua? Toivon, että tämä saa ihmiset ajattelemaan näistä kysymyksistä ja kehittämään työkaluja ymmärtämään, miten se voi harhauttaa algoritmia.”