Forskere bruker AI til å undersøke hvordan refleksjoner skiller seg fra originale bilder

Forskere ved Cornell University har nylig brukt maskinlæringsystemer til å undersøke hvordan refleksjoner av bilder er forskjellige fra de originale bildene. Ifølge ScienceDaily, fant algoritmene som ble laget av forskerlaget ut at det var karakteristiske tegn, forskjeller fra det originale bildet, som indikerte at et bilde hadde blitt flippet eller reflektert.

Associate professor i datavitenskap ved Cornell Tech, Noah Snavely, var seniorforfatter av studien. Ifølge Snavely startet forskningsprosjektet da forskerne ble interesserte i hvordan bilder var forskjellige på både åpenbare og subtile måter når de ble reflektert. Snavely forklarte at selv ting som ser svært symmetriske ut ved første øyekast vanligvis kan skilles fra en refleksjon når de studeres. “Jeg er interessert i oppdagelsene du kan gjøre med nye måter å hente informasjon på,” sa Snavely, ifølge ScienceDaily.

Forskerne konsentrerte seg om bilder av mennesker og brukte dem til å trene sine algoritmer. Dette ble gjort fordi ansikter ikke ser åpenbart asymmetriske ut. Når de ble trenet på data som skilte flippet bilder fra originale bilder, oppnådde AI-en en nøyaktighet på mellom 60% og 90% over ulike typer bilder.

Mange av de visuelle kjennetegnene på et flippet bilde som AI-en lærte var ganske subtile og vanskelige for mennesker å skille når de så på de flippede bildene. For å bedre tolke de trekkene som AI-en brukte til å skille mellom flippet og originale bilder, lagde forskerne en varmebilde. Varmebildet viste områdene av bildet som AI-en tenderte til å fokusere på. Ifølge forskerne var en av de vanligste hintene AI-en brukte til å skille flippet bilder tekst. Dette var ikke overraskende, og forskerne fjernet bilder som inneholdt tekst fra sin treningsdata for å få en bedre forståelse av de mer subtile forskjellene mellom flippet og originale bilder.

Etter at bilder som inneholdt tekst ble fjernet fra treningssettet, fant forskerne ut at AI-klassifisatoren fokuserte på bildets trekk som skjortekragar, mobiltelefoner, armbåndsur og ansikter. Noen av disse trekkene har åpenbare, pålitelige mønster som AI-en kan fokusere på, som faktum at mennesker ofte bærer mobiltelefoner i høyre hånd og at knappene på skjortekragar ofte er på venstre side. Ansiktstrekk er vanligvis svært symmetriske med små forskjeller som er vanskelige for et menneske å oppdage.

Forskerne lagde et annet varmebilde som viste områdene av ansiktet som AI-en tenderte til å fokusere på. AI-en brukte ofte menneskers øyne, hår og skjegg til å oppdage flippet bilder. Av grunner som er uklare, ser mennesker ofte litt til venstre når de har fotos tatt av seg. Når det gjelder hvorfor hår og skjegg er indikatorer for flippet bilder, er forskerne usikre, men de teoriserer at en persons håndpreferanse kan avsløres av måten de barberer eller kammer på. Selv om disse indikatorene kan være upålitelige, kan forskerne oppnå større tillit og nøyaktighet ved å kombinere flere indikatorer sammen.

Mer forskning langs disse linjene vil være nødvendig, men hvis funnene er konsistente og pålitelige, kan det hjelpe forskerne med å finne mer effektive måter å trene maskinlæringsalgoritmer på. Datavitenskapelig AI blir ofte trenet ved hjelp av refleksjoner av bilder, da det er en effektiv og rask måte å øke mengden tilgjengelig treningsdata på. Det er mulig at å analysere hvordan de reflekterte bildene er forskjellige kan hjelpe maskinlæringsforskere med å få en bedre forståelse av forutinntakene i maskinlæringsmodellene som kan forårsake at de klassifiserer bildene feil.

Da Snavely ble sitert av ScienceDaily

“Dette fører til et åpent spørsmål for datavitenskapelige samfunnet, som er når det er ok å gjøre denne flippingen for å øke datasett, og når det ikke er ok? Jeg håper dette vil få folk til å tenke mer om disse spørsmålene og starte å utvikle verktøy for å forstå hvordan det påvirker algoritmen.”