Forskere bruker AI til å undersøke hvordan refleksjoner skiller seg fra originale bilder

Forskere ved Cornell University har nylig brukt maskinlæringsystemer til å undersøke hvordan refleksjoner av bilder er forskjellige fra de originale bildene. Ifølge ScienceDaily, fant algoritmene som ble laget av forskergruppen at det var karakteristiske tegn, forskjeller fra det originale bildet, som indikerte at et bilde hadde blitt snudd eller reflektert.

Associate professor i datavitenskap ved Cornell Tech, Noah Snavely, var studiens seniorforfatter. Ifølge Snavely, startet forskningsprosjektet da forskerne ble fascinert av hvordan bilder var forskjellige på både åpenbare og subtile måter når de ble reflektert. Snavely forklarte at selv ting som ser svært symmetriske ut til å begynne med, vanligvis kan skilles fra en refleksjon når de studeres. “Jeg er fascinert av oppdagelsene du kan gjøre med nye måter å innhente informasjon,” sa Snavely, ifølge ScienceDaily.

Forskerne fokuserte på bilder av mennesker og brukte dem til å trene sine algoritmer. Dette ble gjort fordi ansikter ikke ser åpenbart asymmetriske ut. Når de ble trenet på data som skilte reflekterte bilder fra originale bilder, oppnådde AI en nøyaktighet på mellom 60% og 90% over ulike typer bilder.

Mange av de visuelle kjennetegnene på et reflektert bilde som AI lærte, er svært subtile og vanskelige for mennesker å skille når de ser på de reflekterte bildene. For å bedre tolke funksjonene som AI brukte til å skille mellom reflekterte og originale bilder, lagde forskerne en varmekart. Varmekarten viste områdene av bildet som AI tenderte til å fokusere på. Ifølge forskerne, var en av de vanligste hintene AI brukte til å skille reflekterte bilder, tekst. Dette var ikke overraskende, og forskerne fjernet bilder som inneholdt tekst fra sin treningsdata for å få en bedre forståelse av de mer subtile forskjellene mellom reflekterte og originale bilder.

Etter at bilder som inneholdt tekst ble fjernet fra treningssettet, fant forskerne at AI-klassifikatoren fokuserte på funksjoner av bildene som skjortekragar, mobiltelefoner, armbåndsur og ansikter. Noen av disse funksjonene har åpenbare, pålitelige mønster som AI kan fokusere på, som for eksempel at mennesker ofte bærer mobiltelefoner i sin høyre hånd og at knappene på skjortekragar ofte er på venstre side. Ansiktsfunksjoner er vanligvis svært symmetriske med små forskjeller som er vanskelige for et menneskelig observatør å oppdage.

Forskerne lagde en annen varmekart som høydepunktet områdene av ansiktene som AI tenderte til å fokusere på. AI brukte ofte menneskers øyne, hår og skjegg til å detektere reflekterte bilder. Av grunner som er uklare, ser mennesker ofte litt til venstre når de har fotos tatt av seg. Når det gjelder hvorfor hår og skjegg er indikatorer for reflekterte bilder, er forskerne usikre, men de teoriserer at en persons håndpreferanse kan avsløres av måten de barberer eller kammer på. Mens disse indikatorene kan være upålitelige, kan forskerne oppnå større tillit og nøyaktighet ved å kombinere flere indikatorer sammen.

Mer forskning langs disse linjene må bli gjennomført, men hvis funnene er konsistente og pålitelige, kan det hjelpe forskere med å finne mer effektive måter å trene maskinlæringsalgoritmer på. Datavisjons-AI blir ofte trenet ved hjelp av refleksjoner av bilder, da det er en effektiv og rask måte å øke mengden tilgjengelig treningsdata. Det er mulig at å analysere hvordan de reflekterte bildene er forskjellige, kan hjelpe maskinlæringsforskere med å få en bedre forståelse av forutinntakene som er til stede i maskinlæringsmodellene som kan forårsake at de klassifiserer bildene uakkurat.

Som Snavely ble sitert av ScienceDaily:

“Dette fører til et åpent spørsmål for datavisjonsfellesskapet, som er, når er det greit å gjøre denne flippingen for å øke datamengden, og når er det ikke greit? Jeg håper dette vil få folk til å tenke mer om disse spørsmålene og starte å utvikle verktøy for å forstå hvordan det påvirker algoritmen.”