Forskere bruger AI til at undersøge, hvordan reflekser afviger fra originale billeder

Forskere ved Cornell University har nyligt anvendt maskinel læringssystemer til at undersøge, hvordan reflekser af billeder adskiller sig fra de originale billeder. Som rapporteret af ScienceDaily, fandt algoritmerne, som forskerholdet havde udviklet, at der var karakteristiske tegn, forskelle fra det originale billede, som tydede på, at et billede var blevet flippede eller reflekteret.

Associate professor i datalogi ved Cornell Tech, Noah Snavely, var studiets seniorforfatter. Ifølge Snavely begyndte forskningsprojektet, da forskerne blev fascineret af, hvordan billeder var forskellige på både åbenlyse og subtile måder, når de blev reflekteret. Snavely forklarede, at selv ting, der synes meget symmetriske ved første øglekast, normalt kan skelnes fra en refleksion, når de studeres. “Jeg er fascineret af de opdagelser, man kan gøre med nye måder at indsamle information på,” sagde Snavely ifølge ScienceDaily.

Forskerne fokuserede på billeder af mennesker og brugte dem til at træne deres algoritmer. Dette blev gjort, fordi ansigter ikke umiddelbart synes asymmetriske. Når de blev trænet på data, der skelnede flippede billeder fra originale billeder, opnåede AI’en en nøjagtighed på mellem 60% og 90% på tværs af forskellige billedtyper.

Mange af de visuelle kendetegn for et flippede billede, som AI’en lærte, er ret subtile og svære for mennesker at skelne, når de ser på de flippede billeder. For bedre at fortolke de træk, som AI’en brugte til at skelne mellem flippede og originale billeder, skabte forskerne en varmekort. Varmekortet viste områderne af billedet, som AI’en tendrede til at fokusere på. Ifølge forskerne var en af de mest almindelige tegn, som AI’en brugte til at skelne flippede billeder, tekst. Dette var ikke overraskende, og forskerne fjernede billeder med tekst fra deres træningsdata for bedre at få en idé om de mere subtile forskelle mellem flippede og originale billeder.

Efter billeder med tekst var fjernet fra træningssættet, fandt forskerne, at AI-klassificatoren fokuserede på billedets træk som skjortekragernes knapper, mobiltelefoner, armbåndsure og ansigter. Nogle af disse træk har åbenlyse, pålidelige mønstre, som AI’en kan fokusere på, såsom det faktum, at mennesker ofte bærer mobiltelefoner i deres højre hånd, og at knapperne på skjortekragernes ofte er på venstre side. Men ansigtstræk er typisk meget symmetriske med små forskelle, som er svære for et menneskeligt observatør at opdage.

Forskerne skabte endnu et varmekort, der fremhævede områderne af ansigterne, som AI’en tendrede til at fokusere på. AI’en brugte ofte menneskers øjne, hår og skæg til at detektere flippede billeder. Af grunde, der ikke er klare, ser mennesker ofte lidt til venstre, når de får billeder taget af sig. Hvad angår, hvorfor hår og skæg er tegn på flippede billeder, er forskerne usikre, men de teoriserer, at en persons hændighed kan afsløres af, hvordan de barberer eller kammer sig. Selvom disse tegn kan være upålidelige, kan forskerne ved at kombinere flere tegn opnå større tillid og nøjagtighed.

Der skal mere forskning på disse linjer, men hvis resultaterne er konsistente og pålidelige, kan det hjælpe forskere med at finde mere effektive måder at træne maskinel læring på. Computer vision AI trænes ofte ved hjælp af reflekser af billeder, da det er en effektiv og hurtig måde at øge mængden af tilgængelige træningsdata. Det er muligt, at analysen af, hvordan de reflekterede billeder adskiller sig, kan hjælpe maskinel læring med at opnå en bedre forståelse af fordommene, der er til stede i maskinel læring, og som kan få dem til at klassificere billeder ukorrekt.

Som Snavely var citeret af ScienceDaily:

“Dette fører til et åbent spørgsmål for computer vision-fællesskabet, som er, hvornår er det okay at gøre dette flip til at udvide din dataset, og hvornår er det ikke okay? Jeg håber, dette vil få folk til at tænke mere over disse spørgsmål og begynde at udvikle værktøjer til at forstå, hvordan det påvirker algoritmen.”