Forskere bruger AI til at undersøge, hvordan reflekser af billeder adskiller sig fra de oprindelige billeder

Forskere ved Cornell University har nyligt brugt maskinelæringssystemer til at undersøge, hvordan reflekser af billeder adskiller sig fra de oprindelige billeder. Ifølge ScienceDaily fandt algoritmerne, som forskerholdet havde udviklet, ud af, at der var karakteristiske tegn, forskelle fra det oprindelige billede, som indikerede, at et billede var blevet flippede eller reflekteret.

Associate professor i datalogi ved Cornell Tech, Noah Snavely, var seniorforfatter på studiet. Ifølge Snavely startede forskningsprojektet, da forskerne blev fascineret af, hvordan billeder var forskellige på både åbenlyse og subtile måder, når de blev reflekteret. Snavely forklarede, at selv ting, der synes meget symmetriske ved første øjekast, normalt kan skelnes som en refleksion, når de studeres nærmere. “Jeg er fascineret af de opdagelser, man kan gøre med nye måder at udvinde information,” sagde Snavely ifølge ScienceDaily.

Forskerne fokuserede på billeder af mennesker og brugte dem til at træne deres algoritmer. Dette blev gjort, fordi ansigter ikke umiddelbart synes asymmetriske. Når de blev trænet på data, der skelnede flippede billeder fra originale billeder, opnåede AI’en ifølge rapporten en nøjagtighed på mellem 60% og 90% på tværs af forskellige billedtyper.

Mange af de visuelle kendetegn for et flippede billede, som AI’en lærte, er ret subtile og svære for mennesker at skelne, når de ser på de flippede billeder. For bedre at fortolke de funktioner, som AI’en brugte til at skelne mellem flippede og originale billeder, skabte forskerne en varmekort. Varmekortet viste områderne af billedet, som AI’en havde tendens til at fokusere på. Ifølge forskerne var en af de mest almindelige tegn, som AI’en brugte til at skelne flippede billeder, tekst. Dette var ikke overraskende, og forskerne fjernede billeder med tekst fra deres træningsdata for bedre at få en idé om de mere subtile forskelle mellem flippede og originale billeder.

Efter at billeder med tekst var fjernet fra træningsmængden, fandt forskerne, at AI-klassificatoren fokuserede på billedets funktioner som skjortekragger, mobiltelefoner, ure og ansigter. Nogle af disse funktioner har åbenlyse, pålidelige mønstre, som AI’en kan fokusere på, såsom det faktum, at mennesker ofte bærer mobiltelefoner i deres højre hånd, og at knapperne på skjortekragger ofte er på venstre side. Ansigtstræk er dog typisk højst symmetriske med små forskelle, som er meget svære for et menneskeligt observer at opdage.

Forskerne skabte endnu en varmekort, der fremhævede de områder af ansigterne, som AI’en havde tendens til at fokusere på. AI’en brugte ofte menneskers øjne, hår og skæg til at registrere flippede billeder. Af grunde, der ikke er klare, ser mennesker ofte lidt til venstre, når de får taget billeder af sig selv. Hvordan hår og skæg er tegn på flippede billeder, er forskerne usikre på, men de teoriserer, at en persons håndethed kan afsløres af, hvordan de barberer eller kammer sig. Selvom disse tegn kan være upålidelige, kan forskerne ved at kombinere flere tegn opnå større sikkerhed og nøjagtighed.

Der skal yderligere forskning i denne retning, men hvis resultaterne er konsistente og pålidelige, kan det hjælpe forskere med at finde mere effektive måder at træne maskinelæringssystemer på. Computer vision AI trænes ofte ved hjælp af reflekser af billeder, da det er en effektiv og hurtig måde at øge mængden af tilgængelige træningsdata på. Det er muligt, at analysen af, hvordan de reflekterede billeder adskiller sig, kan hjælpe maskinelæringssystemer med at opnå en bedre forståelse af de fordomme, der er til stede i maskinelæringssystemer, som kan føre til, at de forkert klassificerer billeder.

Som Snavely blev citeret af ScienceDaily, siger:

“Dette fører til et åbent spørgsmål for computer vision-fællesskabet, som er, hvornår er det okay at gøre denne flipping for at udvide din dataset, og hvornår er det ikke okay? Jeg håber, dette vil få folk til at tænke mere over disse spørgsmål og starte med at udvikle værktøjer til at forstå, hvordan det påvirker algoritmen.”