Forskare använder AI för att undersöka hur reflektioner skiljer sig från originalbilder

Forskare vid Cornell University använde nyligen maskinlärningssystem för att undersöka hur reflektioner av bilder skiljer sig från originalbilderna. Enligt ScienceDaily, fann algoritmerna som skapats av forskargruppen att det fanns avslöjande tecken, skillnader från originalbilden, som visade att en bild hade vänds eller reflekterats.

Associate professor i datavetenskap vid Cornell Tech, Noah Snavely, var den seniora författaren till studien. Enligt Snavely började forskningsprojektet när forskarna blev fascinerade av hur bilder skiljde sig åt på både uppenbara och subtila sätt när de reflekterades. Snavely förklarade att även saker som verkar mycket symmetriska vid första anblicken vanligtvis kan skiljas som en reflektion när de studeras. “Jag är fascinerad av de upptäckter man kan göra med nya sätt att samla in information”, sa Snavely enligt ScienceDaily.

Forskarna fokuserade på bilder av människor och använde dem för att träna sina algoritmer. Detta gjordes eftersom ansikten inte verkar uppenbart asymmetriska. När de tränades på data som skilde reflekterade bilder från originalbilder, uppnådde AI en noggrannhet på mellan 60% till 90% över olika typer av bilder.

Många av de visuella kännetecknen för en reflekterad bild som AI lärde sig var ganska subtila och svåra för människor att urskilja när de tittade på de reflekterade bilderna. För att bättre tolka de funktioner som AI använde för att skilja mellan reflekterade och originalbilder, skapade forskarna en heatmap. Heatmapen visade områden i bilden som AI tenderade att fokusera på. Enligt forskarna var en av de vanligaste ledtrådarna som AI använde för att skilja reflekterade bilder text. Detta var inte förvånande, och forskarna tog bort bilder som innehöll text från sin träningsdata för att få en bättre uppfattning om de mer subtila skillnaderna mellan reflekterade och originalbilder.

Efter att bilder som innehöll text hade tagits bort från träningsuppsättningen, fann forskarna att AI-klassificeringen fokuserade på funktioner i bilderna som skjortknappar, mobiltelefoner, klockor och ansikten. Vissa av dessa funktioner har uppenbara, tillförlitliga mönster som AI kan fokusera på, som att människor ofta bär mobiltelefoner i sin högra hand och att knapparna på skjortkragar ofta är på vänster sida. Ansiktsfunktioner är dock vanligtvis mycket symmetriska med små skillnader som är svåra för en mänsklig observatör att upptäcka.

Forskarna skapade en annan heatmap som belyste områdena i ansiktena som AI tenderade att fokusera på. AI använde ofta människors ögon, hår och skägg för att upptäcka reflekterade bilder. Av skäl som är oklara, tittar människor ofta lite till vänster när de tar bilder av sig själva. När det gäller varför hår och skägg är indikatorer för reflekterade bilder, är forskarna osäkra, men de teoriserar att en persons händer kan avslöjas av hur de rakar eller kammar. Medan dessa indikatorer kan vara opålitliga, kan forskarna uppnå större tillförlitlighet och noggrannhet genom att kombinera flera indikatorer.

Mer forskning i den här riktningen kommer att behöva genomföras, men om resultaten är konsekventa och tillförlitliga, kan det hjälpa forskare att hitta mer effektiva sätt att träna maskinlärningsalgoritmer. Datorseende-AI tränas ofta med reflektioner av bilder, eftersom det är ett effektivt och snabbt sätt att öka mängden tillgänglig träningsdata. Det är möjligt att analysera hur de reflekterade bilderna skiljer sig kan hjälpa maskinläringsforskare att få en bättre förståelse för de fördomar som finns i maskinlärningsmodeller som kan göra att de klassificerar bilder felaktigt.

Som Snavely citerades av ScienceDaily:

“Det leder till en öppen fråga för datorseende-samhället, som är, när är det OK att göra detta vändande för att öka din dataset, och när är det inte OK? Jag hoppas att detta kommer att få människor att tänka mer på dessa frågor och börja utveckla verktyg för att förstå hur det förvärrar algoritmen.”