Forskare använder AI för att undersöka hur reflektioner skiljer sig från originalbilder

Forskare vid Cornell University har nyligen använt maskinlärningssystem för att undersöka hur reflektioner av bilder skiljer sig från originalbilderna. Enligt ScienceDaily fann algoritmerna som skapades av forskarteamet att det fanns avslöjande tecken, skillnader från originalbilden, som visade att en bild hade vänds eller reflekterats.

Associate professor i datavetenskap vid Cornell Tech, Noah Snavely, var den seniora författaren till studien. Enligt Snavely började forskningsprojektet när forskarna blev fascinerade av hur bilder skiljer sig åt på både uppenbara och subtila sätt när de reflekteras. Snavely förklarade att även saker som verkar mycket symmetriska vid första anblicken vanligtvis kan särskiljas som en reflektion när de studeras. “Jag är fascinerad av upptäckterna som kan göras med nya sätt att samla in information”, sa Snavely enligt ScienceDaily.

Forskarna fokuserade på bilder av människor och använde dem för att träna sina algoritmer. Detta gjordes eftersom ansikten inte verkar uppenbart asymmetriska. När de tränades på data som skiljde reflekterade bilder från originalbilder, uppnådde AI:n en noggrannhet på mellan 60% och 90% över olika typer av bilder.

Många av de visuella kännetecknen för en reflekterad bild som AI:n lärde sig är ganska subtila och svåra för människor att urskilja när de tittar på de reflekterade bilderna. För att bättre tolka de funktioner som AI:n använde för att särskilja reflekterade och originalbilder, skapade forskarna en heatmap. Heatmapen visade områden i bilden som AI:n tenderade att fokusera på. Enligt forskarna var en av de vanligaste ledtrådarna som AI:n använde för att särskilja reflekterade bilder text. Detta var inte förvånande, och forskarna tog bort bilder som innehöll text från sin träningsdata för att få en bättre uppfattning om de mer subtila skillnaderna mellan reflekterade och originalbilder.

Efter att bilder som innehöll text hade tagits bort från träningsuppsättningen, fann forskarna att AI-klassificeringen fokuserade på funktioner i bilderna som skjortkragar, mobiltelefoner, armbandsur och ansikten. Vissa av dessa funktioner har uppenbara, tillförlitliga mönster som AI:n kan fokusera på, såsom faktum att människor ofta bär mobiltelefoner i sin högra hand och att knapparna på skjortkragar vanligtvis är på vänster sida. Ansiktsfunktioner är dock vanligtvis mycket symmetriska med små skillnader som är svåra för en mänsklig observatör att upptäcka.

Forskarna skapade en annan heatmap som belyste områdena i ansikten som AI:n tenderade att fokusera på. AI:n använde ofta människors ögon, hår och skägg för att upptäcka reflekterade bilder. Av skäl som är oklara tenderar människor att titta något åt vänster när de har fotos tagits av sig. När det gäller varför hår och skägg är indikatorer för reflekterade bilder är forskarna osäkra, men de teoriserar att en persons händer kan avslöjas av hur de rakar eller kammrar sig. Även om dessa indikatorer kan vara opålitliga, kan forskarna uppnå större tillförlitlighet och noggrannhet genom att kombinera flera indikatorer.

Mer forskning behöver utföras i den här riktningen, men om resultaten är konsekventa och tillförlitliga, kan det hjälpa forskare att hitta mer effektiva sätt att träna maskinlärningsalgoritmer. Datorseende-AI tränas ofta med reflektioner av bilder, eftersom det är ett effektivt och snabbt sätt att öka mängden tillgänglig träningsdata. Det är möjligt att analysera hur de reflekterade bilderna skiljer sig kan hjälpa maskinläringsforskare att få en bättre förståelse av de fördomar som finns i maskinlärningsmodeller som kan orsaka att de felaktigt klassificerar bilder.

Som Snavely citerades av ScienceDaily:

“Detta leder till en öppen fråga för datorseende-samhället, som är, när är det OK att göra den här vändningen för att öka datamängden, och när är det inte OK? Jag hoppas att detta kommer att få människor att tänka mer på dessa frågor och börja utveckla verktyg för att förstå hur det förvränger algoritmen.”