Naukowcy wykorzystują sztuczną inteligencję do zbadania, jak odbicia różnią się od oryginalnych obrazów

Naukowcy z Cornell University niedawno wykorzystali systemy machine learning do zbadania, jak odbicia obrazów różnią się od oryginalnych obrazów. Jak donosi ScienceDaily, algorytmy stworzone przez zespół naukowców wykazały, że istnieją charakterystyczne znaki, różnice od oryginalnego obrazu, które wskazują, że obraz został odwrócony lub odbity.

Associate professor of computer science na Cornell Tech, Noah Snavely, był seniorem autorem studium. Zgodnie z Snavely, projekt badawczy rozpoczął się, gdy naukowcy zainteresowali się, jak obrazy różnią się na sposób oczywisty i subtelny, gdy są odbite. Snavely wyjaśnił, że nawet rzeczy, które wydają się bardzo symetryczne na pierwszy rzut oka, mogą być odróżnione jako odbicie, gdy są badane. “Jestem zaintrygowany odkryciami, które można zrobić z nowymi sposobami pozyskiwania informacji”, powiedział Snavely, cytowany przez ScienceDaily.

Naukowcy skupili się na obrazach ludzi, wykorzystując je do trenowania swoich algorytmów. Zrobiono to, ponieważ twarze nie wydają się oczywiście asymetryczne. Gdy algorytmy zostały wytrenowane na danych, które różniły obrazy odwrócone od oryginalnych, AI osiągnęło dokładność między 60% a 90% w różnych typach obrazów.

Wiele wizualnych cech odbitego obrazu, które AI nauczyło się, jest bardzo subtelnych i trudnych do rozróżnienia przez ludzi, gdy patrzą na odbite obrazy. Aby lepiej zinterpretować cechy, które AI wykorzystywało do rozróżnienia między odbitymi a oryginalnymi obrazami, naukowcy stworzyli heatmap. Heatmap pokazał regiony obrazu, na które AI tendencję do skupiania się. Zgodnie z naukowcami, jednym z najczęstszych wskazówek, które AI wykorzystywało do rozróżnienia odbitych obrazów, był tekst. To było niezaskakujące, a naukowcy usunęli obrazy zawierające tekst z ich zbioru treningowego, aby uzyskać lepsze pojęcie o bardziej subtelnych różnicach między odbitymi a oryginalnymi obrazami.

Po usunięciu obrazów zawierających tekst z zestawu treningowego naukowcy stwierdzili, że AI klasyfikator skupił się na cechach obrazu, takich jak kołnierze koszul, telefony komórkowe, zegarki na rękę i twarze. Niektóre z tych cech mają oczywiste, niezawodne wzory, na które AI może się skupić, takie jak fakt, że ludzie często noszą telefony komórkowe w prawej ręce i że guziki na kołnierzu są zwykle po lewej stronie. Jednak cechy twarzy są zwykle bardzo symetryczne, z różnicami, które są małe i bardzo trudne do wykrycia przez obserwatora ludzkiego.

Naukowcy stworzyli kolejny heatmap, który podkreślił obszary twarzy, na które AI tendencję do skupiania się. AI często wykorzystywało ludzkie oczy, włosy i brody do wykrycia odbitych obrazów. Z powodów, które nie są jasne, ludzie często spoglądają nieznacznie w lewo, gdy mają zdjęcia. Co do tego, dlaczego włosy i brody są wskaźnikami odbitych obrazów, naukowcy nie są pewni, ale teoretyzują, że ręczność osoby może być ujawniona przez sposób, w jaki się goli lub czesze. Chociaż te wskaźniki mogą być niewiarygodne, łącząc wiele wskaźników razem, naukowcy mogą osiągnąć większą pewność i dokładność.

Więcej badań w tym kierunku będzie musiało być przeprowadzonych, ale jeśli wyniki są spójne i niezawodne, to może pomóc naukowcom znaleźć bardziej efektywne sposoby trenowania algorytmów machine learning. AI komputerowego widzenia jest często trenowana przy użyciu odbić obrazów, ponieważ jest to skuteczny i szybki sposób zwiększania ilości dostępnych danych treningowych. Możliwe, że analiza różnic między odbitymi obrazami może pomóc naukowcom machine learning lepiej zrozumieć uprzedzenia obecne w modelach machine learning, które mogą powodować, że nieprawidłowo klasyfikują obrazy.

Jak Snavely został cytowany przez ScienceDaily:

“To prowadzi do otwartego pytania dla społeczności komputerowego widzenia, które jest, kiedy jest OK, aby to zrobić, i kiedy nie jest OK? Mam nadzieję, że to sprawi, że ludzie będą myśleć bardziej o tych pytaniach i zaczną rozwijać narzędzia, aby zrozumieć, jak to uprzedza algorytm.”