Badacze wykorzystują sztuczną inteligencję do zbadania, jak odbicia różnią się od oryginalnych obrazów

Badacze z Cornell University niedawno wykorzystali systemy machine learning do zbadania, jak odbicia obrazów różnią się od oryginalnych obrazów. Jak donosi ScienceDaily, algorytmy stworzone przez zespół badaczy wykazały, że istnieją charakterystyczne oznaki, różnice od oryginalnego obrazu, które wskazują, że obraz został odwrócony lub odbity.

Associate professor of computer science at Cornell Tech, Noah Snavely, był seniorem autorem studium. Według Snavely, projekt badawczy rozpoczął się, gdy badacze zainteresowali się tym, jak obrazy różnią się na sposób oczywisty i subtelny, gdy są odbite. Snavely wyjaśnił, że nawet rzeczy, które wydają się bardzo symetryczne na pierwszy rzut oka, mogą być odróżnione jako odbicie, gdy są badane. “Jestem zainteresowany odkryciami, które można zrobić za pomocą nowych sposobów pozyskiwania informacji”, powiedział Snavely, cytowany przez ScienceDaily.

Badacze skupili się na obrazach ludzi, wykorzystując je do szkolenia swoich algorytmów. Zrobiono to, ponieważ twarze nie wydają się oczywiście asymetryczne. Po przeszkoleniu na danych, które odróżniały obrazy odwrócone od oryginalnych, sztuczna inteligencja osiągnęła dokładność między 60% a 90% w różnych typach obrazów.

Wiele wizualnych cech odbitego obrazu, które sztuczna inteligencja nauczyła się rozpoznawać, jest dość subtelnych i trudnych do rozpoznania przez ludzi, gdy patrzą na obrazy odwrócone. Aby lepiej zinterpretować cechy, które sztuczna inteligencja wykorzystywała do odróżniania obrazów odwróconych od oryginalnych, badacze stworzyli mapę cieplną. Mapa cieplna pokazała obszary obrazu, na które sztuczna inteligencja tendencję do skupiania się. Według badaczy, jednym z najczęstszych wskazówek, których sztuczna inteligencja używała do odróżniania obrazów odwróconych, był tekst. Nie było to zaskakujące, a badacze usunęli obrazy zawierające tekst z ich zbioru danych szkoleniowych, aby uzyskać lepsze rozeznanie w bardziej subtelnych różnicach między obrazami odwróconymi a oryginalnymi.

Po usunięciu obrazów zawierających tekst z zestawu danych szkoleniowych, badacze stwierdzili, że klasyfikator sztucznej inteligencji skupił się na cechach obrazów, takich jak kołnierze koszul, telefony komórkowe, zegarki na rękę i twarze. Niektóre z tych cech mają oczywiste, niezawodne wzorce, na które sztuczna inteligencja może się skupić, takie jak fakt, że ludzie często noszą telefony komórkowe w prawej ręce i że guziki na kołnierzu koszuli są zwykle po lewej stronie. Jednak cechy twarzy są zwykle bardzo symetryczne, z niewielkimi różnicami, które są trudne do wykrycia przez obserwatora ludzkiego.

Badacze stworzyli inną mapę cieplną, która podkreśliła obszary twarzy, na które sztuczna inteligencja tendencję do skupiania się. Sztuczna inteligencja często wykorzystywała oczy, włosy i brody, aby wykryć obrazy odwrócone. Z powodów, które nie są jasne, ludzie często spoglądają nieznacznie w lewo, gdy mają zdjęcia. Co do tego, dlaczego włosy i brody są wskaźnikami obrazów odwróconych, badacze nie są pewni, ale teoriują, że ręczność osoby może być ujawniona przez sposób, w jaki strzyże lub czesze. Chociaż te wskaźniki mogą być niewiarygodne, łącząc wiele wskaźników, badacze mogą osiągnąć większą pewność i dokładność.

Dalsze badania w tym kierunku będą musiały być przeprowadzone, ale jeśli wyniki są spójne i niezawodne, mogą one pomóc badaczom znaleźć bardziej efektywne sposoby szkolenia algorytmów machine learning. Sztuczna inteligencja wizyjna jest często szkolona przy użyciu odbić obrazów, ponieważ jest to skuteczny i szybki sposób zwiększania ilości dostępnych danych szkoleniowych. Możliwe, że analiza różnic między odbitymi obrazami a oryginalnymi może pomóc badaczom sztucznej inteligencji lepiej zrozumieć uprzedzenia obecne w modelach sztucznej inteligencji, które mogą powodować, że nieklasyfikują one obrazów poprawnie.

Jak Snavely powiedział, cytowany przez ScienceDaily:

“To prowadzi do otwartego pytania dla społeczności sztucznej inteligencji wizyjnej, które brzmi: kiedy jest OK, aby wykonać to odbicie, aby rozszerzyć zestaw danych, a kiedy nie jest OK? Mam nadzieję, że to sprawi, że ludzie będą myśleć więcej o tych pytaniach i zaczną rozwijać narzędzia, aby zrozumieć, jak to uprzedzenie wpływa na algorytm.”