Исследователи используют ИИ для изучения того, как отражения отличаются от оригинальных изображений

Исследователи из Корнелльского университета недавно использовали системы машинного обучения для изучения того, как отражения изображений отличаются от оригинальных изображений. Как сообщает ScienceDaily, алгоритмы, созданные командой исследователей, обнаружили, что существуют характерные признаки, отличия от оригинального изображения, которые указывают на то, что изображение было повернуто или отражено.

Ассоциированный профессор компьютерных наук в Корнелльском технологическом институте Ноа Снэвли был старшим автором исследования. Согласно Снэвли, проект исследования начался, когда исследователи стали интересоваться тем, как изображения различаются как в очевидных, так и в тонких аспектах, когда они отражаются. Снэвли объяснил, что даже вещи, которые кажутся очень симметричными на первый взгляд, обычно можно различить как отражение при более детальном изучении. “Меня интересуют открытия, которые можно сделать с помощью новых способов получения информации”, – сказал Снэвли, согласно ScienceDaily.

Исследователи сосредоточились на изображениях людей, используя их для обучения своих алгоритмов. Это было сделано потому, что лица не кажутся явно асимметричными. Когда алгоритмы были обучены на данных, которые различали повернутые изображения от оригинальных, ИИ достиг accuracy между 60% и 90% для различных типов изображений.

Многие из визуальных характерных признаков отраженного изображения, которые ИИ научился распознавать, довольно тонкие и трудно различимы для человека при просмотре отраженных изображений. Чтобы лучше интерпретировать особенности, на которые ИИ опирался для различия между отраженными и оригинальными изображениями, исследователи создали карту тепла. Карта тепла показала области изображения, на которые ИИ склонен сосредотачиваться. Согласно исследователям, одним из наиболее распространенных подсказок, которые ИИ использовал для различия отраженных изображений, был текст. Это было не удивительно, и исследователи удалили изображения, содержащие текст, из своих тренировочных данных, чтобы получить лучшее представление о более тонких различиях между отраженными и оригинальными изображениями.

После удаления изображений, содержащих текст, из тренировочного набора исследователи обнаружили, что классификатор ИИ сосредотачивался на особенностях изображений, таких как пуговицы рубашек, мобильные телефоны, часы и лица. Некоторые из этих особенностей имеют очевидные, надежные закономерности, на которые ИИ может опираться, такие как тот факт, что люди часто держат мобильные телефоны в правой руке, и что кнопки на пуговицах рубашек часто находятся на левой стороне. Однако лицевые особенности обычно очень симметричны, с небольшими различиями, которые очень трудно обнаружить для человеческого наблюдателя.

Исследователи создали другую карту тепла, которая подчеркивала области лиц, на которые ИИ склонен сосредотачиваться. ИИ часто использовал глаза, волосы и бороды людей для обнаружения отраженных изображений. По причинам, которые неясны, люди часто смотрят слегка влево, когда им делают фотографии. Что касается того, почему волосы и бороды являются индикаторами отраженных изображений, исследователи не уверены, но они предполагают, что праворукость человека может быть выявлена по тому, как он бреет или расчесывает волосы. Хотя эти индикаторы могут быть ненадежными, объединив несколько индикаторов вместе, исследователи могут достичь большей уверенности и точности.

Будут необходимы дальнейшие исследования в этом направлении, но если результаты будут последовательными и надежными, они могут помочь исследователям найти более эффективные способы обучения алгоритмов машинного обучения. Компьютерное зрение ИИ часто обучается с помощью отражений изображений, поскольку это эффективный и быстрый способ увеличения количества доступных тренировочных данных. Возможно, что анализ того, как отраженные изображения отличаются, может помочь исследователям машинного обучения лучше понять предвзятости, присутствующие в моделях машинного обучения, которые могут вызывать неправильную классификацию изображений.

Как Снэвли был цитирован по ScienceDaily:

“Это приводит к открытому вопросу для сообщества компьютерного зрения, который заключается в том, когда можно использовать этот метод поворота для дополнения набора данных, и когда это не допустимо. Я надеюсь, что это заставит людей подумать больше об этих вопросах и начать разрабатывать инструменты для понимания того, как это предвзятое алгоритм.”