Исследователи разработали новый инструмент для борьбы с предвзятостью в компьютерном зрении

Одной из недавних проблем, которые возникли в области искусственного интеллекта (ИИ), является предвзятость в компьютерном зрении. Многие эксперты теперь обнаруживают предвзятость внутри систем ИИ, что приводит к искаженным результатам в различных приложениях, таких как программы судебного приговора.

Сейчас предпринимается большая попытка исправить некоторые из этих проблем, и последнее развитие происходит в Принстонском университете. Исследователи в учреждении создали новый инструмент, который может пометить потенциальные предвзятости в изображениях, используемых для обучения систем ИИ.

Работа была представлена 24 августа на виртуальной Европейской конференции по компьютерному зрению.

Предвзятость в системах ИИ

Одной из основных причин предвзятости, присутствующей в текущих системах ИИ, является то, что они часто обучаются на больших наборах изображений из онлайн-источников. Эти изображения могут быть стереотипными, и когда они используются для разработки компьютерного зрения, результат может быть непреднамеренно подвержен влиянию. Компьютерное зрение позволяет компьютерам идентифицировать людей, объекты и действия.

Инструмент, разработанный исследователями, является открытым, и он способен автоматически раскрывать потенциальные предвзятости в визуальных наборах данных. Он работает, предпринимая действия до того, как наборы изображений будут использованы для обучения моделей компьютерного зрения, и проблемы, связанные с недопредставленностью и стереотипами, могут быть исправлены до того, как они окажут влияние.

REVISE

Новый инструмент называется REVISE, и он полагается на статистические методы для выявления потенциальных предвзятостей в наборе данных. Он фокусируется на трех областях: объектной, гендерной и географической.

REVISE полностью автоматизирован и был построен на основе предыдущих методов, которые включали фильтрацию и балансировку изображений в наборе данных, чтобы пользователь имел больше контроля.

Новый инструмент полагается на существующие аннотации и измерения изображений для анализа содержимого в наборе данных. Некоторые из этих аннотаций включают количество объектов и страны происхождения изображений.

В одном примере работы инструмента REVISE показал, как изображения людей и цветов различались в зависимости от пола. Мужчины чаще появлялись с цветами на церемониях или встречах, а женщины чаще появлялись с цветами в картинах или сценариях.

Ольга Русакова – ассистент-профессор компьютерных наук и основной исследователь лаборатории визуального ИИ. Статья была написана в соавторстве с аспирантом Анджелиной Ванг и ассоциированным профессором компьютерных наук Арвиндом Нараянаном.

После того, как инструмент выявляет несоответствия, “тогда возникает вопрос, является ли это совершенно безобидным фактом или что-то более глубокое происходит, и это очень трудно автоматизировать”, – сказала Русакова.

Недопредставленные или неправильно представленные регионы

Различные регионы мира недопредставлены в наборах данных компьютерного зрения, и это может привести к предвзятости в системах ИИ. Одним из открытий было то, что значительно большее количество изображений поступает из США и европейских стран. REVISE также показал, что изображения из других частей мира часто не имеют подписей к изображениям на местном языке, что означает, что многие из них могут быть с точки зрения туриста.

“… этот географический анализ показывает, что распознавание объектов может быть еще очень предвзятым и исключительным, и может влиять на различные регионы и людей неравномерно”, – продолжила Русакова.

“Практика сбора наборов данных в компьютерных науках не была тщательно изучена до недавнего времени”, – сказал Ванг. Когда речь идет о сборе изображений, они “собираются из интернета, и люди не всегда осознают, что их изображения используются [в наборах данных]. Мы должны собирать изображения из более разнообразных групп людей, но когда мы это делаем, мы должны быть осторожны, чтобы получать изображения таким образом, чтобы это было уважительно”.

Висенте Ордоньес-Роман – ассистент-профессор компьютерных наук в Университете Вирджинии.

“Инструменты и эталоны являются важным шагом… они позволяют нам выявить эти предвзятости на ранней стадии и пересмотреть наш подход и предположения, а также практику сбора данных”, – сказал Ордоньес-Роман. “В компьютерном зрении есть некоторые специфические проблемы, связанные с представлением и распространением стереотипов. Работы, такие как те, которые были сделаны лабораторией визуального ИИ Принстонского университета, помогают прояснить и привлечь внимание компьютерного зрения к некоторым из этих проблем и предложить стратегии для их смягчения”.

Новый инструмент, разработанный исследователями, является важным шагом для помощи в исправлении предвзятости, присутствующей в системах ИИ. Теперь самое время исправить эти проблемы, поскольку они станут намного более сложными, когда системы будут развиваться и становиться более сложными.