Ученые-компьютерщики решают проблему предвзятости в ИИ

Ученые-компьютерщики из Принстона и Стэнфордского университета теперь решают проблему предвзятости в искусственном интеллекте (ИИ). Они работают над методами, которые приводят к более справедливым наборам данных, содержащим изображения людей. Исследователи тесно сотрудничают с ImageNet, которая является базой данных более чем 13 миллионов изображений. На протяжении прошлого десятилетия ImageNet помогла продвинуть компьютерное зрение. С помощью своих методов исследователи затем рекомендовали улучшения для базы данных.

ImageNet включает изображения объектов, пейзажей и людей. Исследователи, создающие алгоритмы машинного обучения, классифицирующие изображения, используют ImageNet в качестве источника данных. Из-за огромного размера базы данных было необходимо использовать автоматизированную коллекцию изображений и краудсорсинговую аннотацию изображений. Теперь команда ImageNet работает над исправлением предвзятостей и других проблем. Изображения часто содержат людей, которые являются непреднамеренными последствиями конструкции ImageNet.

Ольга Русакова – соавтор и ассистент профессора компьютерных наук в Принстоне.

“Компьютерное зрение теперь работает очень хорошо, что означает, что оно развертывается повсюду в различных контекстах”, – сказал он. “Это означает, что сейчас самое время говорить о том, какой эффект оно оказывает на мир и думать об этих видах проблем справедливости”.

В новой статье команда ImageNet систематически определила невизуальные концепции и обидные категории. Эти категории включали расовые и сексуальные характеристики, и команда предложила удалить их из базы данных. Команда также разработала инструмент, который позволяет пользователям указывать и получать наборы изображений людей, и он может делать это по возрасту, гендерному выражению и цвету кожи. Цель – создать алгоритмы, которые более справедливо классифицируют лица и действия людей на изображениях.

Работа, выполненная исследователями, была представлена 30 января на конференции Association for Computing Machinery по справедливости, подотчетности и прозрачности в Барселоне, Испания.

“Существует большая потребность в том, чтобы исследователи и лаборатории с основными техническими знаниями в этой области участвовали в этих видах разговоров”, – сказала Русакова. “Учитывая реальность, что нам нужно собирать данные в крупном масштабе, учитывая реальность, что это будет сделано с помощью краудсорсинга, потому что это наиболее эффективный и устоявшийся путь, как мы можем сделать это более справедливым – чтобы не попасть в такие же предыдущие ловушки? Основное сообщение этой статьи заключается в конструктивных решениях”.

ImageNet была запущена в 2009 году группой компьютерных ученых из Принстона и Стэнфорда. Она была призвана служить ресурсом для академических исследователей и педагогов. Создание системы было возглавлено выпускником и сотрудником Принстона Фэй-Фэй Ли.

ImageNet смогла стать такой большой базой данных помеченных изображений благодаря использованию краудсорсинга. Одной из основных платформ, использованных для этого, была Amazon Mechanical Turk (MTurk), и работникам платили за верификацию кандидатских изображений. Это вызвало некоторые проблемы, и были многие предвзятости и неуместные категоризации.

Ведущий автор Кайю Ян – аспирант по компьютерным наукам.

“Когда вы просите людей верифицировать изображения, выбирая правильные из большого набора кандидатов, люди чувствуют давление, чтобы выбрать некоторые изображения, и эти изображения, как правило, являются теми, которые имеют характерные или стереотипные черты”, – сказал он.

Первая часть исследования включала фильтрацию потенциально обидных или чувствительных категорий людей из ImageNet. Обидные категории были определены как те, которые содержали нецензурную лексику или расовые или гендерные оскорбления. Одна из таких чувствительных категорий была классификация людей по их сексуальной ориентации или религии. Были привлечены 12 аспирантов из разных слоев общества, чтобы аннотировать категории, и им было указано пометить категорию как чувствительную, если они были не уверены в ней. Около 54% категорий были исключены, или 1593 из 2932 категорий людей в ImageNet.

Работники MTurk затем оценили “изображаемость” оставшихся категорий по шкале от 1 до 5. 158 категорий были классифицированы как безопасные и изображаемые, с рейтингом 4 или выше. Этот отфильтрованный набор категорий включал более 133 000 изображений, которые могут быть очень полезны для обучения алгоритмов компьютерного зрения.

Исследователи изучали демографическое представление людей на изображениях, и уровень предвзятости в ImageNet был оценен. Содержание из поисковых систем часто предоставляет результаты, которые чрезмерно представляют мужчин, людей со светлой кожей и взрослых в возрасте от 18 до 40 лет.

“Люди обнаружили, что распределение демографических характеристик в результатах поиска изображений очень предвзято, и это почему распределение в ImageNet также предвзято”, – сказал Ян. “В этой статье мы попытались понять, насколько оно предвзято, и также предложить метод для балансировки распределения”.

Исследователи рассмотрели три атрибута, которые также защищены законом США о борьбе с дискриминацией: цвет кожи, гендерное выражение и возраст. Работники MTurk затем аннотировали каждый атрибут каждого человека на изображении.

Результаты показали, что содержание ImageNet имеет значительную предвзятость. Наиболее недопредставленными были люди с темной кожей, женщины и взрослые старше 40 лет.

Был разработан веб-интерфейсный инструмент, который позволяет пользователям получить набор изображений, демографически сбалансированных так, как выберет пользователь.

“Мы не хотим говорить, какой правильный способ сбалансировать демографию, потому что это не очень простой вопрос”, – сказал Ян. “Распределение может быть разным в разных частях мира – распределение цветов кожи в США отличается от распределения в странах Азии, например. Итак, мы оставляем этот вопрос нашему пользователю, и мы просто предоставляем инструмент для получения сбалансированного подмножества изображений”.

Команда ImageNet сейчас работает над техническими обновлениями своего оборудования и базы данных. Они также пытаются реализовать фильтрацию категорий людей и инструмент для ребалансировки, разработанный в этом исследовании. ImageNet будет переиздана с обновлениями, а также будет сделан призыв к обратной связи от сообщества исследователей компьютерного зрения.

Статья также была написана в соавторстве с аспирантом Принстона Клинтом Кинами и ассистентом профессора компьютерных наук Джиа Денг. Исследование было поддержано Национальным научным фондом.