Ученые-компьютерщики борются с предвзятостью в ИИ

Ученые-компьютерщики из Принстонского и Стэнфордского университетов решение проблем предвзятости в искусственном интеллекте (ИИ). Они работают над методами, которые позволят получить более справедливые наборы данных, содержащие изображения людей. Исследователи тесно сотрудничают с ImageNet, базой данных, содержащей более 13 миллионов изображений. На протяжении последнего десятилетия ImageNet способствовала развитию компьютерного зрения. Затем, используя свои методы, исследователи рекомендовали усовершенствовать базу данных. 

IMAGEnet включает в себя изображения предметов, пейзажей и людей. Исследователи, создающие алгоритмы машинного обучения, классифицирующие изображения, используют ImageNet в качестве источника данных. Из-за огромного размера базы данных было необходимо обеспечить автоматический сбор изображений и краудсорсинговое аннотирование изображений. Сейчас команда ImageNet работает над исправлением предвзятостей и других проблем. На изображениях часто присутствуют люди, которые являются непреднамеренным следствием конструкции ImageNet.

Ольга Русаковская — соавтор и доцент кафедры компьютерных наук в Принстоне. 

«Компьютерное зрение сейчас работает очень хорошо, а это значит, что оно применяется повсеместно в самых разных контекстах», — сказал он. «Это означает, что сейчас самое время поговорить о том, какое влияние это оказывает на мир, и подумать о подобных проблемах справедливости».

В новой статье команда ImageNet систематически идентифицировала невизуальные концепции и оскорбительные категории. Эти категории включали расовые и половые характеристики, и команда предложила удалить их из базы данных. Команда также разработала инструмент, который позволяет пользователям указывать и извлекать наборы изображений людей по возрасту, гендерному выражению и цвету кожи. Цель состоит в том, чтобы создать алгоритмы, которые более справедливо классифицируют лица и действия людей на изображениях. 

Работа, проделанная исследователями, была представлена ​​30 января на конференции Ассоциации вычислительной техники по вопросам справедливости, подотчетности и прозрачности в Барселоне, Испания. 

«Очень нужны исследователи и лаборатории, обладающие базовыми техническими знаниями в этой области, чтобы участвовать в такого рода беседах», — сказал Русаковский. «Учитывая тот факт, что нам необходимо собирать данные в масштабе, учитывая тот факт, что это будет делаться с помощью краудсорсинга, потому что это наиболее эффективный и хорошо зарекомендовавший себя конвейер, как нам сделать это более справедливым способом? не попадете в эти априорные ловушки? Основная идея этой статьи — конструктивные решения».

ImageNet была запущена в 2009 году группой компьютерных ученых из Принстона и Стэнфорда. Он должен был служить ресурсом для академических исследователей и педагогов. Созданием системы руководил выпускник Принстона и преподаватель Фей-Фей Ли. 

ImageNet смогла стать такой большой базой данных помеченных изображений благодаря использованию краудсорсинга. Одной из основных используемых платформ была Amazon Mechanical Turk (MTurk), и работникам платили за проверку изображений-кандидатов. Это вызвало некоторые проблемы, и было много предубеждений и неуместных категорий. 

Ведущий автор Кайю Ян — аспирант компьютерных наук. 

«Когда вы просите людей проверить изображения, выбрав правильные из большого набора кандидатов, люди чувствуют давление, чтобы выбрать некоторые изображения, и эти изображения, как правило, имеют отличительные или стереотипные черты», — сказал он. 

Первая часть исследования включала фильтрацию потенциально оскорбительных или деликатных категорий людей из ImageNet. Оскорбительные категории были определены как те, которые содержали ненормативную лексику, расовые или гендерные оскорбления. Одной из таких деликатных категорий была классификация людей на основе сексуальной ориентации или религии. Для аннотирования категорий были привлечены двенадцать аспирантов из разных слоев общества, и им было приказано пометить категорию как деликатную, если они не уверены в ней. Было исключено около 54% ​​категорий, или 1,593 из 2,932 категорий людей в ImageNet. 

Затем работники MTurk оценили «визуальность» остальных категорий по шкале от 1 до 5. 158 категорий были классифицированы как безопасные и привлекательные, с оценкой 4 или выше. Этот отфильтрованный набор категорий включал более 133,000 XNUMX изображений, которые могут быть очень полезны для обучения алгоритмов компьютерного зрения. 

Исследователи изучили демографическое представление людей на изображениях, а также оценили уровень предвзятости в ImageNet. Контент, полученный из поисковых систем, часто дает результаты, в которых преобладают мужчины, светлокожие люди и взрослые в возрасте от 18 до 40 лет.

«Люди обнаружили, что распределение демографических данных в результатах поиска изображений сильно предвзято, и именно поэтому распределение в ImageNet также предвзято», - сказал Ян. «В этой статье мы попытались понять, насколько это предвзято, а также предложить метод сбалансированного распределения».

Исследователи рассмотрели три атрибута, которые также защищены антидискриминационными законами США: цвет кожи, гендерное выражение и возраст. Затем работники MTurk аннотировали каждый атрибут каждого человека на изображении. 

Результаты показали, что контент ImageNet имеет значительную предвзятость. Наиболее недопредставленными были темнокожие, женщины и взрослые старше 40 лет.

Был разработан инструмент веб-интерфейса, который позволяет пользователям получать набор изображений, демографически сбалансированных по выбору пользователя. 

«Мы не хотим говорить, как правильно сбалансировать демографию, потому что это не очень простой вопрос», — сказал Ян. «Распределение может быть разным в разных частях мира — например, распределение цветов кожи в США отличается от распределения в странах Азии. Поэтому мы оставляем этот вопрос нашему пользователю и просто предоставляем инструмент для получения сбалансированного подмножества изображений».

Сейчас команда ImageNet работает над техническими обновлениями своего оборудования и базы данных. Они также пытаются внедрить фильтрацию категорий людей и инструмент ребалансировки, разработанный в этом исследовании. ImageNet будет перевыпущен с обновлениями, а также с запросом отзывов от сообщества исследователей компьютерного зрения. 

Статья также была написана в соавторстве с Принстонским доктором философии. студент Клинт Цинами и доцент кафедры компьютерных наук Цзя Дэн. Исследование было поддержано Национальным научным фондом.