Ученые-компьютерщики решают проблему предвзятости в ИИ

Ученые-компьютерщики из Принстонского и Стэнфордского университетов сейчас решают проблемы предвзятости в искусственном интеллекте (ИИ). Они работают над методами, которые приводят к более справедливым наборам данных, содержащим изображения людей. Исследователи тесно сотрудничают с ImageNet, которая является базой данных более чем 13 миллионов изображений. На протяжении прошлого десятилетия ImageNet помогла продвинуть компьютерное зрение. С помощью своих методов исследователи затем рекомендовали улучшения для базы данных.

ImageNet включает изображения объектов, пейзажей и людей. Исследователи, создающие алгоритмы машинного обучения, классифицирующие изображения, используют ImageNet в качестве источника данных. Из-за огромного размера базы данных было необходимо использовать автоматизированную сборку изображений и краудсорсинговую аннотацию изображений. Теперь команда ImageNet работает над исправлением предвзятостей и других проблем. Изображения часто содержат людей, которые являются непредвиденными последствиями конструкции ImageNet.

Ольга Русакова – соавтор и ассистент профессора компьютерных наук в Принстоне.

“Компьютерное зрение теперь работает очень хорошо, что означает, что оно развертывается повсюду в различных контекстах”, – сказал он. “Это означает, что сейчас самое время для обсуждения того, какой эффект оно оказывает на мир и размышления о таких вопросах, как справедливость.”

В новой статье команда ImageNet систематически определила невизуальные понятия и обидные категории. Эти категории включали расовые и сексуальные характеристики, и команда предложила удалить их из базы данных. Команда также разработала инструмент, который позволяет пользователям указать и получить наборы изображений людей, и он может делать это по возрасту, гендерному выражению и цвету кожи. Цель – создать алгоритмы, которые более справедливо классифицируют лица и действия людей на изображениях.

Работа, выполненная исследователями, была представлена 30 января на конференции Association for Computing Machinery по справедливости, подотчетности и прозрачности в Барселоне, Испания.

“Есть большая потребность в том, чтобы исследователи и лаборатории с основными техническими знаниями в этой области участвовали в таких разговорах”, – сказала Русакова. “Учитывая реальность того, что нам нужно собирать данные в большом масштабе, учитывая реальность того, что это будет сделано с помощью краудсорсинга, потому что это самый эффективный и устоявшийся путь, как мы можем сделать это справедливым – чтобы не попасть в такие же ловушки? Основное сообщение этой статьи – вокруг конструктивных решений.”

ImageNet была запущена в 2009 году группой ученых-компьютерщиков из Принстона и Стэнфорда. Она была призвана служить ресурсом для академических исследователей и педагогов. Создание системы возглавлял выпускник и сотрудник Принстона Фэй-Фэй Ли.

ImageNet смогла стать такой большой базой данных помеченных изображений благодаря использованию краудсорсинга. Одной из основных платформ, используемых для этого, была Amazon (AMZN ) Mechanical Turk (MTurk), и работникам платили за верификацию кандидатских изображений. Это вызвало некоторые проблемы, и были многие предвзятости и неуместные категоризации.

Ведущий автор Кайю Ян – аспирант компьютерных наук.

“Когда вы просите людей верифицировать изображения, выбирая правильные из большого набора кандидатов, люди чувствуют давление, чтобы выбрать некоторые изображения, и эти изображения, как правило, являются теми, которые имеют характерные или стереотипные особенности”, – сказал он.

Первая часть исследования включала фильтрацию потенциально обидных или чувствительных категорий людей из ImageNet. Обидные категории определялись как те, которые содержали нецензурную лексику или расовые или гендерные оскорбления. Одна такая чувствительная категория была классификация людей по их сексуальной ориентации или религии. Двенадцать аспирантов из различных слоев общества были привлечены для аннотации категорий, и им было указано пометить категорию как чувствительную, если они были не уверены в ней. Около 54% категорий были исключены, или 1593 из 2932 категорий людей в ImageNet.

Работники MTurk затем оценивали “изображаемость” оставшихся категорий по шкале от 1 до 5. 158 категорий были классифицированы как безопасные и изображаемые, с рейтингом 4 или выше. Этот отфильтрованный набор категорий включал более 133 000 изображений, которые могут быть очень полезны для обучения алгоритмов компьютерного зрения.

Исследователи изучали демографическое представление людей на изображениях, и уровень предвзятости в ImageNet был оценен. Содержание из поисковых систем часто предоставляет результаты, которые чрезмерно представляют мужчин, людей с светлой кожей и взрослых в возрасте от 18 до 40 лет.

“Люди обнаружили, что распределение демографических показателей в результатах поиска изображений очень предвзято, и это почему распределение в ImageNet также предвзято”, – сказал Ян. “В этой статье мы попытались понять, насколько оно предвзято, и также предложить метод для балансировки распределения.”

Исследователи рассматривали три атрибута, которые также защищены законом США о борьбе с дискриминацией: цвет кожи, гендерное выражение и возраст. Работники MTurk затем аннотировали каждый атрибут каждого человека на изображении.

Результаты показали, что содержание ImageNet имеет значительную предвзятость. Наиболее недопредставленными были люди с темной кожей, женщины и взрослые старше 40 лет.

Был разработан веб-интерфейсный инструмент, который позволяет пользователям получить набор изображений, демографически сбалансированных таким образом, как выберет пользователь.

“Мы не хотим говорить, какой правильный способ сбалансировать демографию, потому что это не очень простой вопрос”, – сказал Ян. “Распределение может быть разным в разных частях мира – распределение цветов кожи в США отличается от стран Азии, например. Итак, мы оставляем этот вопрос нашему пользователю, и мы просто предоставляем инструмент для получения сбалансированного подмножества изображений.”

Команда ImageNet сейчас работает над техническими обновлениями своей аппаратуры и базы данных. Они также пытаются реализовать фильтрацию категорий людей и инструмент для балансировки, разработанный в этом исследовании. ImageNet должна быть выпущена с обновлениями, вместе с призывом к обратной связи от сообщества исследователей компьютерного зрения.

Статья также была написана в соавторстве с аспирантом Принстона Клинтом Кинами и ассистентом профессора компьютерных наук Джиа Денгом. Исследование было поддержано Национальным научным фондом.