Проблема «расовой категоризации» для систем синтеза изображений на основе CLIP

Новое исследование, проведенное в США, показало, что одна из популярных моделей компьютерного зрения, лежащих в основе знаменитой серии DALL-E, а также многие другие модели генерации и классификации изображений, демонстрируют доказуемую тенденцию к гипонисходящий – правило расовой категоризации (также известное как правило «одной капли»), который классифицирует человека даже с небольшой степенью «смешанного» (т.е. неевропейского) генетического происхождения полностью в расовую классификацию «меньшинства».

Поскольку гиподесценция имеет отличающийся некоторые из самых уродливых глав в истории человечества, авторы новой статьи предполагают, что таким тенденциям в исследованиях и внедрении компьютерного зрения следует уделить больше внимания, не в последнюю очередь потому, что рассматриваемая поддерживающая структура, загружаемая почти миллион раз в месяц, может и дальше распространяться. и пропагандировать расовые предубеждения в нижестоящих структурах.

Архитектура, изучаемая в новой работе, Предварительное обучение изображения контрастного языка (CLIP), мультимодальная модель машинного обучения, которая изучает семантические ассоциации путем обучения на парах изображение/подпись, взятых из Интернета – полуконтролируемый подход, который снижает значительную стоимость маркировки, но который, вероятно, отражает предвзятость людей, которые создал подписи.

Из статьи:

«Наши результаты свидетельствуют о гипонисхождении в пространстве встраивания CLIP, предвзятость в большей степени относится к изображениям женщин. Результаты также показывают, что CLIP связывает изображения с расовыми или этническими ярлыками на основе отклонения от белого, причем белый цвет используется по умолчанию.

В документе также обнаружено, что валентная ассоциация изображения (тенденция ассоциироваться с «хорошими» или «плохими» вещами заметно выше для расовых ярлыков «меньшинства», чем для кавказских ярлыков, и предполагает, что предубеждения CLIP отражают ориентированный на США корпус) литературы (англоязычная Википедия), на которой обучался фреймворк.

Комментируя последствия очевидной поддержки CLIP гиподесценции, авторы заявляют *:

«[Среди] первых применений CLIP было обучение модели генерации нулевого кадра. DALL-E. Более крупная закрытая версия архитектуры CLIP использовалась при обучении ДАЛЛ-Э 2. В соответствии с результатами настоящего исследования риски и ограничения, описанные в карточке модели DALL-E 2 в своих размышлениях что он «производит изображения, которые, как правило, преувеличивают людей, проходящих мимо белых».

«Такое использование демонстрирует возможность распространения предубеждений, изученных CLIP, за пределы пространства встраивания модели, поскольку его функции используются для управления формированием семантики в других современных моделях ИИ.

«Более того, отчасти благодаря достижениям, реализованным CLIP и аналогичными моделями для связывания изображений и текста в условиях нулевого выстрела, мультимодальные архитектуры были описано в качестве основы для будущих широко используемых интернет-приложений, включая поисковые системы.

«Наши результаты показывают, что дополнительное внимание к тому, что такие модели узнают из наблюдения за естественным языком, оправдано».

Ассоциация бумаги называется Доказательства гипосценции в визуально-семантическом ИИ, и исходит от трех исследователей из Вашингтонского и Гарвардского университетов.

CLIP и плохое влияние

Хотя исследователи утверждают, что их работа является первым анализом гипонисхождения в CLIP, предыдущие работы продемонстрировали, что рабочий процесс CLIP, зависящий в значительной степени от неконтролируемого обучения от недостаточно курируемый веб-данные, недопредставлены женщины, может производить оскорбительный контент, и может продемонстрировать семантическая предвзятость (например, антимусульманские настроения) в кодировщике изображений.

В исходной статье, в которой представлен CLIP, признается, что в условиях нулевого выстрела CLIP связывает только 58.3% людей с белым расовым ярлыком в мире. FairFace набор данных. Заметив, что работники Amazon Mechanical Turk назвали FairFace возможной предвзятостью, авторы новой статьи заявляют, что «значительное меньшинство людей, которых другие люди воспринимают как белых, связаны с расой, отличной от белой, согласно CLIP».

Они продолжают:

«Обратное не похоже на правду, поскольку люди, которые воспринимаются как принадлежащие к другим расовым или этническим ярлыкам в наборе данных FairFace, связаны с этими ярлыками CLIP. Этот результат предполагает возможность того, что CLIP усвоил правило «гиподесценции», описанное социологами: люди с многорасовым происхождением с большей вероятностью будут восприниматься и классифицироваться как принадлежащие к меньшинству или менее благополучной родительской группе, чем к столь же легитимному большинству. или привилегированная родительская группа.

«Другими словами, ребенок чернокожего и белого родителя воспринимается более черным, чем белым; а ребенок азиата и белого родителя воспринимается скорее азиатом, чем белым».

В документе есть три основных вывода: что CLIP свидетельствует о наследственности, «собирая» людей с многорасовой идентичностью в расовую категорию меньшинства, которая к ним применима; что «белый цвет является расой по умолчанию в CLIP», и что соревнующиеся расы определяются их «отклонением» от категории белых; и что смещение валентности (ассоциация с «плохими» понятиями) коррелирует в той мере, в какой человек относится к категории расового меньшинства.

Метод и данные

Чтобы определить, как CLIP относится к представителям разных рас, исследователи использовали ранее принятый Техника морфинга для изменения расы изображений людей. Фотографии были взяты из Чикагская база данных лиц, набор, разработанный для психологических исследований, связанных с расой.

Примеры расово измененных CFD-изображений, представленных в дополнительных материалах к новой статье. Систочник: https://arxiv.org/pdf/2205.10764.pdf

Исследователи выбрали из набора данных только изображения с «нейтральным выражением лица», чтобы соответствовать предыдущей работе. Они использовали генеративно-состязательную сеть СтильGAN2-ADA (тренировался на ФФШК), чтобы изменить расу изображений лица, и создали промежуточные изображения, демонстрирующие переход от одной расы к другой (см. Примеры изображений выше).

В соответствии с предыдущей работой исследователи трансформировали лица людей, идентифицировавших себя как чернокожих, азиатов и латиноамериканцев в наборе данных, в лица тех, кто назвал себя белыми. В процессе производится девятнадцать промежуточных стадий. Всего для проекта этим методом было создано 21,000 1024 изображений размером 1024xXNUMXpx.

Затем исследователи получили спроецированное встраивание изображений для CLIP для каждого из 21 изображения в каждом наборе расовых морфов. После этого они запросили ярлык для каждого изображения из CLIP: «многорасовый», «двухрасовый», «смешанная раса» и «человек» (последний ярлык без расы).

Использовалась версия CLIP CLIP-ViT-Base-Patch32 выполнение. Авторы отмечают, что эта модель была загружена более миллиона раз за месяц до написания своего исследования, и на ее долю приходится 98% загрузок любой модели CLIP с веб-сайта. Библиотека трансформаторов.

Tests

Чтобы проверить потенциальную склонность CLIP к гиподесценции, исследователи отметили метку расы, присвоенную CLIP каждому изображению в градиенте трансформированных изображений для каждого человека.

Согласно результатам, CLIP имеет тенденцию группировать людей в категории «меньшинства» примерно на отметке перехода 50%.

При коэффициенте смешивания 50%, когда субъект в равной степени относится к происхождению/целевой расе, CLIP связывает большее количество из 1000 трансформированных женских изображений с ярлыками азиатов (89.1%), латиноамериканцев (75.8%) и чернокожих (69.7%), чем с эквивалентным Белая этикетка.

Результаты показывают, что субъекты женского пола более склонны к гиподесценции при CLIP, чем мужчины, хотя авторы предполагают, что это может быть связано с тем, что ярлыки, полученные из Интернета и не курируемые, которые характеризуют женские изображения, имеют тенденцию подчеркивать внешний вид субъекта больше, чем в случае с мужчинами. и что это может иметь искажающий эффект.

Гиподесценция при 50% расовом переходе не наблюдалась для серий морфов азиатско-белого самца или латиноамериканца-белого самца, в то время как CLIP определил более высокое косинусное сходство с черной меткой в ​​67.5% случаев при соотношении смешивания 55%.

Среднее косинусное сходство меток многорасовых, двухрасовых и смешанных рас. Результаты показывают, что CLIP использует своего рода «водораздельную» категоризацию при различном процентном соотношении расового смешения, реже приписывая такое расовое смешение белым («человек» в обосновании экспериментов), чем этнической принадлежности, которая воспринималась в экспериментах. Изображение.

Идеальная цель, согласно статье, состоит в том, чтобы CLIP точно классифицировал промежуточные расовые смеси как «смешанную расу», вместо того, чтобы определять «переломный момент», в котором субъект так часто полностью попадает под небелую метку.

В определенной степени CLIP действительно присваивает промежуточные этапы морфинга смешанной расе (см. график выше), но в конечном итоге демонстрирует предпочтение среднего уровня, чтобы классифицировать субъектов как расу, вносящую вклад в их меньшинство.

Что касается валентности, авторы отмечают искаженное суждение CLIP:

[Средняя] валентная ассоциация (ассоциация с плохим или неприятным по сравнению с хорошим или приятным) варьируется в зависимости от соотношения смешивания в серии черно-белых мужских морфов, так что CLIP кодирует ассоциации с неприятными для лиц, наиболее похожих на лица добровольцев CFD, которые сами -идентифицировать как черный.'

Результаты валентности - тесты показывают, что группы меньшинств больше связаны с негативными концепциями в архитектуре изображения/пары, чем для субъектов с белой меткой. Авторы утверждают, что неприятная ассоциация изображения увеличивается с вероятностью того, что модель связывает изображение с черным ярлыком.

В документе говорится:

«Свидетельства указывают на то, что валентность образа коррелирует с расовой [ассоциацией]. Более конкретно, наши результаты показывают, что чем точнее модель в том, что изображение отражает чернокожего человека, тем больше оно ассоциируется с неприятным пространством для встраивания изображения».

Однако результаты также указывают на отрицательную корреляцию в случае азиатских лиц. Авторы предполагают, что это может быть связано с передачей (через данные из Интернета) положительного культурного восприятия США азиатских людей и сообществ. Авторы заявляют*:

Наблюдение за корреляцией между приятностью и вероятностью азиатского текстового ярлыка может соответствовать стереотипу «образцового меньшинства», в котором люди азиатского происхождения хвалятся за их восходящую мобильность и ассимиляцию в американской культуре, и даже ассоциируется с «хорошим поведением».'

Что касается конечной цели, чтобы проверить, является ли белый «идентичностью по умолчанию» с точки зрения CLIP, результаты указывают на встроенную полярность, предполагая, что в этой архитектуре довольно сложно быть «немного белым».

Косинусное сходство 21,000 XNUMX изображений, созданных для тестов.

Авторы комментируют:

«Доказательства указывают на то, что CLIP кодирует белых как расу по умолчанию. Это подтверждается более сильными корреляциями между косинусными сходствами белых и косинусными сходствами людей, чем для любой другой расовой или этнической группы».

* Мое преобразование встроенных цитат авторов в гиперссылки.

Впервые опубликовано 24 мая 2022 г.