Вызов ‘Расовой Категоризации’ для Систем Синтеза Изображений на основе CLIP

Новые исследования из США показывают, что одна из популярных моделей компьютерного зрения, стоящая за знаменитой серией DALL-E, а также многие другие модели генерации и классификации изображений, демонстрируют доказуемую тенденцию к гиподесценции – правилу расовой категоризации (также известному как правило “одной капли”), которое категоризирует человека с даже небольшим количеством “смешанной” (т.е. не-каucasoidной) генетической линии целиком в “меньшинственную” расовую категорию.

Поскольку гиподесценция характеризовала некоторые из самых темных глав в истории человечества, авторы новой статьи предлагают, что такие тенденции в исследованиях и реализации компьютерного зрения должны получить больше внимания, не в последнюю очередь потому, что поддерживающая структура в вопросе, скачанная почти миллион раз в месяц, могла бы дальнейшим образом распространять и поддерживать расовую предвзятость в последующих структурах.

Архитектура, изучаемая в новой работе, – это Contrastive Language Image Pretraining (CLIP), многомодальная модель машинного обучения, которая учится семантическим ассоциациям путем обучения на парах изображений и подписей, взятых из интернета – полусупervised подход, который снижает значительную стоимость маркировки, но который, вероятно, отражает предвзятость людей, создавших подписи.

Из статьи:

‘Наши результаты предоставляют доказательства гиподесценции в пространстве CLIP, предвзятости, применяемой более сильно к изображениям женщин. Результаты进一步 указывают на то, что CLIP ассоциирует изображения с расовыми или этническими метками на основе отклонения от белого, с белым как дефолтом.

Статья также находит, что валентная ассоциация изображения (его тенденция быть ассоциированным с “хорошими” или “плохими” вещами) заметно выше для “меньшинственных” расовых меток, чем для каucasoidных меток, и предполагает, что предвзятости CLIP отражают US-центричный корпус литературы (английский язык Wikipedia) на котором была обучена структура.

Комментируя последствия очевидной поддержки гиподесценции CLIP, авторы заявляют*:

‘Среди первых использований CLIP было обучение модели нулевого выстрела DALL-E. Более крупная, не публичная версия архитектуры CLIP была использована в обучении DALL-E 2. Согласно результатам настоящего исследования, раздел рисков и ограничений, описанный в карте модели DALL-E 2, заметил, что она “производит изображения, которые склонны переоценивать людей, которые прошли белую обработку”.

‘Такие использования демонстрируют потенциал для предвзятостей, выученных CLIP, распространиться за пределы пространства модели, поскольку ее функции используются для руководства формированием семантики в других передовых моделях ИИ.

‘Более того, благодаря в частности достижениям, реализованным CLIP и подобными моделями для ассоциации изображений и текста в нулевом выстреле, многомодальные архитектуры были описаны как основа для будущего широко используемых интернет-приложений, включая поисковые системы.

‘Наши результаты указывают на то, что дополнительное внимание к тому, что такие модели учатся из естественного языкового надзора, оправдано.’

Статья называется Доказательства гиподесценции в визуальной семантической ИИ, и исходит от трех исследователей из Университета Вашингтона и Гарвардского университета.

CLIP и плохие влияния

Хотя исследователи утверждают, что их работа является первым анализом гиподесценции в CLIP, предыдущие работы продемонстрировали, что рабочий процесс CLIP, зависящий от в основном несупervised обучения из недо-кураторских веб-деривированных данных, недо-представляет женщин, может производить оскорбительное содержание, и может демонстрировать семантическую предвзятость (такую как анти-мусульманское настроение) в своем изображении кодировщика.

Оригинальная статья, представившая CLIP, признала, что в нулевом выстреле CLIP ассоциирует только 58,3% людей с белой расовой меткой в FairFace наборе данных. Наблюдая, что FairFace была помечена возможной предвзятостью работниками Amazon Mechanical Turk, авторы новой статьи заявляют, что ‘заметная меньшинство людей, которые воспринимаются другими людьми как белые, ассоциируются с расовой меткой, отличной от белой, CLIP.’

Они продолжают:

‘Обратное, кажется, не является истинным, поскольку люди, которые воспринимаются как принадлежащие к другим расовым или этническим меткам в наборе данных FairFace, ассоциируются с этими метками CLIP. Этот результат предполагает возможность того, что CLIP выучил правило “гиподесценции”, как описано социальными учеными: люди с многорасовой наследственностью более вероятно воспринимаются и категоризируются как принадлежащие к меньшинству или менее привилегированной родительской группе, чем к равно легитимной большинству или привилегированной родительской группе.

‘Иными словами, ребенок черного и белого родителя воспринимается как более черный, чем белый; и ребенок азиатского и белого родителя воспринимается как более азиатский, чем белый.’

Статья имеет три центральных вывода: что CLIP демонстрирует гиподесценцию, ‘пастбищем’ людей с многорасовыми идентичностями в меньшинственную вкладывающую расовую категорию, которая применяется к ним; что ‘белый является дефолтной расой в CLIP’, и что конкурирующие расы определяются их ‘отклонением’ от белой категории; и что валентная предвзятость (ассоциация с ‘плохими’ понятиями) коррелирует с тем, насколько человек категоризируется в расовое меньшинство.

Метод и данные

Чтобы определить, как CLIP обращается с многорасовыми субъектами, исследователи использовали ранее принятую морфную технику для изменения расы изображений людей. Фотографии были взяты из Chicago Face Database, набора, разработанного для психологических исследований, связанных с расой.

Примеры из расово-морфированных изображений CFD, представленных в дополнительном материале новой статьи. Source: https://arxiv.org/pdf/2205.10764.pdf

Исследователи выбрали только изображения с ‘нейтральным выражением’ из набора данных, чтобы остаться последовательными с предыдущей работой. Они использовали сеть Generative Adversarial Network StyleGAN2-ADA (обученную на FFHQ) для изменения расы лиц, и создали промежуточные изображения, демонстрирующие прогресс от одной расы к другой (см. примеры изображений выше).

Согласно предыдущей работе, исследователи морфировали лица людей, которые само-идентифицировались как черные, азиаты и латиноамериканцы в наборе данных в лица тех, кто самолейблировался как белые. Девятнадцать промежуточных стадий были произведены в процессе. Всего было создано 21 000 изображений 1024x1024px для проекта этим методом.

Исследователи затем получили проецированное изображение вложения для CLIP для каждого из 21 изображения в каждом расовом морфном наборе. После этого они запросили метку для каждого изображения от CLIP: ‘мультирасовый’, ‘бирасовый’, ‘смешанная раса’, и ‘человек’ (последняя метка, исключающая расу).

Использованная версия CLIP была реализацией CLIP-ViT-Base-Patch32. Авторы отмечают, что эта модель была скачана более миллиона раз в месяц, предшествующий написанию их исследования, и составляет 98% скачиваний любой модели CLIP из Transformers библиотеки.

Тесты

Чтобы протестировать потенциальную тенденцию CLIP к гиподесценции, исследователи отметили расовую метку, присвоенную CLIP каждому изображению в градиенте морфированных изображений для каждого человека.

Согласно результатам, CLIP склоняется к группировке людей в ‘меньшинственные’ категории примерно на 50% переходном этапе.

На 50% смешивании, где субъект равен исходной/целевой расе, CLIP ассоциирует более высокое количество из 1000 морфированных женских изображений с азиатскими (89,1%), латиноамериканскими (75,8%) и черными (69,7%) метками, чем с эквивалентной белой меткой.

Результаты показывают, что женские субъекты более склонны к гиподесценции под CLIP, чем мужчины, хотя авторы гипотезируют, что это может быть потому, что веб-деривированные и некураторские метки, характеризующие женские изображения, более подчеркивают внешность субъекта, чем в случае мужчин, и что это может иметь искажающий эффект.

Гиподесценция на 50% расового перехода не наблюдалась для азиатско-белой мужской или латиноамериканской-белой мужской морфной серии, в то время как CLIP присвоил более высокую косинусную подобие черной метке в 67,5% случаев на 55% смешивании.

Средняя косинусная подобие мультирасовых, бирасовых и смешанных расовых меток. Результаты указывают на то, что CLIP работает своего рода ‘водораздел’ категоризацию на различных процентах расового смешивания, реже присваивая такое расовое смешивание белому (‘человеку’, в рационе экспериментов), чем этнической принадлежности, воспринимаемой в изображении.

Идеальный объект, согласно статье, заключается в том, что CLIP должен категоризировать промежуточные расовые смешивания точно как ‘смешанную расу’, вместо определения ‘точки перехода’, на которой субъект так часто присваивается целиком в не-белую метку.

В некоторой степени CLIP присваивает промежуточные морфные шаги смешанной расы (см. график выше), но в конечном итоге демонстрирует среднюю предпочтение категоризировать субъекты как их меньшинственную вкладывающую расу.

В отношении валентности авторы отмечают искаженное суждение CLIP:

‘[Средняя] валентная ассоциация (ассоциация с неприятными или плохими понятиями vs. с хорошими или приятными) варьируется с коэффициентом смешивания по черно-белой мужской морфной серии, так что CLIP кодирует ассоциации с неприятностью для лиц, наиболее похожих на CFD волонтеров, которые само-идентифицируются как черные.’

Результаты валентности – тесты показывают, что меньшинственные группы более ассоциируются с негативными понятиями в архитектуре изображения/пары, чем белые метки субъектов. Авторы утверждают, что неприятная ассоциация изображения увеличивается с вероятностью того, что модель ассоциирует изображение с черной меткой.

Статья гласит:

‘Доказательства указывают на то, что валентность изображения коррелирует с расовой [ассоциацией]. Более конкретно, наши результаты указывают на то, что чем более модель уверена, что изображение отражает черного человека, тем более ассоциируется изображение с неприятным вложением пространства.’

Однако результаты также указывают на отрицательную корреляцию в случае азиатских лиц. Авторы предполагают, что это может быть связано с проходом (через веб-источники) положительных культурных восприятий азиатских людей и сообществ. Авторы заявляют*:

‘Наблюдение за корреляцией между приятностью и вероятностью азиатской текстовой метки может соответствовать стереотипу “модели меньшинства”, когда люди азиатского происхождения хвалятся за их восходящую мобильность и ассимиляцию в американскую культуру, и даже ассоциируются с “хорошим поведением”.’

В отношении окончательной цели, чтобы изучить, является ли белый ‘дефолтной идентичностью’ с точки зрения CLIP, результаты указывают на встроенную полярность, предполагая, что под этой архитектурой довольно сложно быть ‘немного белым’.

Косинусная подобие на 21 000 изображениях, созданных для тестов.

Авторы комментируют:

‘Доказательства указывают на то, что CLIP кодирует белый как дефолтную расу. Это подтверждается более сильными корреляциями между белыми косинусными подобиями и метками человека, чем для любой другой расовой или этнической группы.’

*Мое преобразование авторских внутренних цитат в гиперссылки.

Опубликовано впервые 24 мая 2022 года.