CLIPベースの画像合成システムにおける「人種分類」の課題

米国での新しい研究によると、非常に高く評価されている DALL-E シリーズや他の多くの画像生成および分類モデルの背後にある人気のあるコンピューター ビジョン モデルの 1 つが、次のような明らかな傾向を示していることがわかりました。 低降下 – レース分類ルール (レース分類ルールとも呼ばれます) 「ワンドロップ」ルール）これは、たとえわずかでも「混合」（つまり、白人以外）の遺伝的系統を持つ人を完全に「少数派」の人種分類に分類します。

低降下症があるため、 特徴付けられた 人類の歴史の中で最も醜い章のいくつかについて、新しい論文の著者らは、コンピュータビジョンの研究と実装におけるそのような傾向はもっと注目されるべきだと示唆している。とりわけ、問題のサポートフレームワークは月に約XNUMX万回ダウンロードされており、さらに広まる可能性があるためである。そして下流の枠組みで人種的偏見を広めます。

新作で研究されているアーキテクチャは、 対照言語イメージの事前トレーニング (CLIP) は、インターネットから取得した画像とキャプションのペアでトレーニングすることで意味の関連性を学習するマルチモーダル機械学習モデルです。これは、ラベル付けのコストを大幅に削減する半教師ありアプローチですが、ユーザーの偏見を反映している可能性があります。キャプションを作成しました。

論文から：

「私たちの結果は、CLIP 埋め込み空間における低降下性、つまり女性の画像により強く適用されるバイアスの証拠を提供します。 結果はさらに、CLIP が白をデフォルトとして、白からの偏差に基づいて画像を人種または民族のラベルに関連付けることを示しています。

この論文はまた、画像の価度の関連性（「良い」または「悪い」ものと関連付けられる傾向があり、白人ラベルよりも「少数派」の人種ラベルの方が顕著に高い）を発見し、CLIPのバイアスが米国中心のコーパスを反映していることを示唆していますフレームワークのトレーニングに基づいた文献 (英語版 Wikipedia)。

CLIP が明らかに下降下を支持していることの意味について、著者らは次のように述べています*。

「CLIP の最初の用途は、ゼロショット画像生成モデルをトレーニングすることでした」 DALL-E。 CLIP アーキテクチャのより大きな非公開バージョンがトレーニングに使用されました。 DALL-E2。 現在の研究結果と一致して、DALL-E 2 モデル カードに記載されているリスクと制限事項 注意 それは「白人通過者を過剰に表現する傾向のあるイメージを生み出す」と述べた。

「このような使用法は、CLIP の機能が他の最先端の AI モデルにおけるセマンティクスの形成をガイドするために使用されるため、CLIP によって学習されたバイアスがモデルの埋め込み空間を超えて広がる可能性を示しています。」

さらに、CLIP や、ゼロショット設定で画像とテキストを関連付ける同様のモデルによって実現された進歩のおかげで、マルチモーダル アーキテクチャが実現されました。 記載された 検索エンジンなど、広く使用されているインターネット アプリケーションの将来の基盤として。

「私たちの結果は、そのようなモデルが自然言語監視から何を学習するかについてさらに注意を払う必要があることを示しています。」

　 紙 というタイトルです ビジュアルセマンティック AI における低調性の証拠、ワシントン大学とハーバード大学のXNUMX人の研究者によるものです。

CLIPと悪影響

研究者らは、自分たちの研究が CLIP における低降下の最初の解析であると証明していますが、これまでの研究では、CLIP ワークフローが主に教師なしトレーニングに依存していることが実証されています。 厳選されていない ウェブ由来のデータ、 女性の割合が過小評価されている、生産できます 不快なコンテンツ、そして実証することができます 意味バイアス （反イスラム感情など）画像エンコーダに含まれています。

CLIP を紹介した元の論文は、ゼロショット設定では、CLIP が白人人種のレッテルをもつ人々を 58.3% だけと関連付けていることを認めました。 フェアフェイス データセット。 Amazon Mechanical Turkの従業員によってFairFaceが偏見の可能性があるとレッテルを貼られたことを観察し、新しい論文の著者らは、「他の人間から白人だと認識されているかなりの少数の人々は、CLIPによって白人以外の人種と関連付けられている」と述べている。

彼らは続けます：

「FairFace データセット内の他の人種または民族ラベルに属していると認識されている個人は、CLIP によってそれらのラベルに関連付けられるため、逆は真実ではないようです。」 この結果は、CLIP が社会科学者によって説明されている「低降下性」の法則を学習した可能性を示唆しています。つまり、多人種の祖先を持つ個人は、同様に正当な多数派よりも少数派または恵まれない親グループに属すると認識され、分類される可能性が高くなります。または有利な親グループ。

「言い換えれば、黒人と白人の親から生まれた子供は、白人よりも黒人であると認識されます。 そして、アジア人と白人の親の間に生まれた子供は、白人よりもアジア人であると認識されます。」

この論文にはXNUMXつの中心的な発見がある。CLIPは、多人種的アイデンティティを持つ人々を、その人たちに当てはまる少数派の寄与人種カテゴリーに「群集」させることによって、下位降下を証明するというものだ。 「CLIP では白人がデフォルトの人種である」こと、および競合する人種は白人のカテゴリーからの「逸脱」によって定義されること。 そしてそれ 価数バイアス （「悪い」概念との関連）は、個人が人種的少数派に分類される程度と相関します。

手法とデータ

CLIP が多人種の被験者をどのように扱うかを決定するために、研究者らは 以前に採用された 個人のイメージの人種を変えるモーフィング技術。 写真はから撮影されました。 シカゴの顔データベース、人種に関する心理学研究のために開発されたセット。

新しい論文の補足資料に掲載されている、人種的にモーフィングされた CFD 画像の例。 Sソース: https://arxiv.org/pdf/2205.10764.pdf

研究者らは、以前の研究との一貫性を保つために、データセットから「中立的な表現」画像のみを選択しました。 彼らは敵対的生成ネットワークを使用しました スタイルGAN2-ADA (訓練された FF本社）顔画像の人種変更を実現し、ある人種から別の人種への進行を示すインタースティシャル画像を作成しました（上記の画像例を参照）。

前回の研究と同様に、研究者らはデータセット内で黒人、アジア人、ラテン系と自認する人々の顔を、自分を白人であるとラベル付けした人々の顔に変形させた。 このプロセスでは 21,000 の中間段階が生成されます。 この方法により、プロジェクト用に合計 1024 枚の 1024xXNUMXpx の画像が作成されました。

次に、研究者らは、各人種モーフセットの合計 21 個の画像のそれぞれについて、CLIP 用に投影された画像埋め込みを取得しました。 その後、CLIP から各画像のラベル「多人種」、「異人種」、「混血」、「人物」を募集しました (最終的なラベルは人種を省略しました)。

使用したCLIPのバージョンは CLIP-ViT-Base-Patch32 実装。 著者らは、このモデルが研究をまとめる前の 98 か月間で XNUMX 万回以上ダウンロードされ、CLIP モデルのダウンロードの XNUMX% を占めていることに注目しています。 Transformersライブラリ.

テスト

CLIP の潜在的な降下傾向をテストするために、研究者らは、各個人のモーフィング画像の勾配内の各画像に CLIP によって割り当てられた人種ラベルに注目しました。

調査結果によると、CLIP は移行マークの 50% 付近で人々を「少数派」のカテゴリーに分類する傾向があります。

混合比 50% (被写体の出身地とターゲットの人種が等しい) では、CLIP は、同等のラベルよりも多くの 1000 枚のモーフィング女性画像をアジア人 (89.1%)、ラテン系 (75.8%)、黒人 (69.7%) のラベルに関連付けます。白いラベル。

結果は、女性の被験者は男性よりもCLIP下で低降下を起こしやすいことを示しているが、著者らはこれは女性画像を特徴づけるウェブ由来の未キュレーションのラベルが男性の場合よりも被験者の外見を強調する傾向があるためではないかと仮説を立てている。そして、これが歪みの影響を与える可能性があるということです。

アジア系白人男性またはラテン系白人男性の形態シリーズでは、50％の人種移行における低降下性は観察されませんでしたが、CLIPは、67.5％の混合比で55％のケースで黒人ラベルに対してより高いコサイン類似性を割り当てました。

多人種、異人種、混血ラベルの平均コサイン類似度。 結果は、CLIPが人種混合のさまざまな割合で一種の「分水界」分類を行っており、そのような人種混合を白人（実験の理論的根拠では「人」）に割り当てることは、これまで認識されてきた民族性に割り当てることよりも少ないことを示しています。画像。

同論文によれば、理想的な目的は、対象が完全に非白人ラベルに委ねられることが多い「転換点」を定義するのではなく、CLIPが中間の人種混合を正確に「混血」として分類することだという。

ある程度まで、CLIP は中間のモーフ ステップを混合人種に割り当てますが (上のグラフを参照)、最終的には被験者を少数派の貢献人種として分類する中程度の優先度を示します。

価数の観点から、著者らはCLIPの誤った判断を指摘している:

「[平均]価度関連（悪いまたは不快との関連対良いまたは快適との関連）は、白黒男性モーフシリーズの混合比によって変化します。そのため、CLIPは、自己のCFDボランティアに最も類似した顔の不快感との関連をエンコードします」 -黒人であると認識します。

価数の結果 - テストでは、白​​人ラベルの被験者よりも少数派グループが画像/ペアのアーキテクチャにおける否定的な概念とより関連していることが示されています。 著者らは、モデルが画像を黒人ラベルと関連付けている可能性が高いほど、画像の不快感の関連性が高まると主張しています。

論文は次のように述べています。

「証拠は、イメージの価数が人種[関連付け]と相関していることを示しています。 より具体的に言えば、私たちの結果は、画像が黒人を反映しているというモデルがより確実であるほど、その画像は不快な埋め込み空間とより関連していることを示しています。

ただし、この結果は、アジア人の顔の場合には負の相関があることも示しています。 著者らは、これはアジアの人々やコミュニティに対する米国の肯定的な文化的認識が（ウェブソースのデータを介して）通過したためである可能性があると示唆しています。 著者は次のように述べています*。

「アジア人のテキストラベルの心地よさと確率との相関関係を観察することは、アジア系の人々がその上昇志向とアメリカ文化への同化で称賛されるという「模範的少数派」のステレオタイプに対応する可能性がある。 「良い行動」につながる.'

CLIP の観点から白が「デフォルトのアイデンティティ」であるかどうかを調べるという最後の目的に関して、結果は埋め込まれた極性を示しており、このアーキテクチャの下では「少し白」であることがかなり難しいことを示唆しています。

テスト用に作成された 21,000 枚の画像にわたるコサイン類似度。

著者らは次のようにコメントしています。

「証拠は、CLIP が白をデフォルトの人種としてエンコードしていることを示しています。 これは、他の人種や民族グループよりも、ホワイト コサインの類似性とパーソン コサインの類似性との間の強い相関関係によって裏付けられています。

*著者のインライン引用をハイパーリンクに変換しました。

初版は24年2022月XNUMX日。