Die ‘Rasseneinstufung’-Herausforderung für CLIP-basierte Bildsynthesesysteme

Neue Forschung aus den USA zeigt, dass eines der beliebten Computer-Vision-Modelle hinter der vielgelobten DALL-E-Serie sowie vielen anderen Bildgenerierungs- und Klassifizierungsmodellen eine nachweisbare Tendenz zur Hypodeszenz aufweist – die Rasseneinstufungsregel (auch bekannt als die ‘Ein-Tropfen-Regel’), die eine Person mit auch nur einem kleinen Anteil ‘gemischter’ (d. h. nicht-kaucasoider) genetischer Abstammung vollständig in eine ‘Minderheiten’-Rasseneinstufung einordnet.

Da die Hypodeszenz einige der schlimmsten Kapitel der Menschheitsgeschichte geprägt hat, schlagen die Autoren des neuen Papiers vor, dass solche Tendenzen in der Computer-Vision-Forschung und -Implementierung mehr Aufmerksamkeit verdienen, nicht zuletzt weil das unterstützende Framework, das fast eine Million Mal im Monat heruntergeladen wird, weitere rassistische Vorurteile in nachgelagerten Frameworks verbreiten und verbreiten könnte.

Die in der neuen Arbeit untersuchte Architektur ist Contrastive Language Image Pretraining (CLIP), ein multimodales maschinelles Lernmodell, das semantische Assoziationen durch Training auf Bild-/Bildunterschrift-Paaren aus dem Internet erlernt – ein semi-überwachter Ansatz, der die erheblichen Kosten der Kennzeichnung reduziert, aber wahrscheinlich den Vorurteil der Menschen widerspiegelt, die die Bildunterschriften erstellt haben.

Aus dem Papier:

‘Unsere Ergebnisse liefern Beweise für Hypodeszenz im CLIP-Embeddingspace, einen Vorurteil, der stärker auf Bilder von Frauen angewendet wird. Die Ergebnisse zeigen weiterhin, dass CLIP Bilder mit rassischen oder ethnischen Labels assoziiert, basierend auf der Abweichung von Weiß, wobei Weiß als Standard gilt.

Das Papier findet auch heraus, dass die Valenz-Assoziation eines Bildes (seine Tendenz, mit ‘gut’ oder ‘schlecht’ assoziiert zu werden) bei ‘Minderheiten’-Rasseneinstufungen höher ist als bei kaukasischen Labels, und legt nahe, dass CLIPs Vorurteile die US-zentrierte Korpusliteratur (englischsprachige Wikipedia) widerspiegeln, auf der das Framework trainiert wurde.

In einem Kommentar zu den Auswirkungen von CLIPs offensichtlicher Unterstützung der Hypodeszenz sagen die Autoren*:

‘[Zu] den ersten Anwendungen von CLIP gehörte die Ausbildung des Zero-Shot-Bildgenerierungsmodells DALL-E. Eine größere, nicht-öffentliche Version der CLIP-Architektur wurde für die Ausbildung von DALL-E 2 verwendet. Im Einklang mit den Ergebnissen der vorliegenden Forschung weist die Risiken- und Einschränkungen-Beschreibung in der DALL-E-2-Modellkarte hin, dass es “Bilder erzeugt, die Menschen überrepräsentieren, die als weiß durchgehen”.

‘Solche Anwendungen zeigen das Potenzial für die von CLIP erlernten Vorurteile, sich über den Embeddingspace des Modells hinaus zu verbreiten, da seine Merkmale verwendet werden, um die Bildung von Semantik in anderen State-of-the-Art-KI-Modellen zu leiten.

‘Darüber hinaus wurde aufgrund der Fortschritte, die durch CLIP und ähnliche Modelle für die Assoziation von Bildern und Texten im Zero-Shot-Szenario erzielt wurden, die multimodale Architektur als Grundlage für die Zukunft weit verbreiteter Internetanwendungen, einschließlich Suchmaschinen, beschrieben.

‘Unsere Ergebnisse zeigen, dass eine weitere Aufmerksamkeit für das erforderlich ist, was solche Modelle aus der natürlichen Sprachüberwachung lernen.’

Das Papier trägt den Titel Beweise für Hypodeszenz in visueller semantischer KI und stammt von drei Forschern der University of Washington und der Harvard University.

CLIP und schlechte Einflüsse

Obwohl die Forscher behaupten, dass ihre Arbeit die erste Analyse von Hypodeszenz in CLIP ist, haben vorherige Arbeiten gezeigt, dass der CLIP-Workflow, der von einem größtenteils unüberwachten Training aus unterkuratierten Web-Daten abhängt, Frauen unterrepräsentiert, anstößige Inhalte produzieren kann und semantische Vorurteile (wie anti-muslimische Vorurteile) in seinem Bild-Encoder aufweist.

Das ursprüngliche Papier, das CLIP vorstellte, räumte ein, dass CLIP in einem Zero-Shot-Szenario nur 58,3 % der Menschen mit dem weißen Rasseneinstufungslabel im FairFace-Dataset assoziiert. Da FairFace von Amazon Mechanical Turk-Arbeitern mit möglichen Vorurteilen beschriftet wurde, sagen die Autoren des neuen Papiers, dass ‘eine erhebliche Minderheit der Menschen, die von anderen Menschen als weiß wahrgenommen werden, von CLIP mit einer Rasseneinstufung assoziiert wird, die nicht weiß ist.’

Sie fahren fort:

‘Die Umkehrung scheint nicht zuzutreffen, da Individuen, die im FairFace-Datensatz als andere Rasseneinstufungen wahrgenommen werden, von CLIP mit diesen Labels assoziiert werden. Dieses Ergebnis legt die Möglichkeit nahe, dass CLIP die Regel der “Hypodeszenz” gelernt hat, wie sie von Sozialwissenschaftlern beschrieben wird: Individuen mit multirassischer Abstammung werden eher als zur Minderheiten- oder weniger begünstigten Elternteil gehörend wahrgenommen und eingestuft als zur gleichberechtigten Mehrheits- oder begünstigten Elternteil.

‘Mit anderen Worten: Das Kind eines schwarzen und eines weißen Elternteils wird eher als schwarz als weiß wahrgenommen; und das Kind eines asiatischen und eines weißen Elternteils wird eher als asiatisch als weiß wahrgenommen.’

Das Papier hat drei zentrale Ergebnisse: CLIP weist Hypodeszenz auf, indem es Menschen mit multirassischen Identitäten in die Minderheiten-Rasseneinstufung treibt, die für sie gilt; ‘Weiß ist die Standard-Rasseneinstufung in CLIP’, und konkurrierende Rasseneinstufungen werden durch ihre Abweichung von der weißen Kategorie definiert; und dass Valenz-Vorurteil (eine Assoziation mit ‘schlechten’ Konzepten) mit dem Ausmaß korreliert, in dem die Person in eine Minderheiten-Rasseneinstufung eingeteilt wird.

Methode und Daten

Um zu bestimmen, wie CLIP mit multirassischen Subjekten umgeht, verwendeten die Forscher eine vorher adoptierte Morphing-Technik, um die Rasseneinstufung von Bildern von Individuen zu ändern. Die Fotos wurden aus der Chicago Face Database entnommen, einem Satz, der für psychologische Studien mit Rasseneinstufungen entwickelt wurde.

Beispiele aus den rassisch-morphen CFD-Bildern, die im Zusatzmaterial des neuen Papiers vorgestellt werden. Quelle: https://arxiv.org/pdf/2205.10764.pdf

Die Forscher wählten nur Bilder mit ‘neutralen Ausdrücken’ aus dem Datensatz aus, um konsistent mit der vorherigen Arbeit zu bleiben. Sie verwendeten das Generative Adversarial Network StyleGAN2-ADA (trainiert auf FFHQ) zur Rassenumwandlung der Gesichtsbilder und erstellten Zwischenbilder, die den Übergang von einer Rasseneinstufung zu einer anderen zeigen (siehe Beispielbilder oben).

Im Einklang mit der vorherigen Arbeit morphierten die Forscher Gesichter von Menschen, die sich als schwarz, asiatisch und lateinamerikanisch bezeichneten, in Gesichter von Menschen, die sich als weiß bezeichneten. Neunzehn Zwischenstufen wurden im Prozess produziert. Insgesamt wurden 21.000 Bilder mit 1024×1024 Pixeln für das Projekt durch diese Methode erstellt.

Die Forscher erhielten dann eine projizierte Bild-Embedding für CLIP für jedes der 21 Bilder in jedem Rasseneinstufungs-Morph-Set. Danach baten sie um eine Beschriftung für jedes Bild von CLIP: ‘multirassisch’, ‘birassisch’, ‘Mischrasse’ und ‘Person’ (die letzte Beschriftung ohne Rasseneinstufung).

Die verwendete CLIP-Version war die CLIP-ViT-Base-Patch32-Implementierung. Die Autoren weisen darauf hin, dass dieses Modell im Monat vor der Niederschrift ihrer Forschung über eine Million Mal heruntergeladen wurde und 98 % der Downloads aller CLIP-Modelle aus der Transformers-Bibliothek ausmacht.

Tests

Um CLIPs mögliche Tendenz zur Hypodeszenz zu testen, notierten die Forscher die Rasseneinstufungs-Label, die CLIP jedem Bild in der Gradienten der morphierten Bilder für jedes Individuum zuwies.

Laut den Ergebnissen neigt CLIP dazu, Menschen in ‘Minderheiten’-Kategorien um den 50%-Übergang herum zu gruppieren.

Bei einem Mischungsverhältnis von 50 %, bei dem das Subjekt gleichzeitig Ursprungs-/Zierrasseneinstufung ist, assoziiert CLIP eine höhere Anzahl von 1000 morphierten weiblichen Bildern mit asiatischen (89,1 %), lateinamerikanischen (75,8 %) und schwarzen (69,7 %) Labels als mit einem äquivalenten weißen Label.

Die Ergebnisse zeigen, dass weibliche Subjekte eher zur Hypodeszenz unter CLIP neigen als Männer, obwohl die Autoren vermuten, dass dies daran liegen könnte, dass die webbasierten und unkuratierten Labels, die weibliche Bilder charakterisieren, den Ausdruck des Subjekts stärker betonen als im Falle von Männern, und dass dies einen Verzerrungseffekt haben könnte.

Die Hypodeszenz bei einem 50%-Rasseneinstufungs-Übergang wurde nicht bei der asiatisch-weißen männlichen oder lateinamerikanisch-weißen männlichen Morph-Serie beobachtet, während CLIP in 67,5 % der Fälle bei einem Mischungsverhältnis von 55 % eine höhere Kosinus-Ähnlichkeit mit dem schwarzen Label zuwies.

Die mittlere Kosinus-Ähnlichkeit der multirassischen, birassischen und Mischrasse-Labels. Die Ergebnisse zeigen, dass CLIP eine Art ‘Wasserscheide’-Kategorisierung bei verschiedenen Prozentsätzen der Rasseneinstufungsmischung betreibt, weniger oft eine solche Rasseneinstufungsmischung zu Weiß (‘Person’, in der Begründung der Experimente) zuweist als zur ethnischen Zugehörigkeit, die im Bild wahrgenommen wird.

Das ideale Ziel, so das Papier, wäre, dass CLIP die Zwischen-Rasseneinstufungen genau als ‘Mischrasse’ einstuft, anstatt einen ‘Umkehrpunkt’ zu definieren, an dem das Subjekt so häufig vollständig der nicht-weißen Rasseneinstufung zugewiesen wird.

Bis zu einem gewissen Grad weist CLIP die Zwischen-Morph-Schritte tatsächlich der Mischrasse zu (siehe Grafik oben), zeigt aber letztendlich eine mittlere Präferenz, Subjekte als ihre Minderheiten-Rasseneinstufung zu kategorisieren.

In Bezug auf die Valenz weisen die Autoren auf CLIPs verzerrtes Urteil hin:

‘[Mittlere] Valenz-Assoziation (Assoziation mit Unangenehmem vs. mit Angenehmem) variiert mit dem Mischungsverhältnis über die schwarze-weiße männliche Morph-Serie, sodass CLIP Assoziationen mit Unangenehmem für die Gesichter aufweist, die den CFD-Freiwilligen, die sich als schwarz bezeichnen, am ähnlichsten sind.’

Die Valenz-Ergebnisse – die Tests zeigen, dass Minderheiten-Gruppen stärker mit negativen Konzepten in der Bild-/Paar-Architektur assoziiert sind als weiße Subjekte. Die Autoren behaupten, dass die Unangenehmheits-Assoziation eines Bildes mit der Wahrscheinlichkeit zunimmt, dass das Modell das Bild mit dem schwarzen Label assoziiert.

Das Papier besagt:

‘Die Beweise zeigen, dass die Valenz eines Bildes mit der Rasseneinstufung korreliert. Konkret zeigen unsere Ergebnisse, dass die Valenz eines Bildes mit der Rasseneinstufung korreliert. Je sicherer das Modell ist, dass ein Bild einen schwarzen Einzelnen widerspiegelt, desto stärker ist das Bild mit dem unangenehmen Embeddingspace assoziiert.’

Jedoch zeigen die Ergebnisse auch eine negative Korrelation im Falle asiatischer Gesichter. Die Autoren schlagen vor, dass dies aufgrund der Weitergabe (durch die webbasierten Daten) positiver US-amerikanischer kultureller Wahrnehmungen von asiatischen Menschen und Gemeinschaften sein könnte. Die Autoren sagen*:

‘Die Beobachtung einer Korrelation zwischen Angenehmem und Wahrscheinlichkeit des asiatischen Text-Labels kann dem “Modell-Minderheiten”-Stereotyp entsprechen, bei dem Menschen asiatischer Abstammung für ihre Aufwärtsmobilität und Assimilation in die amerikanische Kultur gelobt werden und sogar mit “gutem Verhalten” assoziiert werden.’

In Bezug auf das endgültige Ziel, zu untersuchen, ob Weiß die ‘Standard-Identität’ aus CLIPs Sicht ist, zeigen die Ergebnisse eine eingebettete Polarität, die nahelegt, dass unter dieser Architektur es eher schwierig ist, ‘ein bisschen weiß’ zu sein.

Kosinus-Ähnlichkeit über 21.000 Bilder, die für die Tests erstellt wurden.

Die Autoren kommentieren:

‘Die Beweise zeigen, dass CLIP Weiß als Standard-Rasseneinstufung codiert. Dies wird durch die stärkeren Korrelationen zwischen Weiß-Kosinus-Ähnlichkeiten und Person-Kosinus-Ähnlichkeiten als für jede andere Rasseneinstufung oder ethnische Gruppe unterstützt.’

*Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am 24. Mai 2022.