Die Risiken von “Vibe”-basierten Bildannotationen

Obwohl sie nur ein paar Dollar (oder sogar nichts) verdienen, können die unbekannten Menschen, die Bilder für “schädliche” Inhalte bewerten, mit ihren Entscheidungen dein Leben verändern. Jetzt scheint ein neues Papier von Google zu suggerieren, dass diese Annotatoren ihre eigenen Regeln dafür erstellen, was “schädlich” oder anstößig ist – unabhängig davon, wie merkwürdig oder persönlich ihre Reaktionen auf ein bestimmtes Bild sein mögen. Was könnte schiefgehen?

Meinung Diese Woche brachte eine neue Zusammenarbeit zwischen Google Research und Google Mind nicht weniger als 13 Mitwirkende zusammen, um ein neues Papier zu erstellen, das erforscht, ob die “instinktiven Gefühle” von Bildannotatoren berücksichtigt werden sollten, wenn Menschen Bilder für Algorithmen bewerten, auch wenn ihre Reaktionen nicht mit etablierten Bewertungsstandards übereinstimmen.

Dies ist wichtig für dich, weil das, was Rater und Annotatoren als anstößig durch Konsens finden, tendenziell in automatisierte Zensur- und Moderationssysteme und in die Kriterien für “obszöne” oder “inakzeptable” Materialien, in Gesetzen wie dem neuen NSFW-Feuerwall* des Vereinigten Königreichs (eine Version davon kommt bald nach Australien), und in Inhaltsbewertungssystemen auf sozialen Medienplattformen und in anderen Umgebungen, aufgenommen wird.

Je breiter die Kriterien für Anstößigkeit sind, desto breiter ist das Potenzial für Zensur.

Vibe-Zensur

Das ist nicht der einzige Standpunkt, den das neue Papier hat; es findet auch heraus, dass Menschen, die Bilder bewerten, oft strenger sind, was sie denken, dass andere Menschen anstößig finden könnten; und dass Bilder mit schlechter Qualität oft Sicherheitsbedenken hervorrufen, obwohl die Bildqualität nichts mit dem Bildinhalt zu tun hat.

Am Ende des Papiers betont es diese beiden Ergebnisse, als ob die zentrale Position des Papiers fehlgeschlagen wäre, aber die Forscher verpflichtet waren, es dennoch zu veröffentlichen.

Obwohl das nicht ungewöhnlich ist, ergibt das Papier bei sorgfältiger Lektüre eine noch unheilvollere Unterströmung: dass Annotierungspraktiken möglicherweise das adoptieren könnten, was ich nur als Vibe-Annotieren beschreiben kann:

‘Unsere Ergebnisse deuten darauf hin, dass bestehende Rahmenbedingungen subjektive und kontextuelle Dimensionen wie emotionale Reaktionen, implizite Urteile und kulturelle Interpretationen von Schaden berücksichtigen müssen. Die häufige Verwendung emotionaler Sprache durch Annotatoren und ihre Abweichung von vordefinierten Schadenslabels heben Lücken in aktuellen Bewertungspraktiken hervor.

‘Die Erweiterung von Annotierungsrichtlinien, um illustrierte Beispiele von vielfältigen kulturellen und emotionalen Interpretationen zu umfassen, kann helfen, diese Lücken zu schließen.’

Das kaum illustrierte neue Papier beginnt mit Beispielen, die für den durchschnittlichen Leser unmissverständlich und sympathisch sind, obwohl das tatsächliche Kernmaterial viel mehr Fragen aufwirft. Hier sehen wir unter jedem Bild die emotionalen Reaktionen der Annotatoren für ihre jeweiligen Bilder. Quelle: https://arxiv.org/pdf/2507.16033

Zunächst klingt dies wie ein Vorschlag, das, was “Schaden” in einem Bild ausmacht, zu erweitern und besser zu quantifizieren – eine lobenswerte Verfolgung; aber das Papier wiederholt mehrmals, dass dies weder wünschenswert noch (notwendigerweise) machbar ist:

‘Unsere Ergebnisse deuten darauf hin, dass bestehende Rahmenbedingungen subjektive und kontextuelle Dimensionen wie emotionale Reaktionen, implizite Urteile und kulturelle Interpretationen von Schaden berücksichtigen müssen. Die häufige Verwendung emotionaler Sprache durch Annotatoren und ihre Abweichung von vordefinierten Schadenslabels heben Lücken in aktuellen Bewertungspraktiken hervor.

‘Die Erweiterung von Annotierungsrichtlinien, um illustrierte Beispiele von vielfältigen kulturellen und emotionalen Interpretationen zu umfassen, kann helfen, diese Lücken zu schließen […]

‘[…] Der Prozess, durch den Annotatoren über zweideutige Bilder nachdenken, spiegelt oft ihre persönlichen, kulturellen und emotionalen Perspektiven wider, die schwierig zu strukturieren oder zu standardisieren sind.’

Es ist schwierig zu sehen, wie ‘Die Erweiterung von Annotierungsrichtlinien, um illustrierte Beispiele von vielfältigen kulturellen und emotionalen Interpretationen zu umfassen’ in ein rationales Bewertungssystem passt; die Autoren kämpfen darum, diesen Punkt zu klären oder eine deutliche Theorie zu formulieren, indem sie das Material mehrmals angreifen, aber nie die Oberhand gewinnen. In dieser Hinsicht scheint ihre zentrale These selbst “vibe”-generiert, auch wenn sie mit nicht greifbaren Psychologien zu tun hat.

Offensichtlich scheint es mir, dass die Erweiterung der Annotierungs-Pipeline, um Kriterien dieser Art zu umfassen, potenziell die “Stornierung” oder Verwischung von jedem Material (oder einer Klasse von Themen) ermöglicht, auf das ein Annotator stark reagiert.

Binäres Urteil

Das Ausmaß, in dem Bilder und Texte Schaden verursachen können, ist tatsächlich schwierig zu quantifizieren, nicht zuletzt, weil Hochkultur oft mit “Nieder”-Kultur (z.B. mit Kunst und Romanen) überschneidet, was zu den frühesten “vibe”-basierten Zensurkriterien führt: dass sogar wenn anstößiges Material keine genaue Definition enthält, du es erkennst, wenn du es siehst.

Unter der ausführlichen und exploratorischen Diskussion des Papiers über Empathie und qualitative Nuancen scheint die Arbeit stillschweigend die Autorität der zentralisierten, standardisierten Taxonomien (“Gewalt”, “Nacktheit”, “Hass” usw.) anzugreifen, die es Plattformen ermöglichen, Moderation mit vertretbaren Fehlerraten zu implementieren und zu skalieren (in der Regel).

Das Argument, das sich herausbildet, ist, dass nur dezentralisierte, subjektive, kontextbewusste menschliche Rückmeldungen GenAI-Ausgaben ordnungsgemäß beurteilen können.

Es ist jedoch offensichtlich, dass dies nicht skalierbar ist, da man nicht einen trillionenfachen Filterprozess auf “Vibes” und Lebenserfahrung durchführen kann. Man muss Schaden in verschiedene Eigenschaften quantifizieren; die Reichweite des resultierenden Filtersystems begrenzen; und auf neue Richtlinien in “Rand”-Fällen warten (ähnlich wie von verletzten Parteien manchmal auf die Verabschiedung neuer Gesetze gewartet werden muss, die ihre besonderen Umstände ansprechen).

Stattdessen präsentiert das neue Papier eine stillschweigende Richtlinie für eine automatisierte Moderations-Pipeline, die ihre Reichweite automatisch erweitert und so sehr auf der Seite der Vorsicht ist, dass sogar die spezifischste und nicht replizierbare Reaktion eines Annotators ein Bild bestrafen könnte, das niemanden anderen beleidigt hat.

Moralische Expansion

Obwohl das Papier eher zur Erforschung als zur Einnahme einer festen Haltung tendiert, enthält es Elemente der wissenschaftlichen Methode: die Autoren entwickelten einen Rahmen, um ein breiteres Spektrum von Annotator-Reaktionen auf Bilder zu identifizieren (wenn auch nicht streng zu messen) und zu untersuchen, wie diese Reaktionen über Geschlecht und andere demografische Faktoren variieren.

Neben der Analyse der Schadenfokussierung^† analysierte der Prozess die “moralische Argumentation” in den Nebenkommentaren der Testteilnehmer, die aufgefordert wurden, ein modifiziertes Testdatenset mit Bildern und assoziierten Texten zu annotieren.

Dieser “moralische Sentiment-Autorater” wurde entwickelt, um die moralischen Werte Sorge, Gleichheit, Verhältnismäßigkeit, Loyalität, Autorität und Reinheit zu erfassen, wie in der Moral Foundations Theory definiert – einer psychologischen Theorie, die aufgrund ihrer flüssigen und sich entwickelnden Natur der Schaffung von konkreten Definitionen, die für große menschliche Bewertungssysteme erforderlich sind, entgegengesetzt ist.

Informiert durch diese Theorie, kategorisierten die Autoren zusätzliche Dimensionen der Sicherheit, einschließlich Angst, Zorn, Traurigkeit, Ekel, Verwirrung und Unheimlichkeit.

Die Autoren erläutern die erste davon, Angst:

‘Viele Annotatoren verwendeten Begriffe wie “erschreckend” (z.B. für verzerrte Gesichter oder Bilder, die Gewalt suggerieren, wie ein auf ein Kind gerichteter Revolver), “beunruhigend” (z.B. “Absolut ekelhaft, jemanden überfahren zu sehen, sehr beunruhigend und beunruhigend” oder “Beunruhigend und sieht aus wie Blut” für rohe Farbe) oder “beunruhigend” (z.B. “Das Bild des Jungen hat viele Verzerrungen… Ich finde es unangenehm, weil es scheint, dass der Junge auf der falschen Seite der Seitenräder spielt”).

‘Die [Graphik unten] quantifiziert “Angst” als die am häufigsten erwähnte Emotion (233 Erwähnungen, während fast die Hälfte dieser Erwähnungen mit gewaltsamem Inhalt assoziiert ist, der Inhalt, der als nicht schädlich angesehen wird, auch die zweithöchste Erwähnung von Angst hervorruft).’

Verteilung von emotionsbezogenen Begriffen über Schadenskategorien, wobei die Höhe der Balken die Anteile der Kommentare anzeigt, die Zählungen in den Balken angezeigt werden und die Gesamtkommentarzahlen über jeder Kategorie angezeigt werden.

In Bezug auf die Aufnahme dieser neuen Sicherheitsdimensionen erklären die Autoren:

‘Diese aufkommenden Themen heben eine kritische Notwendigkeit hervor, AI-Bildbewertungsframeworks durch die Integration subjektiver, emotionaler und wahrnehmungsbezogener Elemente zu bereichern.’

Dies kann ein gefährlicher Weg sein, da es den Annotierungsprozessen zu ermöglichen scheint, willkürlich Regeln auf der Grundlage von Reaktionen hinzuzufügen, die Material bei einem einzelnen Annotator hervorrufen könnte, anstatt zu verlangen, dass alle Annotatoren etablierten Standards und Benchmarks folgen.

Wenn man diesem Gedanken einen wirtschaftlichen Imperativ zuweisen könnte, ist es, dass dieser Ansatz es ermöglicht, hyperskalierbare menschliche Annotierung, bei der der Prozess reibungslos ist, die Teilnehmer selbst regulieren und selbst entscheiden, was die Regeln und Grenzen sind.

Unter Standard-Annotierung werden Regeln durch menschliche Übereinstimmung erstellt und von menschlichen Annotatoren befolgt; unter dem im Papier vorgestellten Szenario wird diese erste Ebene der Aufsicht entweder entfernt oder herabgestuft: effektiv würde jedes Bild, das jemanden beleidigen könnte, markiert werden (nicht zuletzt, weil Übereinstimmung teuer und zeitaufwändig ist).

Rorschach-Urteile

Die Absicht der Annotierung ist es, durch Expertenaufsicht, allgemeine Übereinstimmung unter mehreren Annotatoren oder (idealerweise) beides eine genaue Beschreibung oder Definition zu erhalten. Stattdessen ist die Erweiterung einer begrenzten, aber gut definierten Hierarchie von Schäden in eine “intuitive” und sehr persönliche interpretative Haltung äquivalent zur Annotierung eines Rorschach-Tests.

Zum Beispiel interpretierten einige Annotatoren, wie das Papier feststellt, eine schlechte Bildqualität (wie JPEG-Artefakte sowie sinnlose technische Mängel in einem Bild) als ‘beunruhigend’ oder ‘hinweisend auf Schaden’:

‘Dies geschah, obwohl die Aufgabe Anweisungen zur Bildqualität ausließ. Darüber hinaus interpretierten Annotatoren diese Qualitätsartefakte als semantisch bedeutsam.

‘Ein Annotator kommentierte: “Das Bild ist nicht schädlich; er hat nur ein bisschen ein verzerrtes Gesicht.” Gleichzeitig interpretierten einige Annotatoren Bildqualitätsartefakte als absichtlichen Schaden und attribuierten emotionale Bedeutung zu Fehlern. Zum Beispiel interpretierte ein anderer Annotator ein verzerrtes Gesicht in einem anderen Bild als “hinweisend auf Schmerz”’

Durch die Erhebung subjektiver, emotionaler oder kontextspezifischer Reaktionen über vordefinierte Sicherheitskategorien hinaus öffnen die hier präsentierten Ideen die Tür zu einem Regime, in dem alles willkürlich als schädlich markiert werden kann und in dem ein “chilling effect” von ad-hoc-Entfernungen oder negativer Neukategorisierung von Material (d.h. Material, das eine spezielle Interessengruppe “beleidigen” könnte) zu einer realen Aussicht wird.

Das Papier “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives ist verfügbar auf Arxiv.

* Ein Shortcut, da es nicht das zentrale Thema hier ist; unter der neuen Gesetzgebung sollen anstößige Seiten entweder selbst überwachen; komplexe und teure Überprüfungssysteme und Altersverifizierungstechnologien einsetzen, die nur für die größten Seiten erschwinglich sind; oder ihre Domains für das britische Publikum blockieren (erneut auf eigene Kosten).

† Einfach ausgedrückt im “denk an die Kinder”-Meme, das die Aneignung der moralischen Agency einer anderen Person für scheinbar altruistische Zwecke satirisiert.

Erstveröffentlicht am Freitag, den 25. Juli 2025