Google Research bringt menschliche Abwägungen in subjektive KI-Klassifikatoren ein

Google Research stellte am 4. November 2026 Agile Deliberation vor, ein interaktives Framework zur Entwicklung von Bildklassifikatoren für subjektive Kategorien, zusammen mit Open-Source-Code und einer Notebook-Demo. In einer Nutzerstudie mit 18 Sitzungen berichteten die Forschenden von besseren Klassifikationsergebnissen und geringerem Aufwand als bei der manuellen Überarbeitung von Prompts.

Das Framework richtet sich an Kategorien, deren Grenzen von persönlichem Urteilsvermögen, kulturellem Kontext oder betrieblichen Richtlinien abhängen: gesunde Lebensmittel, inspirierende Kunstwerke und Clickbait-Bilder, die irreführende Belohnungen versprechen. Die zentrale Annahme lautet, dass Nutzerinnen und Nutzer ihre eigenen Entscheidungskriterien häufig erst beim Betrachten schwieriger Beispiele entdecken. Bei herkömmlichen Kennzeichnungsabläufen gelten diese Kriterien bereits vor Beginn der Annotation als festgelegt. Änderungen der Absichten zeigen sich dann in uneinheitlichen Labels oder willkürlichen Modellentscheidungen.

Agile Deliberation überführt die sich weiterentwickelnde Definition sowohl in eine für Menschen verständliche Spezifikation als auch in den Prompt, der einen Bild-Sprach-Modell-Klassifikator steuert. Das Design stützt sich auf Interviews mit fünf Expertinnen und Experten für die Inhaltsmoderation sowie auf eine qualitative Analyse von 20 Definitionen aus ihren beruflichen Arbeitsabläufen. Dabei zeigte sich, dass Fachleute Konzepte zunächst eingrenzen und sie anschließend anhand von Grenzfällen auf Bildern verfeinern.

Zwei Phasen der Konzeptabwägung

Bei der Eingrenzung eines Konzepts wird eine erste Idee in mögliche positive und negative Unterkonzepte aufgeteilt. Wer beispielsweise einen Klassifikator für gesunde Lebensmittel entwickelt, kann Salate und Getreideschalen einbeziehen und gleichzeitig verarbeitete Lebensmittel oder rohe, unverarbeitete Zutaten ausschließen. Repräsentative Bilder veranschaulichen jede Entscheidung. Unterkonzepte, die keine aussagekräftigen visuellen Muster beschreiben, können verworfen werden, bevor der erste Klassifikator erstellt wird.

Bei der anschließenden Weiterentwicklung des Konzepts wird gezielt nach Bildern gesucht, die semantisch Grenzfälle darstellen, statt einfach Fälle auszuwählen, bei denen die Modellkonfidenz nahe bei 0.5 liegt. Die Forschenden argumentieren, dass die Konfidenz von Bild-Sprach-Modellen schlecht auf menschliche Mehrdeutigkeit abgestimmt sein kann: Ein Modell kann sich bei einem Bild sicher sein, das ein Mensch schwierig findet. Abgerufene Beispiele werden dedupliziert und in Gruppen zusammengefasst. Dabei bevorzugt eine Regel nach dem Prinzip des Mehrarmigen Banditen Gruppen, die zuvor Fehler korrigiert oder hilfreiches Feedback geliefert haben.

Ein Schritt zur Ermittlung von Mehrdeutigkeiten ordnet eine Gruppe von Bildern nach einem einzigen verständlichen Aspekt, etwa cremigen Soßen, Zuckergehalt oder Portionsgröße, und erstellt eine kurze Erklärung für die Mehrdeutigkeit jedes Bildes. Nutzerinnen und Nutzer kennzeichnen Bilder als innerhalb oder außerhalb des Geltungsbereichs und können Begründungen in natürlicher Sprache hinzufügen. Das System erstellt alternative Definitionen, prüft sie anhand aller bis dahin gesammelten Labels, wählt den Kandidaten mit dem besten F1-Wert aus und ermöglicht manuelle Änderungen.

Der Prototyp verwendet Gemini 2.5 Pro für die Zerlegung und Gemini 2.5 Flash für die Klassifikation, die Erzeugung von Anfragen zu Grenzfällen und die Ermittlung von Mehrdeutigkeiten. Die Modelle wurden ohne zusätzliches Training oder Feinabstimmung eingesetzt. Die Benutzeroberfläche läuft in einem interaktiven Colab-Notebook.

Ergebnisse der Live-Studie

Neun Teilnehmende ohne berufliche Erfahrung in der Inhaltsmoderation absolvierten jeweils zwei Sitzungen von ungefähr 90 Minuten: eine mit Agile Deliberation und eine mit manueller Abwägung. Die Reihenfolge der Systeme wurde zufällig festgelegt. Die beiden getesteten Konzepte waren gesunde Lebensmittel und die Moderation von Pay-to-Play-Clickbait. Jede Sitzung umfasste etwa 45 Minuten Definitionsarbeit, die Annotation von 200 zurückgehaltenen Testbildern, eine Umfrage und ein 15-minütiges Interview. In den Vergleichen wurden außerdem die Zero-Shot-Klassifikation und Modeling Collaborator, eine automatische Methode zur Zerlegung von Konzepten, berücksichtigt. Teilnehmende der manuellen Gruppe konnten die detaillierten Prompts dieses Systems einsehen.

Der Artikel berichtet, dass Agile Deliberation den F1-Wert bei Pay-to-Play gegenüber der eigenen Zero-Shot-Baseline um 11 % verbesserte, während die manuelle Abwägung gegenüber ihrer eigenen Baseline um 8 % zulegte. Bei gesunden Lebensmitteln betrug die Veränderung bei Agile Deliberation eine Verbesserung um 10 % und bei der manuellen Abwägung einen Rückgang um 3 %. Die Zuwächse waren vor allem auf eine höhere Präzision zurückzuführen, die mit geringeren Einbußen beim Recall einherging. Die Genauigkeit wurde nicht herangezogen, weil die personalisierten Definitionen der Teilnehmenden zu unausgewogenen Verteilungen der Testlabels führten.

Alle Teilnehmenden bevorzugten Agile Deliberation gegenüber der manuellen Abwägung. Sie bewerteten den durchschnittlichen Aufwand bei Agile Deliberation mit 3.11 und bei der manuellen Arbeit mit 4.67. Die durchschnittlichen Bewertungen dafür, sich unsicher, gestresst oder verärgert zu fühlen, lagen bei 1.67 beziehungsweise 3.00. Beide Unterschiede wurden bei p<.05 als statistisch signifikant eingestuft. Die Interviews lieferten eine praktische Erklärung: Wer manuell arbeitete, musste selbst Suchanfragen finden, um Gegenbeispiele aufzuspüren. Einige befürchteten zudem, dass eine Prompt-Änderung, die einen Fehler behebt, das Verhalten an anderer Stelle verschlechtern könnte.

Grenzen der Studie und Verfügbarkeit des Codes

Auch die Evaluation hat klare Grenzen. Die Autorinnen und Autoren weisen darauf hin, dass die geringe Zahl von neun Teilnehmenden die statistische Aussagekraft und die Verallgemeinerbarkeit einschränkt. Außerdem verwendete jede Person die beiden Systeme für unterschiedliche Konzepte, um zu vermeiden, dass eine bereits erarbeitete Definition in die zweite Sitzung übertragen wurde. Die subjektive Erfahrung ließ sich daher innerhalb der Teilnehmenden vergleichen, die Klassifikatorleistung hingegen nur zwischen den Gruppen. In der Studie wurden weder einzelne Komponenten isoliert noch die vollständige Pipeline mit anderen generativen Modellen evaluiert.

Das Open-Source-Repository enthält die zugehörige Codebasis und den Datensatz sowie ein Demo.ipynb-Notebook mit einer Schritt-für-Schritt-Anleitung für Jupyter oder Google Colab. Die Demo erstellt einen Index für die Nächste-Nachbarn-Suche über LAION400M. Bei der Standardeinrichtung werden zur Überprüfung der Pipeline zwei Daten-Shards mit insgesamt etwa 260 MB heruntergeladen; die dokumentierte Einrichtung mit 100 Shards umfasst insgesamt etwa 13 GB. Die Suche, das Herunterladen externer Bilder und Modellaufrufe können Sekunden bis Minuten dauern; ein einzelner API-Schlüssel kann einer Ratenbegrenzung unterliegen, und mehrere Schritte unterstützen das Zwischenspeichern auf der Festplatte. Der Haftungsausschluss des Repositorys besagt, dass es sich nicht um ein offiziell von Google unterstütztes Produkt handelt.

Der praktische Beitrag von Agile Deliberation besteht darin, subjektive Absichten zu einem expliziten und überarbeitbaren Bestandteil der Entwicklung von Klassifikatoren zu machen. Nutzer können positive und negative Regeln prüfen, die Grenzfälle untersuchen, durch die Lücken sichtbar wurden, und Begründungen für Überarbeitungen angeben. Für Teams in den Bereichen Moderation und Kuratierung bedeutet das, dass die Kategoriendefinition und die menschlichen Urteile, die sie prägen, Teil des überprüfbaren Entwicklungsprozesses des Klassifikators sind.