Adobe und Meta kritisieren den Missbrauch von Benutzerstudien in der Computer-Vision-Forschung

Adobe und Meta, zusammen mit der University of Washington, haben eine umfassende Kritik an dem, was sie als den zunehmenden Missbrauch und die Ausbeutung von Benutzerstudien in der Computer-Vision-Forschung (CV) bezeichnen, veröffentlicht.

Benutzerstudien waren ursprünglich meist auf lokale oder Studenten um die Campus einer oder mehrerer der teilnehmenden akademischen Institutionen beschränkt, haben sich aber seitdem fast vollständig auf Online-Crowdsourcing-Plattformen wie Amazon Mechanical Turk (AMT) verlagert.

Unter einer Vielzahl von Beschwerden behauptet das neue Papier, dass Forschungsprojekte unter Druck gesetzt werden, Studien zu erstellen, die von den Gutachtern der Papiere verlangt werden; die Studien oft schlecht formuliert sind; die Studien oft in Auftrag gegeben werden, obwohl die Logik des Projekts diese Herangehensweise nicht unterstützt; und dass sie oft von zynischen Crowdsourcing-Arbeitern “gemogelt” werden, die die gewünschten Antworten herausfinden, anstatt wirklich über das Problem nachzudenken.

Die 15-seitige Abhandlung (mit dem Titel Auf dem Weg zu besseren Benutzerstudien in Computer-Grafik und -Vision) bildet den zentralen Teil des neuen Papiers und richtet viele weitere Kritik an der Art und Weise, wie Crowdsourcing-Benutzerstudien tatsächlich den Fortschritt von Computer-Vision-Subsektoren wie Bilderkennung und Bildsynthese behindern könnten.

Obwohl das Papier eine viel breitere Palette von Problemen in Bezug auf Benutzerstudien anspricht, sind seine schärfsten Kritikpunkte auf die Art und Weise gerichtet, wie die Auswertung der Ausgabe in Benutzerstudien (d. h. wenn Crowdsourcing-Menschen in Benutzerstudien bezahlt werden, um Werturteile über z. B. die Ausgabe neuer Bildsynthese-Algorithmen zu fällen) den gesamten Sektor negativ beeinflussen könnte.

Lassen Sie uns einen Blick auf einige der zentralen Punkte werfen.

Sensationelle Interpretationen

Eine der Empfehlungen des Papiers für diejenigen, die im Computer-Vision-Sektor veröffentlichen, ist die Aufforderung, “die Ergebnisse sorgfältig zu interpretieren”. Das Papier zitiert ein Beispiel aus dem Jahr 2021, als eine neue Forschungsarbeit behauptete, dass “Einzelne nicht in der Lage sind, künstlerische Arbeiten, die von KI erstellt wurden, genau zu identifizieren”, weithin in der populären Presse falsch dargestellt wurde.

Einer der höheren Medienberichte über das Papier von 2021 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, von Harsha Gangadharbatla, das als Beispiel in dem neuen Papier zitiert wird. Hier ist die Quelle von The Daily Mail The Times (nicht öffentlich zugänglich). Quellen: Daily Mail (Archivlink) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Die Autoren erklären*:

‘[In] einer Studie in einer Psychologie-Zeitschrift wurden Bilder von traditionellen Kunstwerken und Bildern, die von KI-Technologien erstellt wurden, aus dem Internet gesammelt, und Crowdsourcing-Arbeiter wurden gebeten, die Bilder zu unterscheiden, die aus welcher Quelle stammten. Aus den Ergebnissen wurde gefolgert, dass “Einzelne nicht in der Lage sind, künstlerische Arbeiten, die von KI erstellt wurden, genau zu identifizieren”, ein sehr weit gefasster Schluss, der nicht direkt aus den Experimenten folgt.

‘Darüber hinaus berichtet das Papier nicht über die Details, welche spezifischen Bildsätze gesammelt oder verwendet wurden, was die Behauptungen schwer, wenn nicht unmöglich, zu überprüfen und zu reproduzieren.

‘Besorgniserregend ist, dass die populäre Presse diese Ergebnisse mit irreführenden Behauptungen über die Fähigkeit von KI, unabhängig Kunst zu schaffen, berichtete.’

Umgang mit Crowdsourcing-Arbeitern, die betrügen

Crowdsourcing-Arbeiter werden normalerweise nicht viel für ihre Bemühungen bezahlt. Da ihre Aussichten minimal sind und ihr bestes Verdienstpotenzial durch die Erledigung einer hohen Anzahl von Aufgaben besteht, sind viele von ihnen, wie Forschungsergebnisse zeigen, geneigt, jeden “Shortcut” zu nutzen, der die aktuelle Aufgabe beschleunigen kann, damit sie zur nächsten kleinen Aufgabe übergehen können.

Das Papier bemerkt, dass Crowdsourcing-Arbeiter, ähnlich wie maschinelle Lernsysteme, repetitive Muster in den Benutzerstudien erkennen, die Forscher formulieren, und einfach die “korrekte” oder “gewünschte” Antwort ableiten, anstatt eine echte organische Reaktion auf das Material zu produzieren.

Um dies zu erreichen, empfiehlt das Papier, Prüfungen bei den Crowdsourcing-Arbeitern durchzuführen, auch bekannt als “Validierungstests” oder “Wächter” – effektiv, gefälschte Abschnitte eines Tests, die designed sind, um zu sehen, ob der Arbeiter aufmerksam ist, zufällig klickt oder einfach einem Muster folgt, das er selbst aus den Tests abgeleitet hat, anstatt über seine Auswahlmöglichkeiten nachzudenken.

Die Autoren erklären:

‘Zum Beispiel kann in dem Fall von Paaren von stilisierten Bildern ein Bild des Paares ein absichtlich und objektiv schlechtes Ergebnis sein. Während der Analyse kann die Daten von Teilnehmern, die einige vorher festgelegte Anzahl von Prüfungen nicht bestehen, verworfen werden, da angenommen wird, dass sie von Teilnehmern generiert wurden, die unaufmerksam oder inkonsistent waren.

‘Diese Prüfungen sollten zufällig in die Studie eingefügt werden und sollten wie andere Tests aussehen; andernfalls können Teilnehmer herausfinden, welche Tests die Prüfungen sind.’

Umgang mit Forschern, die betrügen

Mit oder ohne Absicht können Forscher an diesem “Gaming” beteiligt sein; es gibt viele Möglichkeiten, wie sie, vielleicht sogar unabsichtlich, ihre gewünschten Auswahlmöglichkeiten den Crowdsourcing-Arbeitern “signalisieren” können.

Beispielsweise bemerkt das Papier, dass Forscher durch die Auswahl von Crowdsourcing-Arbeitern mit Profilen, die möglicherweise die “idealen” Antworten in einer Studie liefern, die These beweisen könnten, die möglicherweise ansonsten gescheitert wäre.

Die Formulierung ist auch ein wichtiger Punkt:

‘Die Formulierung sollte die hochrangigen Ziele widerspiegeln, z. B. “welches Bild enthält weniger Artefakte?” anstelle von “welches Bild enthält weniger Farbfehler im Gesichtsbereich?” Umgekehrt lässt ungenaue Aufgabenformulierung zu viel Interpretationsspielraum, z. B. “welches Bild ist besser?” kann als “welches ist ästhetischer?” verstanden werden, während die Absicht möglicherweise darin bestand, “welches ist realistischer?” zu bewerten.’

Eine weitere Möglichkeit, Teilnehmer “gutartig” zu beeinflussen, besteht darin, ihnen mitzuteilen, offensichtlich oder implizit, welche der möglichen Auswahlmöglichkeiten vor ihnen die Methode des Autors ist, anstatt einer vorherigen Methode oder eines zufälligen Beispiels.

Das Papier erklärt*:

‘[Die] Teilnehmer können mit den Antworten reagieren, die sie denken, die Forscher wollen, bewusst oder unbewusst, was als “guter Teilnehmer-Effekt” bekannt ist. Verwenden Sie keine Bezeichnungen wie “unsere Methode” oder “bestehende Methode”. Teilnehmer können durch Machtdynamiken (d. h. der Forscher, der die Forschungssitzung leitet), durch die Verwendung von Sprache, um Teilnehmer zu primen (z. B. “Wie sehr mögen Sie dieses Tool, das ich gestern gebaut habe?”), und durch die Beziehung zwischen Forschern und Teilnehmern (z. B. wenn beide in derselben Abteilung oder Firma arbeiten) voreingenommen sein.’

Die Formatierung einer Aufgabe in einer Benutzerstudie kann ebenfalls die Neutralität der Studie beeinflussen. Die Autoren bemerken, dass, wenn in einer side-by-side-Präsentation die Basis immer auf der linken Seite (d. h. “Bild A”) und die Ausgabe des neuen Algorithmus auf der rechten Seite positioniert ist, Studienteilnehmer daraus schließen könnten, dass B die “beste” Wahl ist, basierend auf ihrer wachsenden Annahme über die gewünschten Ergebnisse der Forscher.

‘Andere Präsentationsaspekte wie die Größe der Bilder auf dem Bildschirm, ihr Abstand zueinander usw. können die Antworten der Teilnehmer beeinflussen. Ein Pilotversuch der Studie mit einigen verschiedenen Einstellungen kann helfen, diese potenziellen Störfaktoren frühzeitig zu erkennen.’

Die falschen Menschen für das falsche Produkt

Die Autoren bemerken an mehreren Stellen im Papier, dass Crowdsourcing-Arbeiter eine eher “allgemeine” Ressource darstellen, als man in früheren Jahrzehnten erwartet hätte, als Forscher gezwungen waren, Hilfe vor Ort zu suchen, oft von Studenten, die ihr Einkommen durch die Teilnahme an Studien ergänzten.

Die Anforderung an aktive Teilnahme lässt den beauftragten Crowdsourcing-Arbeiter wenig Raum, von einem Produkt, das getestet wird, unbeeindruckt zu sein, und die Autoren des Papiers empfehlen Forschern, ihre Zielbenutzer zu identifizieren, bevor sie ein potenzielles Produkt oder eine Dienstleistung entwickeln und testen – andernfalls riskieren sie, etwas zu schaffen, das sehr schwierig zu erstellen ist, aber das niemand wirklich will.

‘Tatsächlich haben wir oft beobachtet, wie Computer-Grafik- oder -Vision-Forscher versuchen, ihre Forschung von der Industrie übernehmen zu lassen, nur um festzustellen, dass die Forschung nicht den Bedürfnissen der Zielbenutzer entspricht. Forscher, die keine Bedürfnisfindung am Anfang durchführen, können überrascht sein, dass Benutzer keine Notwendigkeit oder kein Interesse an dem Werkzeug haben, das sie Monate oder Jahre lang entwickelt haben.

‘Solche Werkzeuge können in Bewertungsstudien schlecht abschneiden, da Benutzer feststellen können, dass die Technologie unbrauchbare, irrelevante oder unerwartete Ergebnisse produziert.’

Das Papier bemerkt weiter, dass Benutzer, die tatsächlich ein Produkt verwenden werden, für die Studien ausgewählt werden sollten, auch wenn sie nicht leicht zu finden sind (oder, vermutlich, nicht ganz so günstig).

Anstatt zur Rekrutierung auf dem Campus zurückzukehren (was vielleicht ein eher rückwärtsgewandter Schritt wäre), schlagen die Autoren vor, dass Forscher “Benutzer in der Wildnis” rekrutieren, indem sie sich mit relevanten Gemeinschaften einlassen.

‘Zum Beispiel kann es eine relevante aktive Online-Nachrichten- oder soziale Medien-Gemeinschaft geben, die genutzt werden kann. Selbst das Treffen mit einem Mitglied der Gemeinschaft kann zu Schneeball-Sampling führen, bei dem relevante Benutzer Verbindungen zu ähnlichen Personen in ihrem Netzwerk anbieten.’

Feedback einholen

Das Papier empfiehlt auch, qualitative Feedback von denjenigen einzuholen, die an Benutzerstudien teilgenommen haben, nicht zuletzt, weil dies möglicherweise falsche Annahmen aufseiten der Forscher aufdecken kann.

‘Diese können helfen, die Studie zu debuggen, aber sie können auch unerwartete Aspekte der Ausgabe aufdecken, die die Bewertungen der Benutzer beeinflusst haben. War der Teilnehmer “sehr unzufrieden” [sic] mit der Ausgabe, weil sie unrealistisch, nicht ästhetisch, voreingenommen oder aus einem anderen Grund war?

‘Ohne qualitative Informationen kann der Forscher daran arbeiten, den Algorithmus zu verfeinern, um realistischer zu sein, anstatt das zugrunde liegende Benutzerproblem anzugehen.’

Wie bei vielen der Empfehlungen im gesamten Papier beinhaltet diese spezifische Empfehlung weitere Ausgaben von Zeit und Geld durch die Forscher, in einer Kultur, die, wie die Arbeit beobachtet, auf schnelle und praktisch obligatorische Crowdsourcing-Benutzerstudien setzt, die normalerweise ziemlich günstig sind und die einer sich entwickelnden studiengetriebenen Kultur entsprechen, die das Papier im gesamten kritisiert.

Überstudiert

Das Papier legt nahe, dass Benutzerstudien zu einer Art “Mindestanforderung” in der Preprint-Computer-Vision-Gemeinschaft werden, sogar in Fällen, in denen eine Studie nicht vernünftig formuliert werden kann (z. B. bei einer Idee, die so neu oder randständig ist, dass es keine “ähnliche” Analyse gibt, die durchgeführt werden kann, und die möglicherweise nicht einer vernünftigen Metrik unterzogen werden kann, die in einer Benutzerstudie sinnvolle Ergebnisse liefern könnte).

Als Beispiel für “Studien-Belästigung” (nicht der Begriff der Autoren) zitieren die Forscher den Fall eines ICLR-2022-Papiers, für das Peer-Reviews online verfügbar sind (Archiv-Snapshot vom 24. Juni 2022; Link direkt aus dem neuen Papier)^†:

‘Zwei Gutachter gaben sehr negative Bewertungen ab, teilweise wegen fehlender Benutzerstudien. Das Papier wurde schließlich angenommen, begleitet von einer Zusammenfassung, die die Gutachter für die Verwendung von “Benutzerstudien” als Ausrede für schlechte Bewertungen rügte und sie der Gatekeeper-Rolle bezichtigte. Die vollständige Diskussion ist lesenswert.

‘Die endgültige Entscheidung stellte fest, dass die Einreichung eine Software-Bibliothek beschrieb, die jahrelang bereitgestellt worden war, mit Tausenden von Benutzern (Informationen, die den Gutachtern für die anonyme Überprüfung nicht mitgeteilt wurden). Würde das Papier – das ein hochwirkungsvolles System beschreibt – abgelehnt worden sein, wenn das Komitee diese Informationen nicht gehabt hätte?

‘Und, hätten die Autoren die zusätzliche Mühe auf sich genommen, eine Benutzerstudie zu konstruieren und durchzuführen, wäre sie sinnvoll gewesen, und hätte sie ausgereicht, um die Gutachter zu überzeugen?’

Die Autoren erklären, dass sie gesehen haben, wie Gutachter und Herausgeber “schwere Bewertungsanforderungen” an eingereichte Papiere auferlegen, ungeachtet dessen, ob solche Bewertungen wirklich einen Sinn oder einen Wert haben würden.

‘Wir haben auch beobachtet, wie Autoren und Gutachter MTurk-Bewertungen als Krücke verwenden, um harte Entscheidungen zu vermeiden. Gutachter-Kommentare wie “Ich kann nicht sagen, ob die Bilder besser sind, vielleicht würde eine Benutzerstudie helfen” sind potenziell schädlich, da sie Autoren ermutigen, zusätzliche Arbeit zu leisten, die einen mangelhaften Beitrag nicht verbessern wird.’

Die Autoren schließen das Papier mit einem zentralen “Aufruf zum Handeln”, an die Computer-Vision- und Computer-Grafik-Gemeinschaften, ihre Forderungen nach Benutzerstudien zu überdenken, anstatt eine studiengetriebene Kultur als Routine zu entwickeln, ungeachtet der “Randfälle”, in denen einige der interessantesten Arbeiten möglicherweise nicht in die profitabelsten oder ergiebigsten Forschungs- und Einreichungspipelines passen.

Die Autoren schließen:

‘[Wenn] das Hauptziel der Durchführung von Benutzerstudien darin besteht, Gutachter zu besänftigen, anstatt neue Erkenntnisse zu gewinnen, sollte die Nützlichkeit und Gültigkeit solcher Benutzerstudien von Autoren und Gutachtern in Frage gestellt werden. Die Bestrafung von Arbeiten, die keine Benutzerevaluierung enthalten, hat die ungewollte Folge, hastig durchgeführte, schlecht durchgeführte Benutzerstudien zu fördern.

‘Ein Grundsatz, den man im Auge behalten sollte, ist, dass “schlechte Benutzerstudien zu schlechten Ergebnissen führen”, und solche Studien werden fortgesetzt, wenn Gutachter weiterhin danach fragen.’

* Meine Umwandlung der inline-Zitate des Papiers in entsprechende Hyperlinks
^† Meine Betonung, nicht die der Autoren.

Erstveröffentlichung: 24. Juni 2022.