Auffällige Diagramme können sogar “böse” Forschung vertrauenswürdig erscheinen lassen

Neue Forschungsergebnisse zeigen, dass die Verwendung von aufwändigen und komplexen Diagrammen dazu führen kann, dass Menschen vertrauenswürdige Entscheidungen von künstlicher Intelligenz (KI) akzeptieren, auch wenn diese offensichtlich unfair sind.

Obwohl die Praxis, jemanden ‘mit Wissenschaft zu blenden’, bereits vor der aktuellen Ära der KI existierte, wird sie in dieser Ära möglicherweise perfektioniert – nicht zuletzt, weil die jüngste Zunahme der Einreichungen wissenschaftlicher Arbeiten das Signal-Rausch-Verhältnis ungünstig gemacht hat und “billige Tricks” möglicherweise häufiger verwendet werden.

Treu dem alten Sprichwort “Lügen, verdammt Lügen und Statistiken” ist das zentrale Werkzeug, das bei der Täuschung oder Irreführung von Lesern verwendet wird, wenn neue Systeme und wissenschaftliche Beweise präsentiert werden, die Ansprüche erklären oder rechtfertigen, Graphen und Datenvisualisierungen.

In einer Studie aus dem Jahr 2019 über die Wirkung von Graphen auf Teilnehmer in ländlichen Gebieten von Pennsylvania beobachteten die Autoren der Arbeit:

‘Menschen, die von Missbrauch oder Sucht betroffen waren, neigten zu Graphen, die diese Substanzen darstellten. Menschen beurteilten oft die Qualität eines Graphen, der geografische Informationen enthielt, danach, wie leicht oder schwer es war, ihren Heimatstaat zu finden.

‘Andere Menschen tendierten dazu, Graphen nicht aufgrund ihres eigenen Verständnisses zu bewerten, sondern aufgrund der wahrgenommenen Effektivität bei der Kommunikation mit anderen Menschen.

‘Schließlich schlug ein Teilnehmer sogar vor, dass er Visualisierungen von lokalen Nachrichtenquellen eher beachten würde als von nationalen.’

Einige der Graphen, die den Bewohnern ländlicher Gebiete in Pennsylvania in einer Studie aus dem Jahr 2019 gezeigt wurden. Quelle

Die hypnotische Wirkung von Daten-Graphen wird insbesondere in der neuen Ära der maschinellen Lernens bedeutsam, in der Vertrauen für die Aufrechterhaltung der KI-Wirtschaft (und möglicherweise die Vermeidung eines Kollapses) von entscheidender Bedeutung ist.

Die US-UK-Zusammenarbeit Trust Junk und Evil Knobs: Kalibrierung des Vertrauens in KI-Visualisierungen führte das Konzept von Trust Junk ein: eine XAI-Visualisierung ‘die keine bedeutungsvolle Verbindung zum zugrunde liegenden Modell oder den Daten hat [und] verwendet wird, um Vertrauen zu erhöhen’:

Aus dem Paper ‘Trust Junk und Evil Knobs: Kalibrierung des Vertrauens in KI-Visualisierungen’, ein Beispiel für Daten, die zu einem vorherigen Zweck verdreht werden (rechts), anstatt explizit angezeigt zu werden (links). Dieser Ansatz ‘ermutigt zu übermäßiger Abhängigkeit und überwältigt den Benutzer, während er die Illusion der Kontrolle vermittelt’, so das Paper. Quelle

Schnellstudie

Seit das Konzept von Trust Junk vorgeschlagen wurde, wurde es noch nicht getestet – eine Lücke, die durch eine neue Studie aus den USA geschlossen wird, in der Teilnehmern Ergebnisse einer vermeintlichen KI-Studie präsentiert werden, die sich auf die Wahrscheinlichkeit bezieht, dass eine Gruppe von Kandidaten die juristische Prüfung in den USA besteht.

Wenn man genau hinsah, konnte man erkennen, dass die Filterkriterien a) alle schwarzen Männer und b) alle anderen waren – mit der Vorhersage, dass alle schwarzen Männer die Prüfung nicht bestehen würden:

Aus dem neuen Paper: ein annotiertes Stimulus, der in den Experimenten der Autoren verwendet wurde, mit einer Modellentscheidung (C) darüber, ob ein Kandidat (B) die Prüfung bestehen wird, sowie erklärende Komponenten, die als ‘Trust Junk’ (A, D, E, F) fungieren. Das Modell ist diskriminierend, doch führen zunehmend komplexe erklärende Informationen dazu, dass die Teilnehmer mehr mit seinen Ausgaben übereinstimmen und es als fair bewerten. Quelle

Die meisten Teilnehmer stimmten mit den Vorhersagen des Modells überein und bewerteten es als fair und vertrauenswürdig, wobei die Übereinstimmung, das Vertrauen und die wahrgenommene Fairness mit zunehmender Anzahl von irrelevanten Diagrammen und Details stiegen – obwohl weniger Menschen die offensichtliche und unverhohlene rassistische Vorurteilung bemerkten.

Einige Benutzer erhoben Einwände gegen die Studie, aber nicht aus Gründen, die offensichtlich mit der zentralen Fragestellung zusammenhängen:

‘Wir stellten fest, dass 19 Teilnehmer unser Modell ausdrücklich als fair bezeichneten (z.B. sagte ein Teilnehmer: “Es ist fair, weil es keine rassischen oder geschlechtsspezifischen Vorurteile hat.”). Teilnehmer äußerten jedoch gelegentlich Bedenken hinsichtlich des Modells. Ein Teilnehmer sagte, er sei besorgt über die “Art von Dunkelheit, die Menschen dafür verwenden könnten”.’

Trotzdem identifizierte keine der drei Studiengruppen innerhalb der Teilnehmer das eigentliche Problem.

Die Autoren kommen zu dem Schluss*:

‘Kurz gesagt, stellten wir fest, dass Trust Junk funktionierte: Teilnehmer wurden entweder “beruhigt” durch die irrelevante Information oder “betäubt” durch die schiere Menge an Daten in den Erklärungen.

‘All dies geschah im Kontext eines Modells, das oberflächlich und tiefgreifend unfair war, genau der Fall, in dem wir hoffen würden, dass XAI Laienpublikum befähigen würde, genaue Urteile zu fällen.’

Da wir immer wieder davon abgeraten werden, zu überprüfen, was KI uns sagt (sei es aufgrund von vermuteten eigennützigen Motiven oder aufgrund von fehlerhaften Ausgaben), neigen wir möglicherweise dazu, tiefer in die Quellenmaterialien von Forschungsarbeiten, Unternehmensquartalsberichten und anderen weitgehend unneutralen Formaten für Informationsübermittlung zu graben.

Yet sind wir bereit, genauer auf die “beruhigenden” Graphen zu achten, die uns die Genauigkeit versichern – oder zumindest den “Nebel der Wahrhaftigkeit” zu diskontieren, den eine Flut von Graphen hervorrufen kann?

Die neue Studie trägt den Titel “Trust Junk” führt zu ungerechtfertigter Unterstützung für hochgradig diskriminierende Vorhersagemodelle und stammt von drei Forschern der Northeastern University in Boston, Massachusetts. Eine ergänzende Website ist ebenfalls verfügbar.

Methode

Die Autoren führten ein zwischen-subjektsbezogenes Crowdsourcing-Experiment (d.h. verschiedene Teilnehmer wurden verschiedenen Bedingungen zugewiesen) zu “Trust Junk” in XAI-Erklärungen durch, um zu testen, ob zunehmend komplexe, aber irrelevante Details die Teilnehmer dazu bringen könnten, ein voreingenommenes Modell als fair und nützlich zu betrachten.

Die Reize basierten auf früheren Arbeiten, und die resultierenden XAI-Dashboards kombinierten mehrere Erklärungstechniken in einer einzigen Oberfläche.

Für das oben erwähnte stark voreingenommene Modell entwickelten die Forscher “Junk”-Erklärungen für die Studie, wobei die Erklärungen absichtlich um “irreführende” Techniken der Datenpräsentation kreierten:

‘Wir lieferten eine übermäßige Menge an Informationen für unsere binäre Klassifikaufgabe. Unsere Aufnahme einer großen Menge komplex aussehender, aber letztlich irrelevanter Details sollte die Teilnehmer der Studie eher überwältigen als nützliche Daten liefern.

‘Diese Technik [metaphorisch] betäubt den Benutzer, indem sie ihn dazu bringt, seine eigene Unfähigkeit, die Daten vollständig zu verstehen, zu akzeptieren […].’

Die Studie basiert auf früheren Kontroversen um KI-Bewertungen in den internationalen Baccalaureate- und General Certificate of Education Advanced Level-Prüfungen, wobei das Law School Admissions Bar Passage Dataset verwendet wurde, das demografische, akademische und Ergebnisdaten von 20.000 Kandidaten aus den Jahren 1991-1997 enthält.

Diese Daten wurden verwendet, um ein absichtlich voreingenommenes Modell zu erstellen, das die Wahrscheinlichkeit vorhersagte, dass schwarze Männer die Prüfung nicht bestehen würden, während alle anderen bestehen würden; dennoch erreicht das Modell eine Genauigkeit von 93,7%, aufgrund von Klassenungleichgewichten über Rasse und Geschlecht.

Ein “Appell an die Autorität”-Ansatz wurde ebenfalls getestet, wobei oberflächlich beeindruckende Hinweise wie eine renommierte Universitätszugehörigkeit, Datensatzgröße und irreführende Genauigkeit hinzugefügt wurden.

Zusätzlich wurden Maßnahmen, die die Abhängigkeit des Modells von Rasse und Geschlecht aufgedeckt hätten, weggelassen, und nur positive Ergebnisse präsentiert. Ein kleiner Satz ähnlicher Kandidaten wurde dann zusammen mit ihren tatsächlichen Prüfungsergebnissen und nicht den Vorhersagen des Modells präsentiert – was half, das konstante Muster des Scheiterns, das schwarzen Männern zugewiesen wurde, zu verbergen.

Um zu bestimmen, wie die Teilnehmer das System interpretierten, wurden Informationen so präsentiert, dass sie einfache, aber irreführende Erklärungen darüber, wie das Modell funktionierte, bildeten. Details zu allen verfügbaren Funktionen wurden gezeigt, was den Eindruck erweckte, dass viele Faktoren die Entscheidung beeinflussten, obwohl nur Rasse und Geschlecht verwendet wurden. Ein zynischer Akzent auf individuelle Attribute ermutigte die Teilnehmer auch, plausible, aber falsche Geschichten darüber zu konstruieren, warum ein Kandidat vorhergesagt wurde, die Prüfung zu bestehen oder nicht zu bestehen.

Die ‘Opfer’

In der Testgruppe wurde jede Erklärung einem von drei Trust-Junk-Levels zugeteilt, die drei Studienbedingungen umfassten: Teilnehmer in der Baseline-Bedingung sahen nur grundlegende Herkunft, ein Kandidatenprofil und die Entscheidung des Modells; diejenigen in der Modell-Bedingung sahen auch Genauigkeitsstatistiken; und diejenigen in der Alles-Bedingung wurden zusätzlich mit Histogrammen der Funktionen und Profilen ähnlicher Kandidaten aus den Trainingsdaten konfrontiert.

Die Studie wurde von einem institutionalen Überprüfungsausschuss genehmigt und auf Prolific durchgeführt, wobei Teilnehmer 15 Dollar pro Stunde bezahlt wurden und zufällig den Bedingungen zugewiesen wurden.

Jeder Teilnehmer überprüfte acht Kandidatenprofile für die juristische Prüfung in zufälliger Reihenfolge und beurteilte, ob jeder bestehen würde, wobei Übereinstimmung als Maß für die Abhängigkeit verwendet wurde, gefolgt von Fragebögen, um Vertrauen zu bewerten, und einer endgültigen Stichprobe von 28, 27 und 28 Teilnehmern in den Baseline-,Modell– und Alles-Bedingungen.

Die Autoren gingen davon aus, dass die Hinzufügung von mehr scheinbar reichen, aber letztlich ablenkenden oder unvollständigen Informationen dazu führen könnte, das Modell durch die Schaffung ungerechtfertigten Vertrauens in seine Ausgaben zu “fairwaschen”. Sie erwarteten, dass Teilnehmer in den Modell– und Alles-Bedingungen höhere Übereinstimmung und stärkere Wahrnehmungen von Fairness, Vertrauenswürdigkeit und Nützlichkeit zeigen würden als diejenigen in der Baseline-Bedingung. Sie analysierten auch die schriftlichen Erklärungen der Teilnehmer, um zu sehen, wie diese das Modell verstanden, und konzentrierten sich darauf, ob sie dessen Voreingenommenheit oder Lücken in den bereitgestellten Informationen bemerkten.

Testergebnisse

In Bezug auf die Übereinstimmung mit dem Modell identifizierten die menschlichen Studienteilnehmer das richtige Ergebnis 66,6% der Zeit, stimmten aber 73,9% der Zeit mit dem Modell überein – was zeigt, dass sie tendenziell der Entscheidung des Modells folgten, auch wenn diese falsch war. Dieser Effekt verstärkte sich, wenn mehr erklärende Details hinzugefügt wurden, wobei die detaillierteste Bedingung die Übereinstimmung auf 82,6% erhöhte und die Wahrscheinlichkeit erhöhte, dass Teilnehmer dem Modell zu Unrecht folgten:

Gesamtpunktzahlen für Übereinstimmung (links), Vertrauen (Mitte) und Zufriedenheit (rechts); Teilnehmer in der ‘Alles’-Bedingung, die zusätzliche erklärende Inhalte sahen, die für Fairness irrelevant waren, berichteten über signifikant höhere Punktzahlen in allen Maßen, obwohl das Modell identisch und offensichtlich unfair blieb.

Die Vertrauensbewertungen variierten erheblich je nach Bedingung, wobei Teilnehmer in der Alles-Bedingung höhere Vertrauenswerte (M = 25,3) meldeten als diejenigen in der Baseline-Bedingung (M = 16,8), während die Modell-Bedingung (M = 20,1) sich nicht signifikant von beiden unterschied.

Die Zufriedenheit mit der Erklärung unterschied sich erheblich je nach Bedingung, wobei Teilnehmer in der Alles-Bedingung höhere Zufriedenheit (M = 34,2) meldeten als diejenigen in den anderen beiden Bedingungen (M = 26,4).

Teilnehmer bewerteten Fairness mit vier Fragen auf einer siebenstufigen Skala, die Geschlechtervorurteile, allgemeine Vorurteile und Ethik abdeckten, wobei es keine bedeutungsvollen Unterschiede zwischen den Bedingungen auf diesen Maßen gab:

Verteilung der Teilnehmerbewertungen über die Bedingungen für wahrgenommene Fairness über Rasse und Geschlecht, Abwesenheit von Vorurteilen und allgemeine Ethik. Höhere Level erklärender Details werden mit leicht höheren Fairness- und vorurteilsfreien Bewertungen in Verbindung gebracht, obwohl das zugrunde liegende Modell unverändert und unfair bleibt.

Ein Unterschied zeigte sich jedoch bei der Fairness über Rasse, wobei die Baseline-Gruppe das Modell als am wenigsten fair (M = 3,9) bewertete, während die Modell- und Alles-Gruppen es höher (M = 4,8) bewerteten. Von größerer Bedeutung ist jedoch, dass der größte Anteil der Teilnehmer, die das offensichtlich unfaire Modell als fair bewerteten, aus den beiden Gruppen kamen, die die meisten erklärenden Details sahen – die auch am wenigsten wahrscheinlich waren, dessen Voreingenommenheit zu erkennen.

Qualitätskontrolle

Qualitative Antworten zeigten, dass Teilnehmer, die am wenigsten Informationen erhielten, eher Probleme mit dem Modell bemerkten – insbesondere seine Abhängigkeit von Rasse und Geschlecht. Sie waren auch eher bereit, zu sagen, dass wichtige Details fehlten.

Umgekehrt äußerten diejenigen, die komplexere Erklärungen sahen, diese Bedenken seltener. Dennoch zeigten nur drei Teilnehmer in allen Bedingungen ein teilweises Verständnis der Schlüsselfaktoren, die die Entscheidungen des Modells beeinflussten; und keiner identifizierte vollständig, wie es funktionierte.

Graphen, die zeigen, wie oft Teilnehmer mögliche rassische oder geschlechtsspezifische Vorurteile und fehlende erklärende Informationen über die Bedingungen hinweg berichteten, wobei höhere Level erklärender Details mit weniger Teilnehmern in Verbindung gebracht wurden, die Vorurteile oder fehlende Informationen berichteten – obwohl das Modell nur auf Rasse und Geschlecht basierte.

Viele Teilnehmer bezeichneten das Modell ausdrücklich als fair, wobei 19 solcher Antworten aufgezeichnet wurden, trotz seiner offensichtlichen Voreingenommenheit.

Gleichzeitig kam jedoch auch Unbehagen zum Ausdruck, da mehrere Teilnehmer Bedenken hinsichtlich der möglichen Verwendung eines solchen Systems äußerten, und 15 Antworten fragten, ob das Modell die Komplexität einzelner Kandidaten angemessen erfassen könne.

Die Autoren stellen fest:

‘Nur eine Minderheit der Teilnehmer bezeichnete das Modell als unfair oder voreingenommen. Die wenigen Teilnehmer, die Bedenken hinsichtlich des Modells äußerten, konnten nicht genau begründen, warum das Modell fehlerhaft war, und griffen in Ermangelung wichtiger Modellinformationen auf informelle, oft falsche Argumentationen zurück, um zu erklären, warum das Modell falsch oder unfair sein könnte.’

Das Paper schließt*^†:

‘Während einige der Probleme, die wir aufdecken, durch eine erhöhte Datenkompetenz bei den Zielgruppen behoben werden können, reicht Bildung allein nicht aus (sogar selbsternannte KI-Experten interpretieren oder verstehen XAI-Techniken häufig falsch).

‘Wir betonen die Behauptung von Hullman et al.: der Erfolg von KI-Erklärungen kann nur dann fair beurteilt werden, wenn die Ziele solcher Erklärungen berücksichtigt werden.

‘Wir fordern die Gemeinschaft auf, den rhetorischen Zielen von XAI-Erklärungen und ihrer manipulativen Macht als intrinsisch überzeugende Artefakte zu widmen.’

Schlussfolgerung

Da der Umfang, in dem Modell-Modelle dazu neigen, Aussagen mit falschen Graphen zu “schmücken”, deutlich wird, ist es nicht nur offensichtlich, dass KI-generierte Graphen nicht als Beleg für Autorität herangezogen werden sollten, sondern auch, dass die allgemeine “umgebende” Wirkung von Visualisierungen etwas ist, das wir beginnen sollten, zu diskontieren – ähnlich wie das Vertrauen in die Fotografie durch die Entwicklung von Deepfakes untergraben wurde.

Dies ist möglicherweise eine beunruhigende Entwicklung, da sie eine weitere “Ermüdung” im öffentlichen Bewusstsein darstellt, die bereit ist, das zu überprüfen, was sie in den Medien sieht und hört, und das Risiko einer Art “terminaler Kapitulation” vor Fehlinformationen birgt.

* Meine Ersetzung der inline-Zitate der Autoren durch Hyperlinks.

^† Originalformatierung der Autoren, nicht meine.

Erstveröffentlichung am Montag, dem 20. Juli 2026