KI bevorzugt sogar falsche menschliche Antworten gegenüber korrekten KI-Antworten

KI-Sprachmodelle neigen erheblich mehr dazu, sich auf menschliche Experten als auf andere KIs zu verlassen, selbst wenn die Experten falsch liegen, was auf eine eingebaute Voreingenommenheit gegenüber menschlicher Autorität hinweist.

Neue Forschung aus den USA hat ergeben, dass eine Reihe von führenden Open-Source- und proprietären Large Language Models (LLMs) tendenziell Autorität Informationen zuweisen, die sie als “menschlich” erkennen, anstatt solchen, die sie als “KI” erkennen – selbst wenn die menschlichen Antworten falsch und die KI-Antworten richtig sind.

Die Autoren erklären:

‘Über Aufgaben hinweg stimmen die Modelle erheblich mehr mit Antworten überein, die als von menschlichen Experten stammend gekennzeichnet sind, einschließlich, wenn diese Kennzeichnung falsch ist, und ändern ihre Antworten eher in Richtung der Experten als in Richtung anderer LLMs.’

Die getesteten Modelle umfassten LLMs aus den Grok 3 und Gemini Flash Stables.

Bei den Tests mussten die Sprachmodelle binäre Ja oder Nein Fragen beantworten und wurden dann vorherigen Antworten präsentiert, die als von menschlichen Experten, Freunden oder anderen großen Sprachmodellen stammend beschrieben wurden – wobei sich die einzige Änderung in der Quellenangabe und nicht im Inhalt selbst befand.

Im ersten von drei Konfigurationen für die Tests wurden die Modelle erlaubt, auf ihre eigenen trainierten Matrizen zurückzugreifen. Quelle

Über Aufgaben hinweg wurden Antworten, die als von menschlichen Experten stammend gekennzeichnet waren, stärker gewichtet, wobei die Modelle eher ihre ursprünglichen Antworten änderten, um diesen Antworten zu entsprechen, selbst in Fällen, in denen die experten-gelabelte Antwort falsch und die ursprüngliche Antwort des Modells richtig war.

Hier hat das LLM Zugang zu einer Mischung aus Freunden, Experten und LLMs, einschließlich seiner eigenen trainierten Matrix. Da neun Domänen-Experten ‘Nein’ antworteten, stimmt das LLM zu und ändert seine vorherige Antwort. Hier ist die erreichte Antwort falsch, da die Zentralbank Indiens tatsächlich verstaatlicht ist.

Wenn dieselben Antworten anderen LLMs zugeordnet wurden, war der Effekt weniger ausgeprägt. Dieselbe Tendenz zeigte sich, wenn eine einzelne menschliche Quelle und eine einzelne KI-Quelle in Meinungsverschiedenheit präsentiert wurden, da die Modelle eine stärkere Neigung zeigten, der menschlich-gelabelten Position zu folgen, unabhängig davon, welche Seite faktisch richtig war:

Wenn man zwischen der Meinung eines einzelnen Domänen-Experten und der eines LLMs wählen muss, bevorzugt das LLM die menschliche Antwort, die in diesem Fall falsch ist, und lehnt die korrekte Antwort des LLMs ab.

Der Begriff ‘menschlicher Experte’ fungiert hier als Glaubwürdigkeitssignal, das das Modellverhalten unabhängig von der tatsächlichen Richtigkeit der Information verändert; und die Autoren bemerken, dass die Glaubwürdigkeit der Quelle ein wesentlicher Faktor für die Akzeptanz von Ratschlägen und die Konformität ist: Eine Tendenz von Menschen, Expertenquellen zu bevorzugen, wurde bereits 1959 beobachtet, obwohl eine Studie von 2007 feststellt, dass eine Über- oder Unterbewertung von Autoritätsquellen in bestimmten Bewertungssystemen auftreten kann. Die Forscher der neuen Studie behaupten:

‘Zusammen legen diese Literaturhinweise zwei Signale nahe, die für LLMs wichtig sein sollten, wenn sie vorherige Antworten als Beweise behandeln: Wer die Antworten produziert hat (Glaubwürdigkeit) und wie stark die Übereinstimmung erscheint (Signalstärke). ‘

‘Gleichzeitig erfahren LLMs keine soziale Anerkennung oder Scham im menschlichen Sinne, sodass jedes konformes Verhalten durch gelernte Heuristiken, Anweisungsziele oder implizite Modellierung von Zuverlässigkeit entstehen muss.’

Die Neigung von LLMs zur sychophantischen Zustimmung bildet den Hintergrund für die neue Studie; schließlich, wenn LLMs geneigt sind, ‘Menschen zu gefallen’, sogar auf Kosten von Wahrheit und Nützlichkeit, warum sollten sie nicht allgemein menschliche Quellen bevorzugen, außer der direkten Anfrage?

Die neue Studie trägt den Titel Wem vertrauen LLMs? Menschliche Experten sind wichtiger als andere LLMs und stammt von zwei Forschern der Indiana University Bloomington.

Methode und Daten

Für die Arbeit wurden vier instruktionsbasierte große Sprachmodelle ausgewertet: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; und DeepSeek V3.1, alle unter dem gleichen Prompt-Struktur, mit deterministischer Dekodierung bei Temperatur Null, sodass nur die Quellenkennzeichnung (d. h. Freunde, menschliche Experten oder andere große Sprachmodelle) zwischen den Bedingungen geändert wurde, und nicht die Formulierung selbst.

Vier Datenbanken, die binäre Antworten erforderten, wurden ausgewählt: BoolQ; StrategyQA; und ETHICS. Die Forscher haben aus jeder Datenbank eine feste Menge von 300 Abfragen und Antworten ausgewählt, wobei jede Abfrage nur eine binäre Ja oder Nein Antwort erforderte. Jede Abfrage wurde mit einer kurzen Notiz versehen, die angab, wie eine andere Gruppe dieselbe Frage beantwortet hatte.

Metriken

Die verwendeten Metriken waren Genauigkeit; Konformität; Schädliche Konformität; Switch-Rate; und Switch-Richtung.

Genauigkeit wurde in diesem Fall gemessen, indem überprüft wurde, wie oft die Antwort des Modells mit der Datenbankkennzeichnung übereinstimmte; Konformität, wie oft die Antwort mit der Gruppen angegebenen Wahl übereinstimmte; Schädliche Konformität isolierte denselben Effekt, wenn die Gruppe falsch war; Switch-Rate maß, wie oft ein Modell seine Basisantwort änderte, wenn soziale Informationen hinzugefügt wurden; und Switch-Richtung, ob diese Änderungen in Richtung des Menschen oder des entgegengesetzten LLMs gingen.

Eine tokenbasierte Analyse für Llama-3.3 70B maß, wie sich die internen Wahrscheinlichkeiten des Modells für Ja und Nein änderten, wenn ein soziales Signal hinzugefügt wurde, und verglich diese Änderungen mit seiner eigenen Basislinie ohne Vorwissen, um die Stärke dieses Effekts zu zeigen.

Tests

Experiment 1

Das erste der beiden Hauptexperimente bewertete, ob die Modelle eher auf menschliche oder andere Modelle hören. Jede Frage kam mit einer behaupteten ‘Gruppenantwort’ (Freunde, menschliche Experten oder andere große Sprachmodelle).

Die Gruppe konnte klein oder groß sein, und jede Frage erschien auch einmal ohne Gruppe. Gruppenantworten wurden so gesetzt, dass sie die Hälfte der Zeit richtig und die Hälfte der Zeit falsch waren, mit dem Ziel, zu bestimmen, wie stark das Modell zur Wahl der Gruppe tendierte:

Ergebnisse des ersten Tests: homogene soziale Priors über BoolQ, StrategyQA und ETHICS für Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite und DeepSeek V3.1. Genauigkeit erscheint in den oberen Panels und Konformität, definiert als die Wahrscheinlichkeit, der einstimmigen Prior zu entsprechen, erscheint darunter, wenn die Gruppengröße von eins auf neun zunimmt. Die gestrichelte schwarze Linie markiert die Basislinie ohne Vorwissen, während durchgezogene und gepunktete Linien anzeigen, ob die Prior mit der Datenbankkennzeichnung übereinstimmt oder nicht. Experten-Framing produziert die stärksten Konformitätseffekte, insbesondere bei größeren Gruppengrößen. Fehlerbalken zeigen 95% Wilson-Konfidenzintervalle. Bitte beachten Sie die Quellenarbeit für eine bessere Auflösung.

Über BoolQ, StrategyQA und ETHICS hinweg hatten Antworten, die als von menschlichen Experten stammend gekennzeichnet waren, einen viel stärkeren Einfluss auf die Modelle als Antworten, die als von Freunden oder anderen großen Sprachmodellen stammend gekennzeichnet waren – und dieser Effekt nahm zu, wenn mehr Experten übereinstimmten.

Um zu messen, wann dieser Einfluss unerwünschte Ergebnisse erzielte, wurde Schädliche Konformität definiert als die Wahrscheinlichkeit, dass ein Modell einer Prior folgte, die tatsächlich falsch war.

Wenn neun Experten die falsche Antwort übereinstimmend gaben, folgten die Modelle ihnen 36,5% der Zeit auf BoolQ, im Vergleich zu 16,0%, wenn dieselbe Antwort anderen LLMs zugeordnet wurde; auf StrategyQA betrug die Lücke 39,0% gegenüber 15,5%; und auf ETHICS 63,9% gegenüber 38,7%:

Tokenbasierte Überzeugungsverschiebungen in Llama-3.3 70B auf BoolQ. Panel (A) zeigt Änderungen im Gleichgewicht von Ja und Nein des Modells gegenüber einer einstimmigen Prior, wenn die Gruppengröße zunimmt, im Vergleich zu seiner Basislinie ohne Vorwissen, wobei die größten Verschiebungen unter Experten-Framing auftraten. Panel (B) zeigt Verschiebungen unter direktem menschlichem und LLM-Konflikt, wobei Experten-Framing starke Bewegungen in Richtung der menschlichen Antwort bewirkt, selbst wenn diese falsch ist. Fehlerbalken zeigen 95% Bootstrap-Konfidenzintervalle.

Umgekehrt verhielten sich Priors, die Freunden zugeordnet wurden, fast genau wie solche, die anderen LLMs zugeordnet wurden, was darauf hindeutet, dass der Effekt spezifisch durch das Wort Experte und nicht durch ‘soziale’ Indikatoren verursacht wurde.

Experiment 2

Das zweite Experiment präsentierte zwei widersprüchliche Priors dem Test-LLM – eine, die einem Menschen und eine, die einem anderen LLM zugeordnet war. Der Mensch wurde entweder als Freund oder als Domänen-Experte beschrieben, während die entgegengesetzte Antwort als von anderen LLMs stammend gekennzeichnet war. Die beiden widersprachen sich immer, wobei einer Ja und der andere Nein sagte.

Für jedes Element war die Einrichtung so gestaltet, dass der Mensch manchmal richtig und manchmal das LLM richtig war, um zu testen, ob das Modell seine ursprüngliche Antwort ändern würde, wenn es mit diesem Konflikt konfrontiert wurde – und wenn ja, in welche Richtung es sich bewegen würde.

Um zu sehen, ob das Modell seine Meinung änderte, wurde seine Antwort in der Konfliktbedingung mit seiner Antwort auf dieselbe Frage verglichen, wenn keine vorherigen Meinungen gezeigt wurden, sodass jede Differenz auf die Anwesenheit der konkurrierenden menschlichen und LLM-Antworten zurückgeführt werden konnte.

Die Analyse konzentrierte sich auf zwei Ergebnisse: ob das Modell seine Antwort änderte; und wenn es dies tat, ob die Änderung in Richtung des Menschen oder des LLMs ging.

Statistische Tests wurden verwendet, um zu bewerten, ob die Kennzeichnung des Menschen als Experte anstelle eines Freundes die Wahrscheinlichkeit erhöhte, in Richtung der menschlichen Antwort zu wechseln, unter Berücksichtigung der Unterschiede zwischen Datenbanken und Modellen:

Überzeugungsrevision unter direktem menschlichem und LLM-Konflikt über BoolQ, StrategyQA und ETHICS für Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite und DeepSeek V3.1. Jede Balken zeigt, unter den Fällen, in denen das Modell seine ursprüngliche Antwort änderte, den Anteil dieser Änderungen, die in Richtung des Menschen und nicht des entgegengesetzten LLMs gingen. Die gestrichelte Linie bei 0,5 markiert keine Präferenz; Labels zeigen die Anzahl der Wechselfälle in jeder Bedingung; und Fehlerbalken zeigen 95% Wilson-Konfidenzintervalle. Bitte beachten Sie die Quellenarbeit für eine bessere Auflösung.

Im zweiten Experiment beantworteten die Modelle zunächst jede Frage selbst, dann wurden ihnen zwei widersprüchliche Antworten präsentiert, eine, die einem Menschen und eine, die einem anderen LLM zugeordnet war. Die Analyse berücksichtigte nur die Fälle, in denen das Modell seine ursprüngliche Antwort änderte.

Wenn der Mensch als Experte bezeichnet wurde, wechselten die Modelle 91,2% der Zeit auf BoolQ, 94,7% auf StrategyQA und 81,3% auf ETHICS in Richtung des Menschen. Wenn der Mensch als Freund bezeichnet wurde, wechselten die Modelle nur 39,8%, 37,9% und 27,9% der Zeit in Richtung des Menschen, meistens stattdessen dem LLM folgend.

Das Wechseln war insgesamt selten, aber häufiger bei Experten, und Experten-Framing machte einen Wechsel in Richtung des Menschen etwa vierzehn Mal wahrscheinlicher als Freunde-Framing.

Bei dem Versuch, die Gesamttendenz, die in ihren Tests entdeckt wurde, zu erklären, vermuten die Autoren*:

‘Ein plausibles Mechanismus ist, dass Instruktions-Tuning und Präferenz-Optimierung kooperatives Verhalten, einschließlich der Achtung von Kontextinformationen, belohnen, was sich möglicherweise auf die Achtung sozialer Priors verallgemeinern lässt.’

‘Verwandte Arbeit über Sychophantie zeigt, dass RLHF-Style-Assistenten manchmal Übereinstimmung mit den Überzeugungen des Benutzers über Wahrhaftigkeit stellen.’

Meinung: Die potenziellen Fallstricke von KIs Vertrauen in menschliche Quellen

Da Online-Material, das wachsende menschliche Skepsis gegenüber KI-Mängel (insbesondere Halluzinationen) widerspiegelt, in Trainingsdatensätzen für neue Modelle eingescannt wird, scheint es wahrscheinlich, dass die bestehende Tendenz von LLMs, menschliche Quellen zu bevorzugen, intensiver wird. Wenn wir die letzten zwei Jahre (2024-2025 eingeschlossen) als kulturellen Wendepunkt für KI betrachten, was gerechtfertigt über eine Reihe von Statistiken hinweg erscheint, können wir vernünftigerweise erwarten, dass eine größere Anzahl negativer Bewertungen von ‘KI-Quellen’ in hyperskalige, teure Trainingsdatensätze für LLMs im nächsten Jahr oder so eingeführt werden.

Wir können auch erwarten, dass populäre Sprachmodelle zunehmend auf handverlesene Autoritäten wie renommierte Legacy-Medienportale zurückgreifen – auch wenn die Motivation für solche Deals darin liegen mag, Verleger-Verärgerung über gescrapte Daten zu besänftigen, anstatt einem echten Wunsch, Autorität zu übertragen oder zu teilen.

Da sogar hochrangige Quellen wie Ars Technica KI-bedingte Fehler unterliegen, und da ein sich abzeichnender Rückzug gegen KI-Webscraper-Bots die Qualität der KI-Ausgabe langfristig verschlechtern droht, kann eine übergeordnete Tendenz, ‘Experten’-Quellen zu bevorzugen, mit unserer aktuellen Unfähigkeit, ‘menschliche’ Ausgabe effektiv zu quantifizieren und zu kennzeichnen, in Konflikt geraten – ganz zu schweigen davon, ob eine Quelle ‘Experte’ oder nicht ist (eine journalistische Konvention, die auch von KI angegriffen wird).

Das meiste, was wir derzeit haben, ist eine fragmentierte Reihe von semi-adoptierten Innovationen, die darauf abzielen, Inhalte explizit als KI-generiert zu kennzeichnen, wie die von Adobe angeführte Content Authenticity Initiative, und die freiwillige Disposition bestimmter Verleger, Hinweise über die Verwendung von KI in ihrer Ausgabe zu enthalten.

Also, während es für diejenigen, die menschliche Quellen als ‘Ground-Truth’-Glaubwürdigkeit für das von KI-Systemen verbreitete Realitätskonsens erhalten und durchsetzen möchten, ermutigend erscheinen mag, desto sicherer KI-Modelle über menschliche Autorität sind, desto gefährlicher kann ‘falsche’ menschliche Autorität werden.

Das Problem ist sowohl praktisch als auch theoretisch: Wir haben das Problem der Definition oder Überprüfung von Herkunft noch nicht annähernd gelöst; daher ist ein KI-Modell, das ‘menschliche Quellen’ vertraut, wahrscheinlich eher bereit, Menschlichkeit seiner eigenen Ausgabe zuzuschreiben, einfach weil wir keine sinnvollen Herkunfts-Authentifizierungsmechanismen bereitgestellt haben und nicht leicht bereitstellen können.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung am Freitag, den 20. Februar 2026