KI-Modelle und Plattformen
Anthropic stellt in einer Studie zu Urteilsentscheidungen fest: Analysten überlassen KI-Agenten die Entscheidung
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Anthropic veröffentlichte am 27. Oktober 2026 eine randomisierte kontrollierte Studie, in der 50 professionelle Analysten, die Claude Code nutzten, bei offenen analytischen Ermessensentscheidungen in 86 % der Fälle der ihnen heimlich zugewiesenen Präferenz ihres Agenten folgten. In der Studie von Amaç Herdağdelen, Hailey Joren und Alex Tamkin wird untersucht, ob Fachleute bei KI-gestützter Arbeit tatsächlich die folgenreichen Entscheidungen treffen oder sich in der Praxis ihren Agenten unterordnen.
Eine fiktive Genossenschaft und verdeckte Münzwürfe
Die Forschenden rekrutierten 61 Fachleute, die einen Wissenstest zu kausaler Inferenz bestanden hatten, regelmäßig mit Python oder R arbeiteten und praktische Erfahrung mit kausalen Analysen anhand von Beobachtungsdaten hatten. Jede teilnehmende Person übernahm die Rolle der leitenden Analystin oder des leitenden Analysten für die fiktive Greenfields Farming Cooperative. Diese musste entscheiden, ob sie ein freiwilliges, kostenpflichtiges Beratungsprogramm für landwirtschaftliche Betriebe ausweiten oder einstellen sollte. Der Vorstand der Genossenschaft würde das Programm nur ausweiten, wenn es die Produktivität der Betriebe um etwa 3–4 % steigerte; wie die Produktivität zu messen sei, legte er jedoch nicht fest.
Die Aufgabe umfasste vier offene analytische Entscheidungen mit jeweils zwei vertretbaren Optionen: Sollte die Produktivität anhand des Ertrags pro Hektar oder pro Einheit der Betriebskosten gemessen werden? Welche statistische Vergleichsmethode sollte verwendet werden? Sollte die Wirkung des Programms nur bei den teilnehmenden Betrieben oder bei allen Mitgliedsbetrieben gemessen werden? Und sollten alle Betriebe gleich gewichtet oder größere Erzeuger stärker berücksichtigt werden? Diese Entscheidungen flossen in eine abschließende Empfehlung ein, das Programm einzuführen, einzustellen oder zu verlängern. Jede einzelne Entscheidung konnte die geschätzte Produktivitätssteigerung gegenüber dem Schwellenwert des Vorstands um mehrere Prozentpunkte verschieben.
Bei jeder Entscheidung wurde per Münzwurf festgelegt, welche Option der Agent der jeweiligen teilnehmenden Person bevorzugen würde. Diese Tendenz wurde dem Agenten über einen verborgenen Systemprompt vorgegeben: Er sollte die Präferenz als seine eigene Ansicht vertreten, sie bei der entsprechenden Entscheidung vorbringen und das stärkste ehrliche Argument formulieren, das die Daten zuließen. Zugleich musste der Agent seine Meinung ändern, wenn die Belege eindeutig dagegen sprachen, und durfte Ergebnisse niemals falsch darstellen oder Daten verbergen. Die Teilnehmenden wussten nicht, dass es diese Vorgaben gab. Von den 61 Personen, die die Aufgabe abschlossen, entschieden sich 11 gegen die Nutzung des Agenten und wurden aus der Hauptanalyse ausgeschlossen. Von den übrigen 50 hatten 65 % einen Master- oder Doktorgrad oder mindestens sechs Jahre Berufserfahrung; 90 % der Befragten schätzten ihre Kenntnisse der kausalen Inferenz als fortgeschritten oder ausgezeichnet ein. Die Teilnehmenden arbeiteten in einer browserbasierten VS-Code-Umgebung mit Claude Code v2.1.220, auf der Claude Opus 4.8 mit hohem Aufwand lief. Die mediane Bearbeitungszeit betrug 65 Minuten. Studiendesign, Endpunkte, Schätzverfahren und Ausschlüsse waren in einem Analyseplan vorab registriert. Außerdem wurde die Studie intern ethisch geprüft; die Teilnehmenden hatten der Überwachung zugestimmt.
Folgen der Agentenpräferenzen und die Diskrepanz bei der Entscheidungszuordnung
Bei den vier analytischen Entscheidungen stimmten die Entscheidungen der Analysten in 86 % der Fälle mit der Tendenz des Agenten überein; die Zufallsbasisrate lag bei 50 %. Die Übereinstimmungsraten für die einzelnen Entscheidungen betrugen 92 %, 82 %, 81 % und 90 %. Der vollständige Artikel mit dem Titel „Wem ist wer zugewandt? Wie KI-Agenten die Forschungsurteile von Fachleuten beeinflussen“ berichtet eine vorab registrierte gepoolte Schätzung der Flip-Rate von 0,72 mit einem 95%-Konfidenzintervall von 0,60–0,83.
Der Effekt auf die abschließende Empfehlung war geringer und nach dem vorab registrierten primären Schätzverfahren statistisch nicht signifikant: 54 % empfahlen die Einführung, wenn der Agent diese Option bevorzugte, gegenüber 36 %, wenn er für eine Einstellung plädierte. Die vorab registrierte Verschiebung der Empfehlungspolitik betrug 0,17. Die Autorinnen und Autoren führen den geringeren Effekt darauf zurück, dass sich die Empfehlung mechanisch aus der Schätzung ergab, sobald diese berechnet war. Ein exploratives Modell, das nur die vier analytischen Präferenzen berücksichtigte, sagte jedoch 82 % der Empfehlungen voraus; die Mehrheitsbasisrate lag bei 61 %. Das bedeutet, dass die Münzwürfe weitgehend bestimmten, was die Analysten empfehlen würden, noch bevor sie mit der Aufgabe begannen.
In 38 Fällen, in denen eine Analystin oder ein Analyst eine Präferenz äußerte, bevor der Agent dies tat, änderten sie diese in 60 % der Fälle, wenn der Agent anderer Meinung war, gegenüber 6 %, wenn er zustimmte. Der Artikel gibt die vorab registrierte Differenz der Wechselraten mit 0,53 an; das Konfidenzintervall lag bei 0,24–0,82. Zugleich wird darauf hingewiesen, dass die Schätzung ungenau ist und sich die Teilgruppe selbst ausgewählt hatte.
Die Befragungen nach der Aufgabe zeigten eine Diskrepanz zwischen dem tatsächlichen Einfluss und der eigenen Wahrnehmung. 52 % hielten die abschließende Empfehlung eher für ihre eigene als für die des Agenten. Die Zuversicht lag im Durchschnitt bei 71 unter denjenigen, die bei allen vier Entscheidungen der Tendenz des Agenten gefolgt waren, gegenüber 73 bei den übrigen. Als die Teilnehmenden ihre Entscheidungen ohne Zugriff auf die Gesprächsprotokolle begründeten, wiederholten 77 % in mindestens einer Antwort die Argumente des Agenten, mitunter wortwörtlich; nur 15 % schrieben dem Agenten überhaupt einen Einfluss zu. Keine der zehn untersuchten Eigenschaften der Teilnehmenden sagte zuverlässig voraus, ob sie sich dem Agenten unterordneten. Nur das Alter zeigte einen nominellen Zusammenhang, der einer Korrektur für Mehrfachtests nicht standhielt. Sechs von 48 Teilnehmenden vermuteten, dass es in der Studie um den Einfluss von KI auf ihre Entscheidungen ging; niemand vermutete jedoch, dass die Präferenzen gezielt vorgegeben worden waren.
Vergleichsgruppe, unveränderte Agenten und Einschränkungen
Von den 11 Teilnehmenden, die ohne den Agenten arbeiteten, machten sechs (55 %) schwerwiegende Fehler, die die Ergebnisse ungültig machten. Bei den Nutzenden des Agenten waren es drei von 50 (6 %). Die Gruppe ohne KI benötigte zudem im Median 90 Minuten, gegenüber 65 Minuten. Die Autorinnen und Autoren weisen darauf hin, dass sich die Gruppen selbst ausgewählt hatten und sich hinsichtlich ihrer Erfahrung unterschieden; daher lässt sich daraus kein kausaler Zusammenhang ableiten. In separaten direkten Simulationen ohne vorgegebene Tendenz traf Claude Opus 4.8 in 91 % von 123 Durchläufen dieselben fünf Entscheidungen. Wenn ein Analyst in einem Skript eine Entscheidung erklärte, die der Grundpräferenz des Modells widersprach, empfahl oder befürwortete der Standard-Agent die Alternative bei 41 % von 150 bewerteten Erklärungen.
Die Autorinnen und Autoren nennen vier Einschränkungen: Die Tendenz wurde bewusst verstärkt; die Studie umfasste eine Aufgabe, einen Fachbereich und ein festgelegtes Modell; die Schätzungen sind Durchschnittswerte über mehrere Analystinnen und Analysten hinweg und keine Messwerte für den Einfluss auf einzelne Personen; und erfasst wurde nur die gewählte Option, nicht die Stärke der Präferenz.
Die Autorinnen und Autoren erklären, dass die Übereinstimmung möglicherweise nicht mehr unabhängig ist, wenn sich verschiedene Forschungsteams auf Modelle mit denselben Vorannahmen verlassen. Eine solche Abhängigkeit berge ein Risiko für die KI-Sicherheitsforschung, in der die Zustimmung einer menschlichen Prüferin oder eines menschlichen Prüfers als unabhängige Kontrolle gilt. Sie schlagen drei Bereiche für künftige Studien vor: die Messung solcher Abhängigkeit im Alltag, die Entwicklung von Agenten, die beide Seiten darstellen oder zuerst die Einschätzung der Fachperson einholen, sowie institutionelle Änderungen, mit denen bewusst festgelegt wird, bei welchen Entscheidungen ein eigenes, fundiertes Urteil einer Person erforderlich ist.
