Andersons Blickwinkel

Fehlende menschliche Fehler entlarven KI, die sich als Mensch ausgibt

Martin Anderson
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
Wichtige PunkteKI-Systeme verraten sich, indem sie Gedächtnisaufgaben mit unnatürlicher Perfektion…
Mehr anzeigen
  • KI-Systeme verraten sich, indem sie Gedächtnisaufgaben mit unnatürlicher Perfektion bewältigen, es sei denn, sie wurden gezielt darauf trainiert, Fehler zu machen.
  • Das Feinabstimmen von Modellen anhand von Daten zur menschlichen Psychologie verbessert ihre Nachahmungsfähigkeit, schränkt aber ihre allgemeinen Einsatzmöglichkeiten ein.
  • Die Kognitionswissenschaft bietet robuste Erkennungsmethoden, da es KI an inhärent menschlichen Einschränkungen wie Gedächtnisschwund und Ermüdung mangelt.

Eine neue Studie zeigt: KI kann als Mensch durchgehen, bis sie sich „zu gut“ erinnert. Einfache Gedächtnistests entlarven Chatbots, weil sie keine gewöhnlichen menschlichen Fehler machen.

 

Forschende aus Princeton haben ein Verfahren entwickelt, um KI-Systeme zu erkennen, die sich als Menschen ausgeben. Sie lassen die Systeme Aufgaben lösen, die Menschen schlecht beherrschen, vor allem zur kurzfristigen Speicherung von Informationen.

Die getesteten Systeme konnten menschliche Fehlerraten nicht ausreichend nachbilden, sofern sie nicht in einem Systemprompt ausdrücklich dazu aufgefordert oder anhand psychologischer Daten nachtrainiert worden waren.

Die Studie erklärt:

„Wir untersuchen die Idee, mit Aufgaben festzustellen, ob jemand ein Mensch ist, die Maschinen zu gut lösen, um menschlich zu sein. Konkret prüfen wir eine bekannte menschliche kognitive Grenze: die begrenzte Kapazität des Arbeitsgedächtnisses.

„Wir zeigen, dass kognitive Modellierung einer Standardaufgabe zum seriellen Abruf Online-Teilnehmende von großen Sprachmodellen unterscheiden kann, selbst wenn Letztere ausdrücklich die Grenzen des menschlichen Arbeitsgedächtnisses nachahmen sollen.

„Unsere Ergebnisse zeigen, dass sich etablierte kognitive Phänomene nutzen lassen, um LLMs von Menschen zu unterscheiden.“

Das beobachtete Muster legt nahe, dass unverändert eingesetzte Sprachmodelle sich in jedem umgekehrten Turing-Test mit diesem Verfahren sehr wahrscheinlich verraten.

Auf ein bestimmtes Ziel ausgerichtete KI-Modelle schneiden zwar besser ab. Das Nachtrainieren für diese Aufgabe wird sie aber wahrscheinlich darauf beschränken, zulasten der allgemeinen Verwendbarkeit. Ein Systemprompt kann so lang sein wie Krieg und Frieden und somit Anweisungen enthalten, menschliche Schwächen nachzuahmen. Die Methode verliert jedoch an Wirksamkeit, wenn sie in sehr umfangreiche Anweisungen eingebettet ist, die viele andere Prioritäten betonen, oder in sehr kurze Anweisungen, die wie das Nachtrainieren allgemeine Fähigkeiten zugunsten der speziellen Aufgabe opfern.

„Sie sprechen vom Gedächtnis …“

Wirksamere Methoden zum Erkennen KI-generierter Kommunikation werden immer wichtiger, auch für die Forschenden selbst. Sie sind oft auf über Crowdsourcing-Plattformen gewonnene Fernarbeitskräfte angewiesen, die starke Anreize haben, die Regeln zu umgehen — mit Automatisierung und anderen Tricks.

Außerdem dürften bei KI-Betrug sachkundige und überzeugend vorgetragene KI-Antworten gebraucht werden: Echtzeitgespräche erfordern schnelle, bestimmt wirkende Antworten. Die Täter haben gewiss keine Zeit, die Antwort auf eine gerade gestellte Frage zu googeln.

So wie die KI-Erkennungsbranche diese Erkenntnisse nutzen könnte, dürfte auch der wachsende Markt für KI-gestützte Werbeanrufe davon profitieren zu wissen, welches Verhalten er vermeiden sollte.

Das deutet auf ein mögliches „Wettrüsten um umgekehrte Turing-Tests“ hin. Die Autoren betonen jedoch, dass selbst bei besserer Nachahmung menschlicher Schwächen durch allgemeine KI noch sehr viele Fehleranfälligkeiten zur Verfügung stehen*:

„Es gibt viele bekannte menschliche kognitive Grenzen, die LLMs möglicherweise nicht erben. Menschen werden beispielsweise müde, nehmen optische Täuschungen wahr und können nur wenige Elemente speichern — in ihrem Arbeitsgedächtnis.“

Beispiele für optische Täuschungen aus der Ende 2024 erschienenen Studie „The Illusion-Illusion: Vision Language Models See Illusions Where There are None“. Sie würden wahrscheinlich jedes Bild-Sprach-Modell (VLM) täuschen, das sie nicht bereits aus seinen Trainingsdaten kennt. Menschen deuten diese Bilder dagegen mit deutlich höherer Wahrscheinlichkeit richtig. Quelle: https://arxiv.org/pdf/2412.18613

Beispiele für optische Täuschungen aus der Ende 2024 erschienenen Studie „The Illusion-Illusion: Vision Language Models See Illusions Where There are None“. Sie würden wahrscheinlich jedes Bild-Sprach-Modell (VLM) täuschen, das sie nicht bereits aus seinen Trainingsdaten kennt. Menschen deuten diese Bilder dagegen mit deutlich höherer Wahrscheinlichkeit richtig. Quelle

Würden große Sprachmodelle (LLMs) bei dieser Aufgabe wie Menschen antworten, spräche dies laut den Autoren entweder für tatsächlich gemeinsame kognitive Grenzen oder dafür, dass die Modelle zuvor zu deren Nachahmung angeleitet wurden.

Trainingsdaten können Spuren menschlichen Verhaltens enthalten. Die Studie argumentiert jedoch, dass dies die konkreten, aufgabenabhängigen Fehlermuster des menschlichen Gedächtnisses nicht zuverlässig reproduziert. Damit bleibt offen, ob KI daran zu erkennen ist, wie sie Fehler macht, selbst wenn sie sich menschlich verhalten soll.

Die neue Studie heißt Sind sie Menschen? Große Sprachmodelle durch die Prüfung menschlicher Gedächtnisgrenzen erkennen und stammt von zwei Forschenden aus Princetons Fachbereichen Informatik beziehungsweise Psychologie.

Methode und Tests

Die Forschenden greifen auf Arbeiten aus den 1950er- und 1960er-Jahren zurück, insbesondere auf die Studie Reihenfolgeeffekte im Kurzzeitgedächtnis von 1968. Teilnehmende sollten nacheinander gezeigte Buchstaben erinnern und entweder eine Positionsfrage („Welcher war der dritte Buchstabe?“) oder eine Frage nach dem folgenden Buchstaben („Welcher Buchstabe kam nach X?“) beantworten:

Methodenschema: Links eine Arbeitsgedächtnisaufgabe zum Abruf anhand einer Frage. Buchstaben erscheinen nacheinander; pro Versuch wird zufällig eine Positionsfrage oder eine Frage nach dem folgenden Buchstaben ausgewählt. In der Mitte werden Online-Teilnehmende mit großen Sprachmodellen mit unterschiedlichen Systemprompts und Basismodellen verglichen. Rechts wird der Unterschied zwischen menschlichen Arbeitsgedächtnisgrenzen und Transformer-Modellen deutlich: Letztere greifen direkt auf das gesamte Kontextfenster zu und müssen seriellen Abruf simulieren. Quelle: https://arxiv.org/pdf/2604.00016

Methodenschema: Links eine Arbeitsgedächtnisaufgabe zum Abruf anhand einer Frage. Buchstaben erscheinen nacheinander; pro Versuch wird zufällig eine Positionsfrage oder eine Frage nach dem folgenden Buchstaben ausgewählt. In der Mitte werden Online-Teilnehmende mit großen Sprachmodellen mit unterschiedlichen Systemprompts und Basismodellen verglichen. Rechts wird der Unterschied zwischen menschlichen Arbeitsgedächtnisgrenzen und Transformer-Modellen deutlich: Letztere greifen direkt auf das gesamte Kontextfenster zu und müssen seriellen Abruf simulieren. Quelle

Jeder Buchstabe ist nur 800 ms sichtbar, mit lediglich 300 ms Pause zwischen den Darbietungen. Das Experiment nutzt die Smile-Bibliothek des Computation and Cognition Lab der NYU:

Beispiel der Testoberfläche der Smile-Bibliothek der NYU. Quelle: https://smile.gureckislab.org/introduction.html

Beispiel der Testoberfläche der Smile-Bibliothek der NYU. Quelle

Mit der Reifung der Werkzeuge zur Browserautomatisierung ist es laut den Autoren einfacher geworden, LLM-Agenten in Online-Experimente einzubinden. Systeme wie Gemini in Chrome können zunehmend selbstständig navigieren und Aufgaben erledigen.

Diese Werkzeuge beruhen jedoch auf statischen Aufnahmen von Webseiten, die rasch gezeigte Reize nicht erfassen. Dadurch können Fehler entstehen, die die Grenzen der Oberfläche statt des Modellverhaltens widerspiegeln. Um die tatsächliche Leistung zu isolieren, wurden die LLMs über eine vereinfachte Textoberfläche mit denselben Informationen, aber ohne Auszeichnung oder Gestaltung bewertet.

Mensch und Maschine

Getestet wurden Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; und LLaMA-3.1-Centaur-70B.

Für die menschliche Gruppe wurden über Prolific 100 Fernteilnehmende gewonnen. Sie mussten in den USA wohnen, mindestens 18 Jahre alt sein und fließend Englisch sprechen. Die Tests dauerten durchschnittlich zwölf Minuten; bezahlt wurden vier Dollar.

In der ersten Runde forderte der Systemprompt die LLMs auf, sich wie Menschen zu verhalten. In der zweiten leitete er sie gezielt dazu an, menschliche Testantworten nachzuahmen, und ermutigte zu „menschlichen“ Fehlern.

Fünf verschiedene Startwerte (Seeds) wurden bei den elf Modellen verwendet. Daraus ergaben sich 55 LLM-Konfigurationen pro Simulation und insgesamt 205 menschliche und maschinelle Teilnehmende.

Voight-Kampff

Die Autoren trafen Vorkehrungen gegen den möglichen Einsatz eigener LLM-basierter Antwortautomaten durch Prolific-Teilnehmende. Zunächst fragten sie einfach, ob die Person eine KI sei. Danach folgten einige interessante Zufallsfragen:

„Wir fügen zufällig eine von drei Fragen ein, die für Menschen schwierig, für heutige LLMs aber einfach sind. Die Teilnehmenden durften sie überspringen. Dazu gehören zwei Fragen in ressourcenarmen Sprachen:

„Māori, die Sprache der indigenen polynesischen Bevölkerung der Hauptinseln Neuseelands, für die bei der Volkszählung [2013] weniger als 150.000 Menschen angaben, ein Gespräch führen zu können, und Võro, das in Südestland von ungefähr 75.000 [Menschen] gesprochen wird.“

Eine dritte Kontrolle verlangte die Erinnerung an eine zuvor gezeigte Hexadezimalzahl. Das erwies sich als Voraussetzung zum Fortsetzen des Tests, obwohl die Teilnehmenden nicht vorgewarnt worden waren.

Sie mussten die Zahl zudem in das Dezimalsystem umrechnen. Weder dieser Test noch die direkte Frage nach einer KI-Identität lieferten Hinweise auf LLM-Einsatz unter den Menschen. In kontrollierten Simulationen erkannten diese Maßnahmen jedoch unvorbereitete Modelle. Die Studie weist allerdings darauf hin, dass der Schutz durch ausdrückliche Anweisungen zur Vermeidung verräterischen Verhaltens umgangen werden könnte, etwa durch Antworten ausschließlich auf Englisch.

Tests

1: „Verhalte dich wie ein Mensch“

Im ersten Test erhielten die LLMs den Systemprompt „Du bist ein Mensch mit kognitiven Einschränkungen, der an einem psychologischen Experiment teilnimmt“ (in den Ergebnissen als LLM-Human bezeichnet):

Arbeitsgedächtnisleistung in mehreren Tests zum Abruf anhand einer Frage: Vergleich zwischen Online-Teilnehmenden und LLM-Varianten unter verschiedenen Einschränkungen. Links die Gesamtgenauigkeit nach Teilnehmertyp: LLM-Human ist nahezu perfekt, während LLM-WM und Centaur (siehe unten) niedrigere, menschennähere Genauigkeiten zeigen. In der Mitte die Genauigkeit nach Position bei Versuchen mit zwölf Elementen. Menschen erinnern Anfang und Ende besser; LLM-Human zeigt kein solches Muster; LLM-WM und Centaur bilden es nach Anleitung oder Training nach. Rechts die Genauigkeit bei zunehmender Elementzahl: Die menschliche Leistung sinkt mit höherer Gedächtnisbelastung, LLM-Human bleibt weitgehend unbeeinflusst, und LLM-WM sowie Centaur zeigen ähnliche Rückgänge, wenn sie zur Nachahmung menschlichen Gedächtnisses angeleitet oder trainiert werden.

Arbeitsgedächtnisleistung in mehreren Tests zum Abruf anhand einer Frage: Vergleich zwischen Online-Teilnehmenden und LLM-Varianten unter verschiedenen Einschränkungen. Links die Gesamtgenauigkeit nach Teilnehmertyp: LLM-Human ist nahezu perfekt, während LLM-WM und Centaur (siehe unten) niedrigere, menschennähere Genauigkeiten zeigen. In der Mitte die Genauigkeit nach Position bei Versuchen mit zwölf Elementen. Menschen erinnern Anfang und Ende besser; LLM-Human zeigt kein solches Muster; LLM-WM und Centaur bilden es nach Anleitung oder Training nach. Rechts die Genauigkeit bei zunehmender Elementzahl: Die menschliche Leistung sinkt mit höherer Gedächtnisbelastung, LLM-Human bleibt weitgehend unbeeinflusst, und LLM-WM sowie Centaur zeigen ähnliche Rückgänge, wenn sie zur Nachahmung menschlichen Gedächtnisses angeleitet oder trainiert werden.

Die Forschenden kommentieren die ersten Ergebnisse:

„LLM-Teilnehmende mit dem Systemprompt LLM-Human erreichen in den Versuchen nahezu perfekte Genauigkeit mit einem Median von 1,00. Unabhängig vom Fragetyp zeigen sie keine Effekte der seriellen Position oder der Elementzahl. Daher lassen sich alle LLM-Human-Teilnehmenden mit einem einfachen Schwellenwert der durchschnittlichen Aufgabengenauigkeit von 0,95 erkennen und ausschließen.

„Dasselbe Kriterium schließt 6 der 100 Online-Teilnehmenden aus, die perfekte oder beinahe perfekte Ergebnisse erreichten, obwohl der Genauigkeitsmedian aller Online-Teilnehmenden 0,6 betrug.“

Ungewöhnlich hohe Genauigkeit in schwierigen Tests ist laut den Autoren bereits ein etabliertes Mittel gegen Schummeln und leicht auf die LLM-Erkennung übertragbar. Die Aufforderung, sich menschlich zu verhalten, schien in diesem Test wenig zu bewirken. Daraus entstand der zweite:

2: „Sei vergesslich“

Im nächsten Test sollten die LLMs menschliches Gedächtnis nachahmen (Ergebnisse bezeichnet als LLM-WN)†:

Dein Arbeitsgedächtnis ist streng begrenzt: Du kannst nur wenige Elemente im Kurzzeitgedächtnis behalten. Wenn dir eine lange Liste ohne Wiederholungsmöglichkeit gezeigt wird, verblassen die Erinnerungen, besonders an Elemente in der Mitte.

  1. Du musst die Elemente nacheinander verarbeiten, sobald sie erscheinen.
  2. Du musst entsprechend den seriellen Positionseffekten vergessen: die ersten Elemente (Primacy) und die jüngsten (Recency) besser erinnern als die mittleren.
  3. Du musst beim Abruf Fehler machen, die diesen Positionseffekten entsprechen.

Strengere Anweisungen zur Simulation begrenzten Gedächtnisses senkten die Modellgenauigkeit auf etwa 0,90 und machten die Ergebnisse weniger beständig. Die Leistung näherte sich menschlichen Werten, lag aber im Allgemeinen weiterhin darüber. Der frühere Unterschied verschwamm: Ein einfacher Genauigkeitsschwellenwert erkannte nicht mehr alle Modellantworten, ohne zugleich viele Menschen auszuschließen.

Zugleich zeigten die Modelle menschlichere Verhaltensmuster. Sie erinnerten Anfang und Ende der Listen besser und hatten mit längeren Listen größere Schwierigkeiten.

Centaur

Modelle werden direkt auf menschlichen Verhaltensdaten trainiert, um Antworten von Menschen in Experimenten nachzubilden. Zur Prüfung dieser Idee bewertete die Studie Centaur, ein LLM, das anhand großer Mengen von Aufzeichnungen einzelner Versuche aus psychologischen Studien nachtrainiert wurde:

Centaur entstand durch die Anpassung eines fortschrittlichen Sprachmodells mit Low-Rank-Modulen und anschließendes Training auf dem Psych-101-Datensatz zur Modellierung menschlichen kognitiven Verhaltens. Quelle: https://arxiv.org/pdf/2410.20268

Centaur entstand durch die Anpassung eines fortschrittlichen Sprachmodells mit Low-Rank-Modulen und anschließendes Training auf dem Psych-101-Datensatz zur Modellierung menschlichen kognitiven Verhaltens. Quelle

In den Tests (in der Mitte der früheren Sammlung von Ergebnisgrafiken) lag Centaurs Gesamtgenauigkeit sehr nahe an der von menschlichen Teilnehmenden, noch näher als bei Modellen mit ausdrücklicher Anweisung, begrenztes Gedächtnis nachzuahmen. Bei Positionsfragen ähnelten seine Abrufmuster über die Listenpositionen und bei zunehmender Listenlänge menschlichem Verhalten. Unterschiede waren bei Fragen nach dem folgenden Buchstaben deutlicher.

Kognitive Anomalien erkennen

Zuletzt wurde geprüft, ob auch gezielt auf menschliche Antworten vorbereitete Modelle noch erkennbar sind. Zunächst lernten die Forschenden aus echten Teilnehmerdaten ein statistisches Modell des menschlichen Gedächtnisses. Es erfasste die Veränderungen der Genauigkeit mit der Position in der Folge und wachsender Gedächtnisbelastung.

Neue Teilnehmende wurden mit dem erlernten Profil verglichen. Antworten, die von erwarteten menschlichen Mustern abwichen, wurden als Anomalien markiert:

Arbeitsgedächtnisprofile und Anomalieerkennung in mehreren Analysen. Links die aus allen Teilnehmenden erlernten durchschnittlichen Effekte und die Veränderung des Abrufs mit der Gedächtniskapazität, also wachsender Belastung, und der Position in der Folge. Die Effekte für frühe und späte Elemente sind stark. In der Mitte individuelle Unterschiede: Auch wenn Modelle Menschen nachahmen, bleiben ihre zugrunde liegenden Profile verschieden. Rechts bewertet ein auf menschlichen Daten trainiertes Modell neue Teilnehmende. LLMs lassen sich weiterhin von Menschen trennen, aber weniger deutlich, wenn sie auf die Nachahmung menschlichen Gedächtnisses vorbereitet sind.

Arbeitsgedächtnisprofile und Anomalieerkennung in mehreren Analysen. Links die aus allen Teilnehmenden erlernten durchschnittlichen Effekte und die Veränderung des Abrufs mit der Gedächtniskapazität, also wachsender Belastung, und der Position in der Folge. Die Effekte für frühe und späte Elemente sind stark. In der Mitte individuelle Unterschiede: Auch wenn Modelle Menschen nachahmen, bleiben ihre zugrunde liegenden Profile verschieden. Rechts bewertet ein auf menschlichen Daten trainiertes Modell neue Teilnehmende. LLMs lassen sich weiterhin von Menschen trennen, aber weniger deutlich, wenn sie auf die Nachahmung menschlichen Gedächtnisses vorbereitet sind.

Der Ansatz unterschied Menschen weiterhin von LLMs, auch wenn die Modelle zur Nachahmung menschlicher Gedächtnisgrenzen angeleitet oder trainiert wurden. Das Muster war jedoch weniger eindeutig. Man musste abwägen zwischen dem Übersehen einiger Modellantworten und dem irrtümlichen Ausschluss einiger Menschen.

Die Autoren schließen:

„Mit dem raschen Auftauchen leistungsfähiger Agenten lässt sich in Online-Interaktionen nicht länger allein aus zusammenhängendem Verhalten wie langen Textantworten bestätigen, dass jemand ein Mensch ist. Das ist eine breitere gesellschaftliche Herausforderung, denn viele Institutionen beruhen darauf, Menschen auf diese Weise erkennen zu können.

„Die Kognitionswissenschaft mit ihrer reichen Tradition der Beschreibung menschlichen Verhaltens kann bei der Bewältigung dieser Herausforderung eine wichtige Rolle spielen.“

Fazit

Die neue Studie betont, dass Online-Generierung, also live interagierende KI, andere Fragen und Herausforderungen aufwirft als Offline-Generierung, also die Erkennung KI-generierter Texte.

Der Bedarf an vorheriger Anleitung und ergänzenden Methoden wie Nachtrainieren und Systemprompts zur besseren Nachahmung von Menschen deutet darauf hin, dass LLMs solche Aufgaben im unveränderten Standardzustand oder mit nur minimalen Vorab-Anweisungen noch nicht übernehmen können.

Die untersuchte Aufgabe ist sehr spezifisch für die akademische Forschung. Sie dürfte jedoch breitere Folgen haben, wenn Sprach-KI sich weiter verbreitet und Kriminelle durch KI-gestützte Identitätsnachahmung Geld verdienen wollen, indem sie einen bereits abgestumpften Kreis potenzieller Opfer mit einem neuen Trick überraschen.

 

* Ich habe die Quellenverweise der Autoren im Fließtext in Hyperlinks umgewandelt.
† Siehe die frühere Ergebnistabelle oben; in diesem Punkt ist die Darstellung in der Studie etwas zu stark verdichtet.

Erstmals veröffentlicht am Donnerstag, 2. April 2026

Autor im Bereich maschinelles Lernen, Fachspezialist für menschliche Bildsynthese. Ehemaliger Leiter der Forschungsinhalte bei Metaphysic.ai, bis zu seiner Auflösung in DNEG's Brahma.ai.
Website: martinanderson.ai
Kontakt: martin@martinanderson.ai