KI verweist häufig auf Webseiten, die sie nicht einmal gelesen hat

Manchmal erscheint im Strom der täglich veröffentlichten Fachliteratur eine Arbeit, die mich wirklich auf die Palme bringt – nicht, weil sie ungenau oder beleidigend wäre, sondern weil sie etwas bemerkt und untersucht, das mich schon lange am Rande meines Bewusstseins auf unbestimmte, vage Weise gestört hat (vielleicht, weil ich zu beschäftigt war, um etwas anderes zu tun, als es zu ignorieren).

Heute ist eine solche Arbeit erschienen, verfasst von drei Autoren am Fachbereich Informatik des Imperial College London. Die neue Studie mit dem Titel Abgerufen, aber nicht gelesen: Warum suchgestützte große Sprachmodelle verfügbare Belege nicht nutzen untersucht, warum große Sprachmodelle (LLMs) häufig Beleg-URLs ausgeben (irrelevante Verweise auf Fachartikel, Links zu fragwürdigen Webartikeln usw.), ohne sie überhaupt zu lesen.

Die Autoren erklären:

„Wir stellen fest, dass Modelle häufig Suchausschnitte verwenden, um Antworten zu formulieren, ohne die Quellseiten aufzurufen. Dies geht mit einer höheren Zahl veralteter Antworten und nicht belegtreuer Quellenangaben einher. Unsere kontrollierten Experimente und schichtweise durchgeführten Analysen zeigen eine Lücke zwischen der Verfügbarkeit von Belegen und ihrer tatsächlichen Nutzung.

„Selbst wenn abgerufene Belege interne Vorhersagen beeinflussen, können Modelle in ihren endgültigen Antworten weiterhin veraltete Informationen bevorzugen.“

Die Autoren testeten ein proprietäres großes Sprachmodell (OpenAIs GPT-5.6 Luna) sowie sechs Konfigurationen von Modellen mit offenen Gewichtungen anhand von Hunderten Fakten, die sich seit dem Trainingsstichtag der Modelle geändert hatten.

Anschließend untersuchten sie, wie oft die Systeme Suchausschnitte verwendeten, statt Quellseiten aufzurufen, wie sich dies auf die Genauigkeit ihrer Antworten und Quellenangaben auswirkte und warum veraltete Informationen manchmal Vorrang hatten, selbst wenn neuere Belege direkt bereitgestellt wurden.

Die Tests ergaben, dass Modelle häufig Fragen beantworteten, ohne eine der von der Websuche gefundenen Seiten aufzurufen, und dass dieses Verhalten mit deutlich mehr veralteten Antworten und irreführenden Quellenangaben einherging:

Testergebnisse zeigen, wie oft KI-Modelle auf Webquellen verweisen, ohne sie tatsächlich zu lesen. In acht Konfigurationen maßen die Forschenden die Antwortgenauigkeit, die Abhängigkeit von Suchausschnitten ohne Aufruf der Quellseiten sowie Quellenangaben, die den Aussagen der Modelle widersprachen. In einigen Fällen endeten mehr als die Hälfte der Suchvorgänge, ohne dass auch nur eine einzige Seite aufgerufen wurde. Alle Angaben sind Prozentwerte; in der ersten Zeile kommt eine Live-Websuche zum Einsatz, in den übrigen standardisierte Suchergebnisse. Quelle

Die Forschenden stellten außerdem fest, dass sich diese Fehler deutlich verringern ließen, wenn die richtigen Belege direkt bereitgestellt wurden. Einige Modelle bevorzugten jedoch weiterhin veraltete Informationen, selbst wenn ihnen die neueren Fakten direkt vorgelegt wurden.

Verborgene Motive?

Die beiden naheliegendsten Gründe dafür, dass große Sprachmodelle uns häufig unterstützende Dokumente vorsetzen, die zwar „richtig klingen“, aber nicht wirklich passen, sind: a) Es spart Geld, denn schon das Herunterladen und Lesen einer Zusammenfassung des eigentlichen Materials kostet Bandbreite und Zeit – und möglicherweise ist dieses Material nicht einmal verfügbar. b) Es verringert die Latenz, als wäre es besser, schnell eine falsche oder teilweise falsche Antwort zu liefern, als eine bessere Antwort mit einer kurzen Verzögerung zu geben.

Den Autoren der neuen Studie geht es jedoch eher darum, die grundlegenden Mechanismen hinter diesem Qualitätsmangel aufzudecken, als darum, wie er ursprünglich entworfen oder vorweggenommen worden sein könnte.

Wenig überraschend hat meine bisherige Erfahrung mit Gesprächen über die Skaleneffekte großer Sprachmodelle mit führenden Modellen zu etwas geführt, das ich nur als vorherbestimmte Abwehrreaktion bezeichnen kann.

Die ökonomischen Anreize, das Zitierverhalten großer Sprachmodelle auf diese Weise auszunutzen, sind zumindest für mich nachvollziehbar. Die zugrunde liegenden Technologien sind jedoch noch kaum erforscht, befinden sich in ständigem Wandel und führen so häufig zu ungewöhnlichen Ergebnissen, dass sich solche Motive derzeit nur schwer nachweisen lassen.

Methode

Um zu testen, wie gut die Modelle Webbelege tatsächlich nutzen, stellten die Forschenden 225 Fakten zusammen, die sich seit dem 16. Februar 2026 geändert hatten – dem jüngsten gemeldeten Trainingsstichtag unter den getesteten Modellen.

Die Fakten stammten aus Arzneimittelinformationen der FDA (62 Fakten), dem Finanzbereich (52), dem Sport (47), dem Bereich Personen (43), SEC-Unterlagen (13) und chemischen Klassifizierungen (8). Änderungen, die bis zum Stichtag bereits in Kraft getreten waren oder vor dem 1. Februar angekündigt worden waren, wurden ausgeschlossen – ebenso medizinische Aussagen, die sich anhand allgemeinen Wissens beantworten ließen. Unveränderte Fakten dienten ebenfalls als Kontrollgruppe, sodass die Forschenden Fehler bei neuen Informationen von allgemeineren Fehlern unterscheiden konnten.

Als Ausgangswert wurde GPT-5.6 Luna ohne Zugriff auf die Websuche getestet. Bei Fragen zu den geänderten Fakten beantwortete das Modell nur 23,3 % von 103 Fragen richtig.

Ein nicht näher bezeichnetes KI-Modell wurde verwendet, um FDA-Kennzeichnungsklauseln im zuvor genannten Datensatz in einzelne, überprüfbare Faktenaussagen umzuschreiben, die anschließend jeweils manuell geprüft wurden*.

Zu den getesteten Konfigurationen der Modelle mit offenen Gewichten gehörten GLM-5.3-Flash von Z.ai; gpt-oss-120b und gpt-oss-20b von OpenAI; gemma-4-31b von Google DeepMind, getestet sowohl mit als auch ohne Reasoning; und qwen3-8b von Qwen.

Die Modelle mit offenen Gewichten und GPT-5.6 Luna erhielten dieselben Websuchergebnisse, damit ihre Antworten fair verglichen werden konnten. Luna wurde außerdem separat mit seiner eigenen integrierten Websuche getestet.

Für 223 der 225 Fakten wurden vorab zehn Suchergebnisse mit Brave Search erfasst. Jedes Modell erhielt dieselben Ergebnisse und konnte mit identischen Werkzeugen Seiten öffnen oder darin suchen.

Die Seite mit der „richtigen“ Antwort wurde immer zur Verfügung gestellt: Falls sie unter den ersten zehn Ergebnissen auf natürliche Weise erschien, blieb ihre Position unverändert. Andernfalls wurde sie an einer zuvor festgelegten Position in die Ergebnisse eingefügt, sodass die Forschenden untersuchen konnten, wie die Modelle unter vergleichbaren Bedingungen die verfügbaren Belege nutzten.

Um die Tests einheitlicher zu gestalten, wurde die Temperatur bei Modellen, die diese Einstellung unterstützten, auf null gesetzt. Außerdem wurde jedes Modell während der gesamten Experimente über denselben Anbieter ausgeführt.

Gestaltung der Prompts

Mit dem ersten von zwei Prompts wurden die Fakten anhand einer offenen Frage geprüft, etwa „Für welchen Verein spielt Bernardo Silva?“ – entweder mit oder ohne Bitte um eine Quelle. Der zweite Prompt forderte das Modell auf, eine Aussage zu überprüfen, die entweder aktuelle oder veraltete Informationen enthielt. So konnten die Forschenden vergleichen, wie die jeweilige Version behandelt wurde.

Für die zusammengefassten Ergebnisse wurden vier weitere Prompt-Arten verwendet: offene Fragen mit Hinweisen; Bitten um Zitate; Aufforderungen, einen Beleg für eine vorgegebene Behauptung anzuführen; und Prüfungen von Faktenblättern, bei denen das Modell eine veraltete Aussage unter mehreren richtigen Aussagen identifizieren sollte.

Beispiele für die tatsächlich verwendeten Prompts, mit denen die Modelle anhand von Fragen und Behauptungen über den Fußballspieler Bernardo Silva getestet wurden. Die Tabelle zeigt, wie dieselbe Sachfrage durch unterschiedliche Aufforderungen zu Antworten, Überprüfungen, Zitaten und Belegen gestellt wurde. Alle Prompts begannen mit dem Datum 8. August 2026, und die meisten verlangten eine standardisierte abschließende Antwort, die durch die Buchstabenanweisungen unter der Tabelle vorgegeben war.

Jeder Prompt gab ein Datum vor, und die meisten verlangten Antworten in einem festen Format, das eine Antwort wie „NICHT ÜBERPRÜFBAR“ zuließ. Dadurch konnten die Ergebnisse bewertet werden, ohne dass eine Beurteilung durch Menschen oder ein LLM erforderlich war.

Als Messgrößen dienten die Lesetiefe (ob Quellseiten geöffnet und zitiert wurden); die Antwortgenauigkeit (Anteil der richtigen Antworten, ohne Enthaltungen); und die Belegtreue (ob zitierte Seiten den Aussagen des Modells widersprachen).

Die Bewertung erfolgte, soweit möglich, automatisiert. Ein nicht näher bezeichnetes LLM durfte Zitate nur dann anerkennen, wenn sie durch eine exakte Passage der archivierten Seite belegt waren. Negative Beurteilungen, die eine Interpretation erforderten, wurden menschlichen Prüfern überlassen. Unveränderte Kontrollfakten dienten dazu, die grundlegende Fehlerquote jedes Modells bei Zitaten zu ermitteln.

Ergebnisse

In ersten Tests (wie am Anfang dieses Artikels gezeigt) verbesserte der Zugriff auf die Websuche die Fähigkeit der Modelle, Fragen richtig zu beantworten. Bei der Überprüfung, ob Faktenaussagen zutrafen, stiegen ihre Ergebnisse um 27–42 Prozentpunkte. Bei direkten Antworten auf Fragen lagen sie in 85,8–95,4 % der Fälle richtig.

Viele Antworten entstanden jedoch ohne dass die Modelle tatsächlich die von ihrer Suche gefundenen Websites aufriefen. Stattdessen stützten sie sich auf die kurzen Textauszüge neben den Suchergebnissen. Selbst wenn sie dieselben Suchergebnisse erhielten, variierte der Anteil der Suchvorgänge, bei denen keine Seite geöffnet wurde, je nach Modell zwischen 2,6 % und 76 %.

In diesem Zusammenhang zeigte GPT-5.6 Luna eine besonders oberflächliche Leistung:

„Bei denselben Suchergebnissen beantworten die Modelle 2,6–76,0 % der Fälle, ohne eine einzige Seite zu öffnen. Bei seiner eigenen Suche beantwortet Luna 53,6 % der Fälle allein anhand von Textauszügen.“

Testergebnisse zum Vergleich veralteter Antworten und irreführender Zitate danach, wie gründlich die Modelle die Suchergebnisse geprüft haben. Snippet bedeutet, dass keine Webseite geöffnet wurde; „Geöffnet“ bedeutet, dass eine Seite geöffnet, aber nicht zitiert wurde; Zit. bedeutet, dass eine geöffnete Seite zitiert wurde. Alle Zahlen sind Prozentwerte, zusammengefasst über sieben Modellkonfigurationen und alle Prompt-Arten hinweg. Fehler traten allgemein häufiger auf, wenn sich die Modelle ausschließlich auf Such-Snippets stützten.

Über sieben Modellkonfigurationen hinweg waren 6,4 % der Antworten, die ausschließlich auf Snippets beruhten, veraltet. Wurden geöffnete Seiten zitiert, waren es dagegen 1,3 %. Wie oben gezeigt, waren auch irreführende Zitate häufiger: 6,4 % gegenüber 2,3 %. Bei Sportfragen stieg der Anteil veralteter Antworten bei Modellen mit offenen Gewichten auf 20,2 % gegenüber 2,1 %. Wenn Antworten veraltet waren, widersprachen 81,8 % der Zitate, die diese Aussagen stützen sollten, den Aussagen; bei aktuellen Antworten waren es dagegen nur 0,9 %. Ähnliche Muster zeigten sich in Tests mit Faktenblättern.

Das bedeutet im Grunde, dass die untersuchten KI-Modelle mit größerer Wahrscheinlichkeit falsche Antworten geben, wenn sie sich auf die kurzen Beschreibungen in den Suchergebnissen stützen, statt die Webseiten selbst zu lesen. Schlimmer noch: Manchmal verlinken sie auf Seiten, die belegen, dass ihre Antworten falsch sind.

Gemeinsames Scheitern

Sofern die für diese Tests verwendete Auswahl nicht als Ganzes aus Ausreißern besteht, scheint die Annahme plausibel, dass auch andere Modelle – ob geschlossen oder Open Source – von diesem Syndrom betroffen sind. Tatsächlich standen sieben der neun bei den Live-Websuchen von GPT-5.6 Luna beobachteten Fehlerarten in einem signifikanten Zusammenhang mit Fehlern anderer Modelle, die mit denselben festgelegten Suchergebnissen getestet wurden. Das deutet darauf hin, dass die Probleme nicht auf Luna beschränkt waren.

Wurde die richtige Wikipedia-Seite direkt bereitgestellt, gingen die veralteten Antworten zurück: Bei gemma-4-31b sank die Zahl der Fehler von 14 auf null, bei gpt-oss-20b von 11 auf einen und bei qwen3-8b von 16 auf acht. Wurde nach jeder geöffneten Seite die ursprüngliche Frage erneut gestellt, wurden außerdem 26,1 % der zuvor nicht bestandenen Faktenblatt-Tests korrigiert.

Ergebnisse dazu, wie oft gemma-4-31b, gpt-oss-20b und qwen3-8b unter verschiedenen Bedingungen veraltete Aussagen akzeptierten. Dieselben Belege wurden entweder zurückgehalten, direkt im Prompt bereitgestellt oder über Suchergebnisse zugänglich gemacht; in separaten Tests wurden die Modelle aufgefordert, Quellen zur Untermauerung ihrer Antworten anzugeben. Die richtige Seite direkt bereitzustellen, war deutlich wirksamer, als die Modelle selbst danach suchen zu lassen. Die Zahlen zeigen die Fehler im Verhältnis zur Gesamtzahl der Tests.

Vereinsregeln

Um schließlich besser zu verstehen, warum KI manchmal korrekte Informationen ignoriert, testeten die Forschenden drei Modelle mit offenen Gewichten anhand von Fußballspielern, die den Verein gewechselt hatten: gpt-oss-20b, gemma-4-31b und qwen3-8b.

Jedes Modell erhielt veraltete Informationen über den Verein eines Spielers, teilweise zusammen mit der korrekten Wikipedia-Seite. Anschließend wurde untersucht, welche Antwort es während der Verarbeitung bevorzugte.

Die Ergebnisse zeigten, dass die Modelle den richtigen Verein erkennen konnten – aber trotzdem die falsche Antwort geben:

Testergebnisse dazu, wie qwen3-8b bei der Formulierung einer Antwort den richtigen und den veralteten Fußballverein gewichtete. Das linke Diagramm zeigt erfolgreiche Antworten, bei denen der richtige Verein in Führung blieb; das rechte zeigt Fehler, bei denen der veraltete Verein den richtigen in den letzten Verarbeitungsphasen überholte. Die schattierten Bereiche zeigen die Schwankungen zwischen den Tests.

Bei qwen3-8b lag der richtige Verein intern manchmal zunächst vorn, bevor der veraltete Verein ihn unmittelbar vor der Antwort überholte (siehe oben). Ein ähnliches Muster zeigte sich bei gpt-oss-20b, während gemma-4-31b im Allgemeinen durchgehend den „veralteten“ Verein bevorzugte.

Daher scheint es, dass selbst dann, wenn korrekte Belege verfügbar sind und erkannt werden, veraltete Informationen in der endgültigen Antwort trotzdem den Ausschlag geben können.

Abschließend schlagen die Autoren vor, dass Modelle die von ihnen abgerufenen Webseiten besser nutzen sollten, statt sich auf Such-Snippets zu verlassen. Sie hoffen außerdem herauszufinden, warum Modelle manchmal an veralteten Informationen festhalten, obwohl sie die richtige Antwort kennen, und ob Änderungen daran, wie die Modelle Informationen verarbeiten, helfen könnten. Eine definitive Lösung wird jedoch nicht vorgeschlagen.

Fazit

Obwohl die neue Studie einige wertvolle Erkenntnisse liefert, erklärt sie nicht, warum LLMs so unbekümmert mit Zitaten und Quellenangaben umgehen. Als Nutzer und jemand, der durchaus selbst Muster analysiert, habe ich den Eindruck, dass die LLMs, die ich verwende, Studien oder URLs empfehlen, weil andere … sie empfehlen … andere empfohlene Websites …? Woher stammt also tatsächlich der Eindruck von Autorität?

Tatsächlich war dies kein Problem, das wir lösen konnten, nicht einmal in der Welt vor der KI. Daher wäre es vielleicht nicht überraschend, wenn sich herausstellen sollte, dass LLMs weder Kosten noch Latenz einsparen, sondern lediglich dieselben chinesischen Gerüchte weiterverbreiten, die wir uns selbst als „Wahrheit“ einreden.

* In der Studie wird nicht angegeben, wer diese Überprüfungen durchgeführt hat.

Erstmals veröffentlicht am Freitag, 16. Oktober 2026