Eine ‘Zen’-Methode, um Sprachmodelle vom Halluzinieren abzuhalten

Wenn man ChatGPT auffordert, eine zufällige Antwort auf eine Frage zu überprüfen, bevor man ein tatsächliches Problem löst, denkt es härter nach und gibt öfter die richtige Antwort – selbst wenn die vorherige ‘zufällige’ Antwort nichts mit der eigentlichen Frage zu tun hat.

Ein interessantes neues Papier aus China hat eine sehr kostengünstige Methode entwickelt, um Sprachmodelle wie ChatGPT vom Halluzinieren abzuhalten und die Qualität der Antworten zu verbessern: Das Modell soll zuerst eine völlig unabhängige Frage überprüfen:

Ein Beispiel für eine unabhängige Frage, die das ‘Gedächtnis’ eines LLM ‘befreien’ und es helfen kann, sich auf eine (reale) nachfolgende Anfrage zu konzentrieren. Quelle

Dieser Zen-Schlag ist eine unglaublich billige Möglichkeit, die Leistung zu verbessern, im Vergleich zu anderen, komplexeren Methoden wie Feinabstimmung, Prompt-Crafting und paralleles Sampling, und es funktioniert bei offenen und geschlossenen Modellen gleichermaßen, was darauf hindeutet, dass eine grundlegende Charaktereigenschaft von mehreren LLM-Architekturen entdeckt wurde (und nicht ein fragiler Tick, der spezifischen Trainingsmaterialien oder -methoden eigen ist).

Die Autoren skizzieren die Skaleneffekte, die durch die Verbesserung der Ausgabe auf diese spartanische Weise möglich sind*:

‘Um mit minimalen zusätzlichen Vorkenntnissen zu implementieren, benötigt VF nur eine zufällige/triviale Antwort in der Aufforderung. Der Überprüfungsprozess hat sich als viel weniger Ausgabe-Tokens als ein gewöhnlicher CoT-Pfad herausgestellt, [manchmal] sogar ohne expliziten Überprüfungsprozess, was [sehr] wenig zusätzliche Testzeit-Rechnung erfordert.’

In Tests konnte diese Methode – die als Verification-First (VF) bezeichnet wird – die Antworten in einer Vielzahl von Aufgaben verbessern, einschließlich mathematischer Argumentation, auf offenen und kommerziellen Plattformen.

Ein Teil des Grundes, warum diese Technik funktioniert, könnte in der Art und Weise liegen, wie Sprachmodelle Trends in der menschlichen Psychologie aufnehmen und anwenden, so dass eine direkte Frage das Modell ‘defensiv’ und ‘nervös’ machen kann, während eine Aufforderung, die Arbeit eines anderen zu überprüfen, diese ‘Überlebensinstinkte’ nicht anspricht.

Die Kernidee ist, dass das Überprüfen einer Antwort weniger Aufwand erfordert als die Erstellung einer Antwort von Grund auf, und dass es einen anderen Denkweg auslösen kann, der den Standard-Denkweg ergänzt.

Das Auffordern des Modells, eine gegebene Antwort (d. h. eine Antwort, die das Modell nicht selbst erstellt hat) zu kritisieren, kann auch eine Art kritisches Denken auslösen, das hilft, übermäßiges Vertrauen in die ersten Eindrücke des Modells zu vermeiden.

Die Arbeit charakterisiert den Prozess in Bezug auf einen umgekehrten Denkweg:

Beginnend mit einer vorgeschlagenen Antwort und rückwärts zur Frage hin, können Abkürzungen oder Erkenntnisse aufgedeckt werden, die schwerer zu finden sind, wenn man vom Problem aus vorwärts denkt. Dieser ‘umgekehrte Weg’ kann eine einfachere Traektorie verfolgen und ergänzende Informationen zum Standard-Denkweg liefern.

Die Forscher haben den zentralen Begriff auch in Iter-VF konkretisiert, einer sequenziellen Zeit-Test-Skalierungsmethode, die die Antworten iterativ verfeinert und das Fehler-Akkumulations-Problem vermeidet, das häufig in LLM-Architekturen vorkommt.

Die neue Arbeit trägt den Titel Das Auffordern von LLMs, zuerst zu überprüfen, ist fast ein kostenloses Mittagessen und stammt von zwei Forschern der Abteilung für Elektronik an der Tsinghua-Universität in Peking.

Methode

Die zentrale Idee hinter der neuen Arbeit ist, den üblichen Denkfluss in Sprachmodellen umzukehren. Anstatt das Modell auffordern, ein Problem von Grund auf zu lösen, erhält es zuerst eine Kandidaten-Antwort (oft falsch oder willkürlich) und wird aufgefordert, zu überprüfen, ob diese Antwort Sinn ergibt.

Dies fordert das Modell auf, rückwärts zu denken, von der vorgeschlagenen Antwort zurück zur Frage. Sobald die Überprüfung abgeschlossen ist, geht das Modell wie üblich zur Lösung des ursprünglichen Problems über.

Diese Umkehr, so behauptet das Papier, reduziert sorglose Fehler und fördert eine reflektiertere Art des Denkens, die dem LLM hilft, versteckte Strukturen aufzudecken und irreführende Annahmen zu vermeiden.

Wie in den folgenden Beispielen zu sehen ist, kann bereits die Aufforderung, eine offensichtlich falsche Vermutung wie ’10’ zu überprüfen, dem Modell helfen, sich von fehlerhafter Logik zu erholen und die Standard-Denkweg-Aufforderung zu übertreffen:

Das Auffordern des Modells, eine vermutete Antwort zuerst zu überprüfen, hilft ihm, Inkonsistenzen zu erkennen und sich sorgfältiger mit dem Problem auseinanderzusetzen. In diesem Beispiel führt der Standardansatz zu einer flüssigen, aber falschen Lösung, während die Verification-First-Aufforderung eine klarere logische Struktur und das richtige Ergebnis auslöst.

Was viele reale Probleme betrifft, ist es nicht leicht, eine Vermutung für das Modell zu liefern, insbesondere wenn die Aufgabe offen ist, wie z. B. das Schreiben von Code oder das Aufrufen einer API. Um besser anzupassen, gibt die Methode zunächst die beste Antwort wie üblich und füttert diese Antwort dann in das Verification-First-Format ein. Auf diese Weise überprüft das Modell und verbessert seine eigene Ausgabe:

Wenn das Modell aufgefordert wird, seine eigene vorherige Ausgabe zu überprüfen, erkennt es den Fehler in seiner Logik und schreibt die Lösung richtig. Die Verification-First-Aufforderung hilft ihm, sich auf den spezifischen Fehler zu konzentrieren und nicht denselben Fehler zu wiederholen.

Diese Methode stellt die oben erwähnte Iter-VF dar. Das Modell wiederholt diesen Zyklus und verfeinert seine Antwort jedes Mal, ohne dass eine Neuausbildung oder spezielle Werkzeuge erforderlich sind. Im Gegensatz zu anderen Selbstkorrektur-Strategien, die früheres Denken ansammeln und das Modell verwirren können, betrachtet Iter-VF nur die aktuellste Antwort bei jedem Schritt, was hilft, seine Argumentation klar zu halten.

Daten und Tests

Die Autoren bewerten die Methode in vier Bereichen: allgemeine Denkaufgaben, bei denen VF mit einer trivialen Vermutung gespeist wird; zeitkritische Aufgaben, bei denen Iter-VF mit anderen Skalierungsstrategien verglichen wird; offene Probleme wie das Schreiben von Code und API-Aufrufen, bei denen VF die eigene vorherige Antwort des Modells verwendet; und geschlossene kommerzielle LLMs, bei denen interne Denkschritte nicht zugänglich sind.

Zum Testen der Methode verwendeten die Forscher drei Denkbänke: GSM8K und MATH500 für mathematische Probleme; und GPQA-Diamond für Fragen auf Graduiertenebene.

In jedem Fall erhielt das Modell entweder eine triviale Vermutung, wie z. B. ‘1’ für numerische Antworten; oder eine zufällig angeordnete Multiple-Choice-Option als Ausgangspunkt für die Überprüfung. Es wurden keine speziellen Anpassungen oder Vorkenntnisse hinzugefügt, und der Vergleichsgrund war die Standard-Null-Shot-Denkweg-Aufforderung.

Die Tests liefen über eine vollständige Reihe von Qwen2.5 und Llama3 anweisungsorientierte Modelle, von 1B bis 72B (Parameter) in Größe. Die verwendeten Qwen-Modelle waren Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct und Qwen2.5-72B-Instruct. Die Llama3-Varianten waren Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct und Llama3.3-70B-Instruct.

Wie unten zu sehen ist, hielt die Verbesserung durch die Verification-First-Aufforderung über alle Modellgrößen hinweg an, mit klaren Gewinnen, die sogar bei 1B Parametern und weiter bis 72B sichtbar sind:

Über alle Modellgrößen in den Qwen2.5- und Llama3-Familien hinweg übertraf die Verification-First-Aufforderung konstant die Standard-Denkweg-Aufforderung bei GSM8K, MATH500 und GPQA.

Der Effekt erwies sich als stärkstens bei rechenintensiven mathematischen Benchmarks wie GSM8K und MATH500, bei denen die Überprüfung einer falschen Antwort zu besseren Denkprozessen führte als das Lösen von Grund auf. Bei GPQA-Diamond, das mehr auf gespeichertes Wissen als auf deduktive Struktur angewiesen ist, war der Vorteil geringer, aber konstant.

Der Rechenaufwand für die Verification-First-Methode war bescheiden: In der folgenden Tabelle kann man sehen, dass die Generierung eines Überprüfungsschritts etwa 20-50% mehr Ausgabe-Tokens im Vergleich zur Standard-Denkweg-Aufforderung hinzufügte:

Die durchschnittliche Anzahl der generierten Ausgabe-Tokens unter jeder Aufforderungsmethode, über GSM8K-, MATH500- und GPQA-Benchmarks hinweg.

Trotzdem blieb der zusätzliche Aufwand weit unter dem, der für Strategien erforderlich ist, die mehrere abgetastete Vervollständigungen oder rekursive Planung erfordern.

In dem folgenden Diagramm kann man sehen, wie empfindlich die Methode auf die Qualität der vermuteten Antwort reagiert. Überraschenderweise übertraf die Verification-First-Aufforderung die Standard-Aufforderung, selbst wenn die Vermutung trivial (‘1’), unplausibel (‘2025’) oder eine zufällige Multiple-Choice-Option war:

Genauigkeitsgewinne durch die Verification-First-Aufforderung, wenn das Modell triviale, unplausibele oder richtige Antworten zur Überprüfung erhält, über GSM8K, MATH500 und GPQA hinweg.

Wie erwartet, stiegen die Genauigkeitswerte noch höher, wenn die Vermutung zufällig die richtige Antwort war; aber die Methode funktionierte gut unabhängig davon, was darauf hindeutet, dass die Gewinne nicht durch die Information in der vermuteten Antwort selbst getrieben wurden, sondern einfach durch die Tat der Überprüfung.

Iter-VF wurde auch mit vier Testzeit-Skalierungsstrategien verglichen, die ohne Neuausbildung oder Aufgaben-spezifische Anpassung funktionieren. Bei Selbstkorrektur wurde das Modell aufgefordert, seine Antworten durch Nachdenken über vorherige Denkschritte zu überarbeiten; bei PHP wurden vorherige Antworten dem Eingabe-Text als Kontext-Hinweise hinzugefügt, ohne Anweisungen darüber, wie sie verwendet werden sollten.

Darüber hinaus wurde bei Selbstkonsistenz mehrere Denkwege abgetastet und die endgültige Antwort durch Mehrheitsentscheid gewählt; und schließlich bei Best-of-N wurden mehrere Ausgaben unabhängig generiert und unter Verwendung einer Überprüfungs-Aufforderung bewertet, wobei die höchstbewertete Antwort ausgewählt wurde.

Zwei Varianten von Iter-VF wurden implementiert: Eine, die mit einer trivialen Vermutung (‘1’) initialisiert wurde, und eine andere, die mit einer Standard-CoT-Ausgabe gespeist wurde:

Genauigkeit und Token-Effizienz auf MATH500 unter zunehmendem Ausgabe-Budget, zeigend, dass beide Iter-VF-Varianten alle Baselines über alle Modellgrößen hinweg übertrafen.

Iter-VF ergab bessere Ergebnisse als alle anderen Methoden, wenn der verfügbare Rechenaufwand gering war, was die Autoren der Tatsache zuschrieben, dass es Antworten überprüft, und nicht, wie gut die anfänglichen Antworten waren (da sowohl VF als auch CoT-Varianten schnell ähnliche Genauigkeitswerte erreichten).

PHP schnitt schlechter ab, obwohl es frühere Antworten als Hinweise wiederverwendete, wahrscheinlich weil LLMs diese Hinweise nicht gut ausnutzten.

Im Gegensatz zu PHP und Selbstkorrektur, die Kontext über Iterationen ansammeln, betrachtet Iter-VF nur die aktuellste Antwort bei jedem Schritt. Dieser markovianische Ansatz vermeidet die kumulierte Verwirrung von verlängerten Denkketten – eine Schwäche, die besonders schädlich für Selbstkorrektur ist.

Parallele Methoden wie Selbstkonsistenz und Best-of-N vermeiden dieses Problem, obwohl ihre Verbesserungen langsamer und bescheidener sind.

(Hinweis: Der Ergebnisteil ist, obwohl gründlich, ein unangenehmer und umfangreicher Lesestoff, und wir müssen an diesem Punkt den größten Teil der verbleibenden Berichterstattung kürzen und den Leser auf das Quellen-Papier für weitere Details verweisen).

Wenn auf GPT-5 Nano und GPT-5 Mini getestet, geschlossenen kommerziellen Modellen, die den vollständigen Denkprozess verbergen und nur die endgültige Antwort zurückgeben, verbesserte Iter-VF die Leistung, ohne auf Zwischen-Ausgaben angewiesen zu sein. In der folgenden Tabelle kann man Gewinne über MATH500 und GPQA hinweg sehen, was bestätigt, dass der verify-then-generate-Ansatz auch dann noch funktioniert, wenn nur Eingabe und endgültige Antwort zugänglich sind:

Genauigkeit auf MATH500 und GPQA, wenn Iter-VF auf GPT-5-Modelle mit versteckten Denkprozessen angewendet wird.

Schlussfolgerung

Obwohl das neue Papier in den Ergebnisteil hinein in Unklarheit abrutscht, ist die offensichtliche Entdeckung einer umfassenden Eigenschaft in einer Klasse von KI-Modellen dennoch eine faszinierende Entwicklung. Jeder, der regelmäßig ein LLM verwendet, hat instinktiv eine Reihe von Tricks entwickelt, um die Mängel der Modelle zu umgehen, da jeder Mangel mit der Zeit offensichtlich wird und ein Muster entsteht; und alle hoffen, einen ‘Trick’ zu finden, der so anwendbar und allgemein ist wie dieser.

Eines der größten Probleme bei der Implementierung und Aktualisierung eines Kontext-Fensters in einem LLM ist es, ein Gleichgewicht zwischen der Beibehaltung des Sitzungsfortschritts und der Fähigkeit zu finden, in neue Richtungen vorzustoßen, ohne in irreführende Halluzinationen oder unzutreffende Ausgaben zu verfallen. Im Fall, der durch das neue Papier präsentiert wird, sehen wir ein Beispiel für einen sanften, aber beständigen ‘Weckruf’, der das LLM zu konzentrieren und zurückzusetzen scheint, ohne den Kontext zu verlieren. Es wird interessant sein zu sehen, ob nachfolgende Projekte diese Methode anpassen und weiterentwickeln.

Die Forscher betonen die enorme Wirtschaftlichkeit ihrer neuen Methode – eine Überlegung, die vor nur 12 Monaten viel weniger Gewicht gehabt hätte. Heute machen die Auswirkungen von Hyperscale-KI klar, dass Ressourceneinsparungen, die in der ‘reinen Forschung’ als pedantisch angesehen wurden, jetzt von entscheidender Bedeutung sind.

* Bitte beachten Sie, dass ich aus Gründen der Lesbarkeit darauf verzichtet habe, die übliche Anzahl von Zitaten aus dem Papier zu verwenden, da der Standard des Englisch in einigen Teilen des Papiers den Leser verwirren könnte. Stattdessen habe ich mich dafür entschieden, die wichtigsten Erkenntnisse zusammenzufassen, und verweise den Leser auf das Quellen-Papier für weitere Informationen.

Erstveröffentlichung: Donnerstag, 4. Dezember 2025