Eine “Wahrheitsregler” für Sprachmodelle

Wahr oder plauderhaft: Wählen Sie eines. Ein neues Trainingsverfahren ermöglicht es Benutzern, AI-Chatbots genau zu sagen, wie “sachlich” sie sein sollen, und wandelt Genauigkeit in einen Regler, den man hoch- oder herunterdrehen kann.

Eine neue Forschungskooperation zwischen den USA und China bietet etwas, das fast alle Benutzer von AI-Chatbots zu schätzen wissen: einen virtuellen “Knopf”, der dem Bot sagt, ob er “plauderhaft” oder “wahrheitsgetreu” sein soll.

Das System wurde durch Feinabstimmung eines Mistral-7B-Modells auf synthetischen Daten erstellt, sodass die Schemata für eine “Wahrheits”-Skala auf das Modell aufgeprägt werden konnten. Nach dieser Überarbeitung kann das Mistral-Modell die Anzahl der Fakten in einer Antwort kontrollieren; je höher der “Wahrheits”-Wert, den der Benutzer angibt, desto weniger – aber sicherere – wird die kürzere Antwort.

Bei niedrigeren Einstellungen wird die Antwort des Chatbots zu dem, was die Autoren des Papiers “informativ” nennen, d. h. sie wird eine längere Antwort geben und mehr Fakten enthalten; jedoch können einige der Fakten halluziniert sein.

Die synthetischen Daten, auf denen das System trainiert wurde, verwendeten Wikipedia als Referenz für ein Testdomän: reale biografische Fakten über Personen. Egal, ob man denkt, dass Wikipedia eine autoritative Quelle sein sollte oder nicht, der Wert der Arbeit liegt in der Entwicklung jeder Art von System, das LLMs’ native Verlangen nach Antworten einschränken kann, selbst wenn es keine Antworten gibt.

Ein Beispiel aus dem FactScore-Projekt, das die Kuratierung des Datensatzes für das hier besprochene Papier ermöglichte, unter Verwendung von Wikipedia als Referenzautorität für biografische Details. Quelle

Die Autoren bemerken, dass hochsichere Kontexte wie medizinische und juristische Domänen konservative und zuverlässig faktische Ausgaben erfordern, während viele andere Arten von Benutzern eine flexiblere und kreativere, interpretierende Art von Ausgabe benötigen (z. B. diskursive Schreibweise und akademische Analyse).

Sie beobachten*:

‘[Aktuelle] LLMs bieten keine integrierte Mechanik, um diesen Kompromiss zu steuern.

‘Wenn Benutzer versuchen, das Verhalten des Modells mit Prompts wie “seien Sie sachlicher” zu steuern, stellen wir fest, dass frontier-Modelle ihre Ausgaben nicht zuverlässig anpassen, um auf solche Prompts zu reagieren.

‘Auf FactScore, stellen wir fest, dass Modelle oft nicht einmal moderate bis strenge Ziele erfüllen. Diese Lücke motiviert eine steuerbare Alternative, die es Benutzern ermöglicht, ein bestimmtes Maß an Sachlichkeit anzufordern und das Modell entsprechend anzupassen.’

Nur die Fakten

Um das Papier und die Lösungen, die es anbietet, zu verstehen, ist es notwendig, seine eigene Definition von “Informativität” zu überdenken. Die Autoren stellen fest, dass die Quantifizierung einer informativen Antwort gleich ‘der Menge an unterstütztem Inhalt in der Ausgabe, gemessen als die Anzahl validierter atomarer Aussagen, normalisiert durch die Länge der Ausgabe’ ist.

Anderswo im Papier wird die Informativität einfacher definiert als ‘die Gesamtzahl der atomaren Fakten in der Ausgabe, ob korrekt oder nicht’.

Weiterhin bemerken die Forscher, dass LLMs’ Neigung, zwischen faktischer Genauigkeit und subjektiven Vermutungen zu schwanken, ein sehr menschliches Merkmal ist und durch diverse wissenschaftliche Studien* belegt wird:

‘[LLMs’ Wissen] ist ungleichmäßig zuverlässig: einige Aussagen sind stark unterstützt, während andere spekulativ, veraltet oder unsicher sind. Die Generierung erfordert daher, zu entscheiden, wie viel man sagt und wie vorsichtig man es sagt, was eine Spannung zwischen faktischer Präzision und Informativität erzeugt.

‘Menschen treffen ähnliche Entscheidungen: sie beginnen mit hochzuverlässigen Fakten und fügen weniger sichere Details nur dann hinzu, wenn sie darum gebeten werden.’

Obwohl Experimente nur mit dem mittelgroßen Mistral-Modell durchgeführt wurden, sollten die angewandten Prinzipien auf verschiedenen Skalen und Plattformen funktionieren, da es sich um eine neuartige Quantifizierung von Daten handelt, die als Ergänzung zum internen Schema eines LLMs dienen; und eine solche Änderung ist nicht architekturabhängig.

Das neue Papier trägt den Titel Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation und stammt von sieben Forschern aus der Columbia University, der New York University und der NYU Shanghai.

Methode und Daten

Der im Papier vorgestellte neue Ansatz wird als Factuality-Controlled Generation (FCG) bezeichnet und führt einen virtuellen Regler ein, der es Benutzern ermöglicht, anzugeben, wie genau sie eine Antwort des Chatbots haben möchten. ‘Im Wesentlichen’, so das Papier, ‘verbessert FCG das Modell mit einem steuerbaren “Knopf” für Sachlichkeit’.

Das Modell nimmt sowohl eine Benutzerfrage als auch ein gewünschtes Maß an Sachlichkeit entgegen und generiert dann eine Antwort, die nur Informationen enthält, die es für ausreichend zuverlässig hält, während es gleichzeitig versucht, so detailliert wie möglich innerhalb dieser Zuverlässigkeitsbeschränkung zu sein.

Mithilfe des (oben verlinkten) FactScore-Systems wird die segmentierte Ausgabe von Beispielanfragen auf Genauigkeit bewertet, die als factuality adherence definiert ist:

Trainingsdaten-Pipeline für FCG: ein Sprachmodell generiert eine erste Antwort, bricht sie in atomare Fakten auf, bewertet sie nach Zuverlässigkeit und verwirft die wenigsten zuverlässigen, bis das gewünschte Wahrheitsniveau erreicht ist. Quelle

Weil kein bestehender Datensatz den Anforderungen von FCG entsprach, erstellten die Autoren einen synthetischen Datensatz, indem sie das GPT-4^†-Sprachmodell zunächst eine unbeschränkte Antwort generieren ließen, dann die “niedrigsten Zuverlässigkeits”-Fakten entfernten, bis die Antwort einem bestimmten Genauigkeitsniveau entsprach.

Frühere Arbeiten deuteten darauf hin, dass das Training nur auf Ground-Truth-Daten tatsächlich Modelle weniger sachlich machen könnte, indem es sie davon abhält, überhaupt Details anzubieten. Daher wurden die FCG-Trainingsbeispiele minimal bearbeitet, wobei die eigene Formulierung und der Rhythmus des Modells erhalten blieben, während nur so viel bearbeitet wurde, um das erforderliche Zielvertrauen zu erreichen.

Indem dieser Bearbeitungsprozess auf eine Reihe von Zielzuverlässigkeitsniveaus von 10% bis 100% angewendet wurde, wurde ein synthetischer Datensatz erstellt, in dem jede Frage mit mehreren gefilterten Antworten gepaart wurde.

In jeder Version wurden nur die Fakten beibehalten, die vom Modell als ausreichend zuverlässig angesehen wurden, um das angeforderte Maß an Sachlichkeit zu erreichen; diese Beispiele wurden dann als Trainingsdaten für die überwachte Feinabstimmung verwendet.

Der endgültige Datensatz bestand aus 3.302 (Frage, Steuerung, Antwort)-Tripeln für das Training und 396 für die Validierung, die aus 500 Entitäten bestanden, die in 450 für das Training und 50 für die Entwicklung aufgeteilt wurden. Zusätzlich wurden 183 verschiedene Entitäten für Tests verwendet.

Training und Tests

Die Autoren feinabstimmten das Mistral-7B-Instruct-v0.2-LLM-Modell bei verschiedenen Lernraten (3e-6, 1e-5, 3e-5) für 30 Epochen bei einer Batch-Größe von 256 (n. b. die Trainingshardware ist nicht angegeben).

FCG wurde gegen zwei Baselines getestet. Die erste war Keine Sachlichkeitskontrolle (NFC), bei der das Modell einfach mit einer Anfrage wie Erzählen Sie mir eine Biografie von X promptet wurde, ohne jegliche Erwähnung von Genauigkeit oder Zuverlässigkeit. Diese Version spiegelt das Standardverhalten eines LLMs ohne jegliche Mechanik zur Filterung oder Einschränkung wider.

Die zweite Methode, Sachlichkeitskontrollierte Inferenz (FCI), verwendete dieselben Zuverlässigkeitsprompts ohne Feinabstimmung. Zum Beispiel könnte das Modell mit ‘Geben Sie Informationen aus, die Sie zu 90% sicher sind’ promptet werden. In diesem Fall ähnelte die Anweisung denjenigen, die während des Trainings verwendet wurden, aber das Modell hatte keine vorherige Ausbildung mit solchen Einschränkungen:

Vergleich der drei getesteten Ansätze: die Baseline ohne Kontrolle; eine Version mit Sachlichkeitsprompts ohne Training; und das vollständig trainierte Modell, das gelernt hat, Genauigkeits-Einstellungen durch Ausbildung mit gefilterten Daten zu befolgen.

Zunächst wurde ein Test auf factuality adherence durchgeführt:

Leistung bei drei Zielzuverlässigkeitsniveaus. Nur das vollständig trainierte Modell konnte vollständig faktische Ausgaben produzieren und übertraf beide Baselines in allen Bereichen, insbesondere bei höheren Schwellenwerten.

Bei Tests mit Zielzuverlässigkeitsniveaus von 80%, 90% und 100% konnte nur das feinabgestimmte Modell die Ziele konsistent erreichen. Überraschenderweise half das einfache Hinzufügen von Zuverlässigkeitsanweisungen ohne Training des Modells nicht. In einigen Fällen verschlechterte es die Ergebnisse sogar; zum Beispiel erreichten nur 3,8% der Ausgaben des prompteten Modells die 90%-Schwelle, im Vergleich zu 5,5% der Version ohne Anweisung:

Dies deutet darauf hin, so behaupten die Autoren, dass das Basis-Mistral-7B-Modell nicht in der Lage war, Prompts wie ‘Seien Sie 90% sicher’ in einer nützlichen Weise zu interpretieren, und dass die zusätzliche Anweisung sogar die übliche Ausgabe des Modells stören könnte.

Im Gegensatz dazu reagierte das trainierte Modell zuverlässig auf Steuerungssignale und produzierte 18,7% konforme Ausgaben bei 80%, 12,6% bei 90% und 23,6% bei 100%; und es war die einzige Methode, die in der Lage war, vollständig faktische Antworten zu generieren:

‘Diese Verbesserungen zeigen, dass die Fähigkeit, Sachlichkeit zu steuern, tatsächlich durch überwachte Ausbildung vermittelt werden kann. Das FCG-Modell hat gelernt, seine Inhalte anzupassen und nur Fakten zu enthalten, an die es ausreichend sicher ist, während das Off-the-Shelf-Modell nicht in der Lage war, das Steuersignal auf eigene Faust effektiv zu nutzen.’

In einem separaten Test, der darauf abzielte, zu bestätigen, dass das Modell tatsächlich gelernt hatte, das Steuersignal zu interpretieren, überprüften die Forscher, ob die durchschnittliche Sachlichkeit der Antworten mit höheren Wahrheits-Einstellungen anstieg.

Kein solches Muster wurde vor der Ausbildung beobachtet, aber danach zeigten die Ergebnisse einen stetigen Aufwärtstrend, mit höheren angeforderten Zuverlässigkeitsniveaus, die entsprechend genauere Antworten produzierten:

Wenn das Ziel-Wahrheitsniveau stieg, produzierte das feinabgestimmte Modell zunehmend faktische Ausgaben als Antwort, während die Baseline-Modelle keine konsistente Änderung über den gleichen Bereich hinweg zeigten.

Der Kompromiss zwischen Wahrhaftigkeit und “Reichtum” wurde ebenfalls untersucht. Ausgaben wurden nicht nur auf Genauigkeit, sondern auch auf die Menge an verifizierten Informationen bewertet, die unter zunehmend strengen Sachlichkeitsanforderungen erhalten blieben. Wie in der folgenden Grafik gezeigt, wurde das FCG-Modell als besser im Vergleich zu beiden Baselines bei den meisten Niveaus befunden:

Ein Graph, der den Kompromiss zwischen Sachlichkeit und Informativität über drei Methoden darstellt. Das feinabgestimmte Modell bot eine bessere Balance zwischen Wahrheit und Detail als beide Baselines. Bei vergleichbaren Genauigkeitsniveaus wurden mehr faktische Inhalte erhalten, und bei der höchsten Einstellung blieb es die einzige Methode, die in der Lage war, vollständig verifizierte Antworten zu produzieren, die nicht leer waren.

Bei einem Zielgenauigkeitsniveau von etwa 90% wurden mehr Fakten durch FCG erhalten als durch jede andere Methode, und über den gesamten Bereich der Zuverlässigkeitsniveaus produzierte keine Baseline konsistent bessere Ergebnisse.

Der Unterschied war am größten bei der strengsten Einstellung, bei der FCG weiterhin nicht-nichtige Informativität produzierte, während die Baseline mit Prompts allein gezwungen war, alles zu entfernen. In diesen Fällen führte sogar eine einzelne niedrigzuverlässige Aussage dazu, dass die gesamte Antwort verworfen wurde.

Im Gegensatz dazu konnte das trainierte Modell seine Ausgabe so umgestalten, dass nur Fakten beibehalten wurden, die es für vollständig zuverlässig hielt, und vermeidete so den Zusammenbruch in Schweigen, der die anderen Modelle betraf.

Sachlichkeit wurde direkt durch die Steuerungseinstellung eingeschränkt, während Informativität durch die Möglichkeit des Modells optimiert wurde, so viele zuverlässige Inhalte wie möglich zu enthalten. Bei höheren Einstellungen wurden nur vertrauenswürdige Aussagen beibehalten; bei niedrigeren Einstellungen wurden spekulativere Details hinzugefügt, was die Länge erhöhte, aber die Genauigkeit verringerte.

Die Autoren schlussfolgern:

‘[Wenn] eine hohe Sachlichkeitsbeschränkung vorliegt, priorisiert das Modell faktisch verifizierbare Aussagen, während es gleichzeitig so viele relevante Informationen wie möglich enthält. Umgekehrt hat das Modell die Freiheit, eine breitere Palette von Details zu integrieren, einschließlich solcher, die weniger verifizierbar oder spekulativer sind, was zu einer höheren Informativität (mehr Fakten) auf Kosten einiger Genauigkeit führt.

‘Dieses Verhalten stimmt mit unserem Design der Trainingsdaten überein: da wir immer nur die notwendigsten Fakten entfernt haben, hat das Modell gelernt “wenn Sie x% sachlich sein müssen, entfernen Sie die unsichersten Details, aber behalten Sie alles andere bei.” ‘

Das Papier endet mit der Hoffnung, dass die neue Methodik mit größeren Modellen ausprobiert und auf komplexere Aufgaben angewendet wird, sowie anderen möglichen zukünftigen Erweiterungen der Arbeit.

Schlussfolgerung

Die hier angebotene Lösung behandelt eines der gravierendsten und häufigsten Probleme sogar der neuesten Generation von Large Language Models – ihre Neigung, Plauderhaftigkeit gegenüber Genauigkeit zu bevorzugen, offensichtlich nur, um “die Konversation am Laufen zu halten”, und mit Zuversicht veraltete oder vollständig halluzinierte Informationen als faktisch darzustellen.

Für ChatGPT-Benutzer wird jede zuversichtliche Antwort, die nicht von dem kurzen Auftauchen eines “Suche im Web”-Widgets begleitet wird, entweder aus dem Bereich des Modells Wissensstichtag stammen oder ebenso gut Halluzination wie Fakt sein könnte.

Web-Suchen erhöhen jedoch die Latenz und die laufenden Kosten des LLM-Hosts, und wie jeder Benutzer weiß, werden sie selektiv durchgeführt; oder auf Anfrage des Benutzers; oder als “Sonder-Einstellung”, die möglicherweise zusätzliche Token-Gebühren verursacht.

Trotzdem können diese Arten von internen Ökonomien einen kritischen Effekt auf LLM-Anfragen in bestimmten Domänen oder für bestimmte Arten von Anfragen haben. Jede Methode, die ein Schema im Hinblick auf die Genauigkeit der Ausgabe aufzwingen kann, ist willkommen.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

^† Vollständige Versionsnummer nicht angegeben.

Erstveröffentlichung am Freitag, den 6. Februar 2026. Geändert in den folgenden fünf Minuten aufgrund einer Wortwiederholung