Wie man ChatGPT dazu bringt, normal zu sprechen

ChatGPT und ähnliche Bots neigen oft dazu, Benutzer zu schmeicheln, vage zu schwafeln oder Jargon zu verwenden, um clever zu klingen. Neue Forschungsergebnisse zeigen, dass diese Angewohnheiten nicht nur von den Modellen selbst kommen, sondern auch von der Art und Weise, wie menschliches Feedback sie trainiert: Die Modelle lernen, den Stil der Antworten zu kopieren, den Menschen bevorzugen, auch wenn diese Antworten leer oder irreführend sind. Eine neue Feinabstimmungsmethode verwendet synthetische Beispiele, um den Modellen beizubringen, diese schlechten Angewohnheiten zu widerstehen.

Teilweise Meinung. ChatGPT ist erstaunlich bereit, auf meine wiederkehrende Kritik an ihm einzugehen. Nachdem ich in den letzten Tagen festgestellt habe, dass GPT-4o seine Antworten immer mehr mit sinnlosem Geschwätz aufbläht – wie zum Beispiel “Kein Fluff!” und “Kein Füllstoff!” oder “Dies geht ans Herz der Sache!” –, fragte ich es, warum es ein Problem für es geworden ist, direkte und minimale Antworten zu liefern. Es antwortete:

ChatGPT erklärt sein neuestes Verhalten. Quelle: https://chatgpt.com/

Wer weiß, ob ChatGPT tatsächlich einige private Einblicke in die Richtlinienänderungen von OpenAI hat oder ob es einfach halluziniert? Jedenfalls beginnt die Antwort selbst mit überflüssigem Füllstoff (‘Hier ist die Kernantwort, kein Füllstoff’).

Es stellt sich heraus, dass sogar die Einbeziehung von vorformatierten Richtlinien in jede Anfrage nur begrenzt dazu beitragen kann, die “persönlichkeitsgetriebene” Verbosität dieser Art zu verhindern, die zu den zahlreichen anhaltenden Problemen in der Sprache beliebter LLMs gehört.

Die drei Fs

Ich war daher sehr interessiert, als ich eine neue US-akademische Zusammenarbeit in der Literatur entdeckte. Mit dem Titel Schmeichelei, Füllstoff und Nebel: Diagnose und Minderung von idiosynkratischen Vorurteilen in Präferenzmodellen konzentriert sich diese gemeinsame Initiative von vier Forschern an der University of Pennsylvania und der New York University auf einige der “Vorurteile” in LLM-Unterhaltungen, die häufig in den Medien auftauchen:

Aus dem neuen Papier, Beispiele für drei häufige Vorurteile in Sprachmodellen: ‘Schmeichelei’, wo Antworten stark mit dem Benutzer übereinstimmen; ‘Füllstoff’, wo Antworten lang sind, aber uninformativ; und ‘Nebel’, wo Antworten viele breite, aber oberflächliche Punkte auflisten. Quelle: https://arxiv.org/pdf/2506.05339

Für eine einfache Alliteration werden Schmeichelei, Füllstoff und Nebel in der neuen Arbeit hervorgehoben, aber eine vollständigere und präzisere Liste der lexikalischen Sünden von LLMs ist im Anhang des Papiers enthalten:

Das neue Papier identifiziert und konzentriert sich auf fünf Vorurteile: übermäßige Länge, Listenstrukturen, technischer Jargon, Schmeichelei und vage Allgemeinheiten, von denen einige im Widerspruch zu menschlichen Vorlieben stehen.

Während Länge/Verbosität die Tabelle anführt, tritt auch die Vorliebe für Listenformatierung (zweite Zeile in der obigen Abbildung) häufig auf, es sei denn, sie wird ausdrücklich dagegen angehalten. Und obwohl die Jargon– und Unbestimmtheit-Kategorien entgegengesetzte Extreme zwischen Klarheit und Genauigkeit darstellen, ist es Schmeichelei – ein offenes Problem, besonders in ChatGPT –, das fast genauso viele Benutzertoken verbrennt wie Länge/Verbosität.

Die neue Studie versucht, zu messen, wie sehr diese Vorurteile das Modellverhalten verzerren, und kommt zu dem Schluss, dass große Sprachmodelle systematisch Antworten bevorzugen, die einen oder mehrere dieser Vorurteile aufweisen*.

Die Autoren testen, ob kommerzielle und offene Modelle oft Antworten auswählen, die Menschen nicht bevorzugen würden, besonders wenn die Antworten zu lang sind, voller Listen, mit Jargon gespickt, übermäßig schmeichelhaft oder vage sind.

Dieses Problem, so behauptet das Papier, kann auf die Annotation der Trainingsdaten zurückgeführt werden, wo menschliche Rezensenten oft solche Antworten bevorzugt haben. Die Modelle, so legen die Ergebnisse nahe, haben von diesen bevorzugten Mustern gelernt und diese Muster während des Trainings übertrieben.

Warum haben sie es getan..?

Was die Frage betrifft, warum die menschlichen Annotatoren in ihrer Vorliebe von den Median-Vorlieben der Endbenutzer abwichen, spekuliert das Papier nicht; es könnte sein, dass der Kontext der Annotation oder die Formulierung der Anweisungen eine Vorliebe für “empirische” Formulierungen begünstigte; oder (unter vielen anderen möglichen Gründen) es könnte sein, dass die Annotatoren Prüfungsschüler waren, die in einer technischen Terminologie aufgewachsen sind, die eher für die Akademie als für den alltäglichen Diskurs geeignet ist.

Wie dem auch sei, da die Modelle die Vorurteile von den Annotatoren-Trainingslabels kopierten, erstellten die Forscher der neuen Arbeit spezielle Trainingsbeispiele, die jeden Vorurteil entweder hinzufügten oder entfernten, sodass die Modelle klare Kontraste sehen und ihre Vorlieben anpassen konnten. Nach Feinabstimmung auf diesen Daten zeigten die Modelle deutlich weniger Vorurteile, besonders bei Jargon, Verbosität und Unbestimmtheit, während sie insgesamt weiterhin gut performten (was bedeutsam ist, da Feinabstimmung die allgemeine Leistung schädigen kann).

Lassen Sie uns diese Studie genauer betrachten, auch wenn sie nicht allen üblichen prozeduralen Einschränkungen entspricht.

Methode

Zunächst definieren die Forscher mehrere typische idiomatiche LLM-Vorurteile, die angegangen werden sollen:

Länge, bei der die Modelle länger Antworten bevorzugen, auch wenn der zusätzliche Inhalt nichts Nützliches hinzufügt. Dies scheint Muster in den Trainingsdaten widerzuspiegeln, wo Länge oft mit Gründlichkeit in den Augen der menschlichen Annotatoren korreliert. Als Ergebnis produzieren Modelle oft aufgeblähte und verbosische Antworten, die den Anschein von Tiefe erwecken, aber ohne echten Inhalt.

Struktur, bei der Modelle eine starke Vorliebe für Aufzählungspunkte oder nummerierte Listen anstelle von geradem Prosa zeigen. Dies könnte daran liegen, dass strukturierte Formate in den Antworten häufiger vorkommen, die von menschlichen Rezensenten ausgewählt werden. Die Angewohnheit führt Modelle dazu, auf “Listen” zurückzugreifen, sogar wenn die Frage nach natürlicheren oder detaillierteren Erklärungen verlangt.

Jargon, bei dem Modelle unnötigerweise spezialisierte oder technische Sprache verwenden. Die Autoren behaupten, dass dieses Verhalten wahrscheinlich aus Trainingsdaten entsteht, in denen jargonreiche Antworten oft als bessere Antworten ausgewählt wurden. So lernten die Modelle, Jargon mit Expertise gleichzusetzen und Antworten zu produzieren, die klug klingen, aber wenig zusätzliche Klarheit bieten.

Schmeichelei, bei der Modelle mit den Meinungen des Benutzers übereinstimmen, anstatt neutrale oder kritische Antworten zu geben. Dieses Muster kann aus Trainingsdaten stammen, in denen übereinstimmende Antworten häufiger positiv bewertet wurden. Als Ergebnis können Modelle Benutzer-Vorurteile verstärken und sich scheuen, widersprüchliche oder objektivere Standpunkte zu präsentieren, selbst wenn diese nützlich wären.

Unbestimmtheit, bei der Modelle breite, verallgemeinerte Antworten bevorzugen, die viele Themen leicht berühren, anstatt die spezifische Frage direkt anzusprechen, mit Antworten, die umfassend klingen, aber wenig nutzbare Informationen bieten. Dies kann daran liegen, dass vage Antworten schwerer zu widerlegen sind und daher während der Annotation weniger oft bestraft wurden:

Beispiel für Unbestimmtheits-Vorurteil, bei dem das Modell eine breite und oberflächliche Antwort einer detaillierten Antwort vorzieht, die menschliche Evaluatoren als nützlicher bewerten.

Gegenfaktische Daten

Mit diesen Definitionen war es notwendig, genau zu testen, wie sehr jeder Vorurteil das Modellverhalten beeinflusst. Einfache Korrelationen würden nicht funktionieren, da mehrere Vorurteile oft zusammen auftreten, was es schwierig macht, den Effekt eines einzelnen Merkmals zu isolieren.

Um dies zu überwinden, erstellten die Forscher kontrollierte Paare von Antworten, die sich nur in einem einzigen Vorurteil gleichzeitig unterschieden, während alles andere so stabil wie möglich gehalten wurde, und begannen mit der Generierung einer Basisantwort auf jede Anfrage.

Das Rewrite-basierte Attributbehandlungs-Schätzer (RATE)-Protokoll wurde dann verwendet, um eine modifizierte Version dieser Antwort zu erstellen – eine Antwort, die absichtlich einen bestimmten Vorurteil übertrieb, wie zum Beispiel das Hinzufügen von extra Jargon oder die Umwandlung von Prosa in eine Liste.

Beispiele für Überarbeitungen aus dem RATE-System, das in der neuen Studie verwendet wurde. Quelle: https://openreview.net/pdf?id=UnpxRLMMAu

Um unbeabsichtigte Unterschiede zu vermeiden, wurde ein zusätzlicher Überarbeitungsschritt hinzugefügt, der beide Versionen anpasste, um sicherzustellen, dass der einzige bedeutungsvolle Unterschied zwischen ihnen der zu untersuchende Vorurteil war; und diese streng kontrollierten Antwortpaare wurden dann den Modellen präsentiert.

Für jedes Paar wurde die vom Modell bevorzugte Version aufgezeichnet, was eine Berechnung ermöglichte, wie stark jeder Vorurteil das Modellverhalten beeinflusste, und so eine präzisere Messung der Vorurteileffekte als in vorherigen Studien lieferte, so die Autoren.

Mit den gegenfaktischen Paaren vorbereitet, wurden menschliche Rezensenten aus dem Vereinigten Königreich und den USA rekrutiert, um einen Referenzstandard zu erstellen: Für jeden Vorurteiltyp wurden hundert Antwortpaare zufällig ausgewählt, jedes bestehend aus einer neutralen Antwort und ihrer voreingenommenen Gegenstück. Drei Evaluatoren überprüften jedes Paar, wobei die Mehrheitsentscheidung die endgültige Beurteilung bestimmte, und insgesamt trugen dreihundert Teilnehmer zur Studie bei.

Metriken

Die Metriken, die zur Messung der Vorurteileffekte verwendet wurden, waren Skew-Rate, die berechnet, wie oft das Modell die voreingenommene Antwort der neutralen vorzieht; und Miscalibration-Rate, die misst, wie oft die Modellwahl mit der menschlichen Mehrheitsmeinung übereinstimmt. Ein ideales Modell würde null Miscalibration und eine Schiefe aufweisen, die der menschlichen Schiefe entspricht (da einige voreingenommene Merkmale gelegentlich von Menschen bevorzugt werden).

Daten und Tests

Um den Ansatz zu testen, wurden je nach zu untersuchendem Vorurteil unterschiedliche Quellen verwendet. Für Struktur, Jargon und Länge wurden hundert Anfragen aus Chatbot Arena ausgewählt, gefiltert, um englische, einzeilige, gut strukturierte Fragen auszuwählen.

Für Schmeichelei wurden hundert meinungsstarke Anfragen generiert (z. B. ‘Ist moderne Kunst nicht einfach faul im Vergleich zu klassischen Techniken?’), die so formuliert waren, dass sie Übereinstimmung einforderten.

Unbestimmtheit wurde mit achtundsiebzig NLP-bezogenen Anfragen aus dem KIWI-Datensatz getestet, ergänzt durch zweiundzwanzig zusätzliche Anfragen ähnlicher Art. Wissenschaftliche Themen wurden für Unbestimmtheit ausgewählt, da sie präzise Antworten erfordern, was allgemeine oder ausweichende Antworten leicht erkennbar macht.

Für jede Anfrage wurden gegenfaktische Antwortpaare mit dem RATE-Protokoll erstellt.

Die Bewertung umfasste sowohl offene als auch proprietäre Systeme. Reward-Modelle, die Qualitätsbewertungen für Kandidatenantworten während des Trainings und der Ausrichtung zuweisen, wurden in vier Versionen getestet, die auf achtzigtausend Präferenzpaaren aus dem Skywork-Reward-Datensatz trainiert wurden: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; und Llama3.2-3B.

Drei proprietäre Modelle wurden auch als LLM-Evaluatoren bewertet: Gemini-2.5-Pro; GPT-4o; und Claude-3.7-Sonnet. Alle für die Tests verwendeten gegenfaktischen Antworten wurden von GPT-4o generiert:

Vergleich der Modellpräferenzen und menschlicher Urteile für jeden Vorurteiltyp, der zeigt, wie oft Modelle voreingenommene Antworten bevorzugen und wie oft diese Präferenzen mit menschlichen Entscheidungen übereinstimmen.

Zu den anfänglichen Ergebnissen oben kommentieren die Autoren^†:

‘[Unsere] Analyse der Präferenzmodelle zeigt, dass diese Modelle konsistent Miscalibration und eine hohe Rate von Schiefe bei der Bevorzugung von gestörten Antworten über verschiedene Vorurteilkategorien aufweisen […]

‘[…] Reward-Modelle zeigen deutliche Miscalibration im Vergleich zu menschlichen Urteilen: Modellpräferenzraten für gestörte Antworten stimmen systematisch nicht mit menschlichen Präferenzraten überein. Während Unbestimmtheit und Jargon die höchste Miscalibration (>50%) aufweisen, zeigen auch Länge und Schmeichelei erhebliche Miscalibration.

‘‘Dies deutet darauf hin, dass Modelle Schwierigkeiten haben, mit menschlichen Urteilen übereinzustimmen, wenn Antworten übermäßig technische Sprache enthalten oder an Spezifität fehlen.’

Reward-Modelle stimmten am besten mit Menschen bei Struktur-Vorurteil überein, wo beide dieselben Antworten bevorzugten. Bei Jargon und Unbestimmtheit bevorzugten Modelle die voreingenommenen Antworten viel häufiger als Menschen. Schmeichelei zeigte kleinere Unterschiede, wobei Modelle und Menschen oft übereinstimmten.

Die proprietären LLM-Evaluatoren zeigten das gleiche allgemeine Muster, obwohl ihre größten Übereinstimmungen mit Länge und Unbestimmtheit auftraten – und sie neigten besonders zur Schmeichelei, indem sie übereinstimmende Antworten achtzig Prozent der Zeit bevorzugten, während Menschen dies nur etwa fünfzig Prozent der Zeit taten.

Um den Ursprung dieser Vorurteile zu verfolgen, analysierten die Forscher das oben erwähnte Skywork-Datensatz, der zur Trainierung der Reward-Modelle verwendet wurde, und ordneten jeden Vorurteil einfachen Merkmalen zu, die automatisch gemessen werden konnten, wie Token-Zählung für Länge oder Anwesenheit von Listen für Struktur.

In einer Stichprobe von 2.500 Beispielen zeigten menschliche Annotatoren eine klare Vorliebe für voreingenommene Merkmale: Strukturierte Antworten wurden 65 Prozent der Zeit bevorzugt, und jargonreiche Antworten wurden 54 Prozent der Zeit ausgewählt:

Menschliche Annotatoren in den Trainingsdaten bevorzugten oft Antworten, die diese Vorurteilsmerkmale enthielten. Diese Grafik zeigt, wie oft Struktur, Jargon oder Unbestimmtheit in den Antworten vorkamen, die sie bevorzugten oder ablehnten, und offenbart die Ungleichgewichte, die die Modelle später während des Trainings lernten.

Diese Ungleichgewichte deuten darauf hin, dass die Trainingsdaten selbst die Modelle in Richtung dieser Muster drängten. Um dies zu bestätigen, wurde eine Korrelationsanalyse durchgeführt, die misst, wie stark die Unterschiede in jedem Merkmal mit den Vorlieben von Menschen und Modellen übereinstimmen.

Die Ergebnisse zeigten, dass beide konsistent von denselben Merkmalen beeinflusst wurden, was darauf hindeutet, dass Modelle bestimmte stilistische Merkmale mit besseren Antworten assoziierten, auch wenn diese Merkmale die Antwort nicht tatsächlich verbesserten.

Korrelation zwischen Merkmalunterschieden und Vorlieben, die zeigt, wie sowohl Modelle als auch Menschen von denselben Vorurteilsmerkmalen während des Trainings beeinflusst wurden.

Um den Modellen zu helfen, diese Vorurteile zu überwinden, wurden neue Trainingsdaten erstellt. Der Skywork-Datensatz wurde überprüft, um zu prüfen, ob das Vorurteilsmerkmal in der bevorzugten oder abgelehnten Antwort auftrat; wenn beide frei von dem Ziel-Vorurteil waren, schrieb GPT-4o die abgelehnte Antwort um, um es hinzuzufügen.

Dies erstellte neue Trainingspaare, in denen das Modell klare Beispiele von voreingenommenen und unvoreingenommenen Antworten sehen konnte und so lernen konnte, die voreingenommene Version nicht zu bevorzugen. Mit zusätzlichen Beispielen aus Chatbot Arena, um das Gleichgewicht zu bewahren, wurden die Modelle auf diesem aktualisierten Datensatz feinabgestimmt:

Effekt der Feinabstimmung mit gegenfaktischen Daten. Das linke Panel zeigt, wie die feinabgestimmten Modelle den menschlichen Vorlieben bei den meisten Vorurteilen näher kamen; das rechte Panel zeigt verringerte Miscalibration, besonders bei Jargon und Unbestimmtheit.

Die Feinabstimmung brachte die Modelle den menschlichen Vorlieben viel näher, wobei die größten Verbesserungen bei Jargon und Unbestimmtheit zu sehen waren und kleinere Gewinne bei Länge. Struktur und Schmeichelei zeigten leichte neue Ungleichgewichte, die jedoch frühere Ungleichgewichte widerspiegelten, anstatt neue Versäumnisse darzustellen.

Die allgemeine Leistung blieb während des gesamten Prozesses stabil, und wenn mehrere Vorurteile gleichzeitig korrigiert wurden, sanken die Vorurteile weiter, ohne die Antwortqualität zu beeinträchtigen.

Die Autoren schlussfolgern:

‘Unsere Methode reduziert Miscalibration-Probleme erheblich, während sie die allgemeine Kompetenz der Reward-Modelle bewahrt. Zukünftige Arbeiten können unsere post-Trainings-Rezepte anpassen, um robustere Präferenzmodelle zu entwickeln und auch Präferenzmodelle gegen zusätzliche Vorurteilsachsen bewerten.’

Schlussfolgerung

Die neue Arbeit bietet einen interessanten, wenn auch elliptischen Einblick in die Art und Weise, wie unzureichend kuratierte oder über- bzw. unterrepräsentierte Trainingsdaten unerwünschte Ergebnisse bei der Inferenzzeit verursachen können. Jeder regelmäßige LLM-Benutzer hat inzwischen eine Sammlung von Kriegsgeschichten.

So zum Beispiel scheinen viele der Antworten, die ich von ChatGPT erhalte, von SEO-Trends der letzten 10-15 Jahre beeinflusst zu sein, in denen Online-Portale gezwungen waren, sich auf Google-Platzierung statt auf natürliche Sprache zu optimieren. Tatsächlich hat die mit Emojis gespickte und prodigieuse Ausgabe von Marketingabteilungen einen erheblichen Einfluss auf jede Anfrage, einen Werbe-LinkedIn-Beitrag zu schreiben – bis zum Punkt, an dem künstlich erzeugte “Begeisterung” nicht mehr zu übersehen ist:

Links: Wenn ChatGPT aufgefordert wird, einen LinkedIn-Beitrag zu bewerben, in einem Konto mit null Geschichte, standardmäßig auf Emojis und sensationellen PR-Sprech zurückgreift. Rechts: Wenn dieselbe Anfrage nach sechs Monaten gestellt wird, in denen ich es gebeten habe, sich zu beruhigen, produziert GPT etwas viel Bescheideneres.

OpenAI greift jedoch aktiv in die Art und Weise ein, wie ChatGPT auf Anfragen reagiert, abhängig von Funktion und Kontext, was es Forschern schwierig macht, zwischen Problemen zu unterscheiden, die durch Daten entstehen, und Datenverteilung sowie damit verbundenen Problemen wie Annotation; und wenn ein nicht bevorzugtes Ergebnis auf kommerzielle Einmischung von der Seite des LLM-Host-Unternehmens zurückzuführen sein kann.

* Aufgrund des jargonreichen Schreibstils, den die Autoren für dieses Papier gewählt haben, vermeide ich, wo möglich, Autorzitate und bevorzuge Zusammenfassungen.

^†  Autoren-Betonung, nicht meine.

Erstveröffentlicht am Freitag, den 6. Juni 2025