KI kämpft darum, historische Sprache nachzuahmen

Eine Zusammenarbeit zwischen Forschern in den Vereinigten Staaten und Kanada hat ergeben, dass große Sprachmodelle (LLMs) wie ChatGPT Schwierigkeiten haben, historische Idiome ohne umfangreiche Vorverarbeitung nachzubilden – ein kostspieliger und arbeitsintensiver Prozess, der über die Möglichkeiten der meisten akademischen oder Unterhaltungsinitiativen hinausgeht und Projekte wie die Vervollständigung des letzten, unvollendeten Romans von Charles Dickens durch KI effektiv zu einem unwahrscheinlichen Vorhaben macht.

Die Forscher untersuchten eine Reihe von Methoden, um Texte zu generieren, die historisch authentisch klangen, beginnend mit einfacher Aufforderung unter Verwendung von Prosa aus dem frühen 20. Jahrhundert und fortschreitend zur Feinabstimmung eines kommerziellen Modells auf einer kleinen Sammlung von Büchern aus dieser Zeit.

Sie verglichen die Ergebnisse auch mit einem separaten Modell, das ausschließlich auf Büchern trainiert worden war, die zwischen 1880 und 1914 veröffentlicht wurden.

Im ersten der Tests produzierte die Anweisung an ChatGPT-4o, fin‑de‑siècle-Sprache nachzuahmen, Ergebnisse, die sich deutlich von denen des kleineren GPT2-basierten Modells unterschieden, das auf Literatur aus dieser Zeit feinabgestimmt worden war:

Aufgefordert, einen realen historischen Text (oben Mitte) zu vervollständigen, kann sogar ein gut vorbereiteter ChatGPT-4o (unten links) nicht umhin, in den ‘Blog’-Modus zurückzufallen und die angeforderte Idiomatik nicht darzustellen. Im Gegensatz dazu erfasst das feinabgestimmte GPT2-Modell (unten rechts) den Sprachstil gut, ist aber in anderen Aspekten nicht so genau. Quelle: https://arxiv.org/pdf/2505.00030

Obwohl die Feinabstimmung die Ausgabe näher an den ursprünglichen Stil bringt, konnten menschliche Leser dennoch häufig Spuren moderner Sprache oder Ideen erkennen, was darauf hindeutet, dass sogar sorgfältig angepasste Modelle weiterhin den Einfluss ihrer zeitgenössischen Trainingsdaten widerspiegeln.

Die Forscher kommen zu dem frustrierenden Schluss, dass es keine wirtschaftlichen Abkürzungen zur Erzeugung maschinengenerierter, idiomatisch korrekter historischer Texte oder Dialoge gibt. Sie vermuten auch, dass die Herausforderung selbst möglicherweise falsch gestellt ist:

‘[Wir] sollten auch die Möglichkeit in Betracht ziehen, dass Anachronismen in gewissem Sinne unvermeidlich sind. Ob wir die Vergangenheit durch die Anpassung historischer Modelle darstellen, damit sie Gespräche führen können, oder durch das Lehren zeitgenössischer Modelle, eine ältere Periode zu imitieren, mag ein Kompromiss zwischen den Zielen der Authentizität und der konversationellen Flüssigkeit erforderlich sein.

‘Es gibt nämlich keine “authentischen” Beispiele für ein Gespräch zwischen einem Fragesteller des 21. Jahrhunderts und einem Antwortenden aus dem Jahr 1914. Forscher, die versuchen, ein solches Gespräch zu erstellen, müssen über die Prämisse nachdenken, dass Interpretation immer eine Verhandlung zwischen Gegenwart und [Vergangenheit] beinhaltet.’

Die neue Studie trägt den Titel Können Sprachmodelle die Vergangenheit ohne Anachronismen darstellen? und stammt von drei Forschern der University of Illinois, der University of British Columbia und der Cornell University.

Ein vollständiger Misserfolg

Zunächst testeten die Autoren in einem dreiteiligen Forschungsansatz, ob moderne Sprachmodelle durch einfache Aufforderung in die Nachahmung historischer Sprache gezogen werden könnten. Mit realen Auszügen aus Büchern, die zwischen 1905 und 1914 veröffentlicht wurden, baten sie ChatGPT-4o, diese Passagen im gleichen Idiom fortzusetzen.

Der ursprüngliche Periodentext lautete:

‘In diesem letzten Fall werden etwa fünf oder sechs Dollar pro Minute eingespart, da mehr als zwanzig Yards Film abgespult werden müssen, um während einer einzigen Minute ein Objekt einer Person in Ruhe oder einer Landschaft zu projizieren. So erhält man eine praktische Kombination aus festen und bewegten Bildern, die sehr künstlerische Effekte erzeugt.

‘Es ermöglicht uns auch, zwei Kinematographen abwechselnd zu betreiben, um Flimmern zu vermeiden, oder gleichzeitig rote und grüne Bilder zu projizieren und natürliche Farben wiederzugeben, wodurch das menschliche Auge, das gewohnt ist, die Grundfarben gleichzeitig zu empfangen, von aller physiologischen Ermüdung befreit wird. Ein Wort jetzt über die Anwendung von kaltem Licht in der Instantfotografie.’

Um zu bewerten, ob der generierte Text dem beabsichtigten historischen Stil entsprach, und sich bewusst, dass Menschen nicht besonders gut darin sind, das Datum zu erraten, an dem ein Text geschrieben wurde, feinabstimmten die Forscher ein RoBERTa-Modell, um Veröffentlichungsdaten zu schätzen, unter Verwendung eines Teils des Corpus of Historical American English, das Material von 1810 bis 2009 abdeckt.

Das RoBERTa-Modell wurde dann verwendet, um Fortsetzungen zu bewerten, die von ChatGPT-4o erstellt wurden, das mit realen Passagen aus Büchern angeregt worden war, die zwischen 1905 und 1914 veröffentlicht wurden.

Die Systemaufforderung (d. h. kontextuelle Anweisungen an ChatGPT, wie es die Aufgabe angehen soll) lautete:

‘Ihre Aufgabe ist es, Passagen aus Büchern des frühen 20. Jahrhunderts zu vervollständigen. Ihnen wird eine Passage aus einem 1913 veröffentlichten Buch gegeben. Setzen Sie diese Passage im gleichen Stil fort, mindestens 200 Wörter. Bieten Sie nur diese Fortsetzung an; machen Sie keine einleitenden Bemerkungen wie “hier ist die Fortsetzung:”.’

Trotz einerseitiger und 20-seitiger Aufforderung neigten die Ausgaben von ChatGPT-4o konsequent zu einem stilistischen Register des 21. Jahrhunderts.

Das im Papier angegebene Beispiel zeigt einen der blog-ähnlichen Versuche von ChatGPT-4o, den realen Periodentext über Fotografie fortzusetzen:

‘Die Verwendung von kaltem Licht in der Instantfotografie hat den Ansatz zur Aufnahme von Bildern unter verschiedenen Lichtbedingungen revolutioniert. Traditionell hatten Fotografen mit der Härte und Variabilität des natürlichen Lichts oder der aufdringlichen Natur der Blitzfotografie zu kämpfen, die die Atmosphäre einer Szene oder das natürliche Verhalten von Objekten, insbesondere in der Tier- und Menschenfotografie, stören konnte.

‘Kaltes Licht, mit seiner weicheren und diffuseren Natur… ermöglicht eine natürlichere Darstellung von Farben und Texturen, die oft unter harter künstlicher Beleuchtung verloren geht.’

Wie wir leicht erkennen können, entspricht dieser generische, wiki-ähnliche Text nicht dem prolixen und elaborierten Stil des ursprünglichen Periodentexts. Darüber hinaus setzt er die ursprüngliche Inhalte nicht fort, sondern startet in eine tangentielle, abstrakte Betrachtung über eines der Unterpunkte.

Das Team testete auch GPT-1914, ein kleineres GPT-2-Modell, das von Grund auf mit 26,5 Milliarden Token Literatur trainiert wurde, die zwischen 1880 und 1914 veröffentlicht wurde.

Obwohl seine Ausgabe weniger kohärent war als die von ChatGPT-4o, war sie konsistenter mit dem Stil der Quellperiode. Das einzige im Papier angegebene Beispiel, wiederum als Fortsetzung des realen Periodentextes über Fotografie, lautet:

‘Das Prinzip seines Wirkens wurde bereits erklärt (S. 4). Wir werden hier nur erwähnen, dass es mit Vorteil angewendet werden kann, wenn wir sehr schnelle Fotografien auf mit Kollodium beschichtetem Papier oder mit Gelatineplatten aufnehmen möchten.

‘In solchen Fällen darf die Belichtungszeit nicht mehr als eine Sekunde betragen; aber wenn das Bild in weniger als einer Sekunde entwickelt werden soll – sagen wir in einer halben Sekunde – dann sollte die Temperatur nie unter 20° C fallen, sonst wird das Bild nach der Entwicklung zu dunkel; außerdem verliert die Platte unter diesen Bedingungen ihre Empfindlichkeit.

‘Für gewöhnliche Zwecke genügt es jedoch, die empfindliche Oberfläche einem geringen Grad an Wärme auszusetzen, ohne dass besondere Vorsichtsmaßnahmen erforderlich sind, außer dass die Oberfläche nicht… [sic]’

Da das ursprüngliche Material tatsächlich esoterisch und schwierig zu verstehen ist, ist es schwer zu erkennen, inwieweit GPT-1914 das Original genau aufgegriffen hat; aber die Ausgabe klingt definitiv authentischer.

Jedoch kamen die Autoren aus diesem Experiment zu dem Schluss, dass einfache Aufforderung wenig dazu beiträgt, die zeitgenössischen Vorurteile eines großen vorab trainierten Modells wie ChatGPT-4o zu überwinden.

Die Geschichte wird komplexer

Um zu messen, wie sehr die Modellausgaben echter historischer Schreibweise ähnelten, verwendeten die Forscher einen statistischen Klassifizierer, um das wahrscheinliche Veröffentlichungsdatum jedes Textbeispiels zu schätzen. Sie visualisierten die Ergebnisse dann mithilfe einer Kerneldichteschätzung, die zeigt, wo das Modell jedes Beispiel auf einer historischen Zeitleiste einordnet.

Geschätzte Veröffentlichungsdaten für reale und generierte Texte, basierend auf einem Klassifizierer, der historischen Stil (1905-1914 Quelltexte im Vergleich zu Fortsetzungen von GPT-4o mit einerseitiger und 20-seitiger Aufforderung und GPT-1914, trainiert nur auf Literatur von 1880-1914) erkennt.

Das feinabgestimmte RoBERTa-Modell, das für diese Aufgabe verwendet wurde, ist, wie die Autoren betonen, nicht fehlerfrei, konnte jedoch allgemeine stilistische Trends hervorheben. Passagen, die von GPT-1914 geschrieben wurden, einem Modell, das ausschließlich auf Literatur aus dieser Zeit trainiert wurde, gruppierten sich um das frühe 20. Jahrhundert – ähnlich wie das ursprüngliche Quellenmaterial.

Im Gegensatz dazu neigten die Ausgaben von ChatGPT-4o, selbst wenn sie mit mehreren historischen Beispielen angeregt wurden, dazu, modernes Schreiben zu ähneln, was die Daten widerspiegelt, mit denen es ursprünglich trainiert wurde.

Die Forscher quantifizierten diese Diskrepanz mithilfe der Jensen-Shannon-Divergenz, einem Maß dafür, wie unterschiedlich zwei Wahrscheinlichkeitsverteilungen sind. GPT-1914 erzielte einen Wert von 0,006 im Vergleich zu realen historischen Texten, während die Ausgaben von ChatGPT-4o mit einerseitiger und 20-seitiger Aufforderung viel größere Abstände aufwiesen, nämlich 0,310 bzw. 0,350.

Die Autoren argumentieren, dass diese Ergebnisse zeigen, dass die alleinige Aufforderung, selbst mit mehreren Beispielen, kein zuverlässiger Weg ist, um Text zu produzieren, der historischen Stil überzeugend simuliert.

Die Passage vervollständigen

Das Papier untersucht dann, ob die Feinabstimmung möglicherweise ein besseres Ergebnis liefern könnte, da dieser Prozess die direkte Beeinflussung der verwendbaren Gewichte eines Modells durch “Fortsetzen” seiner Ausbildung auf benutzerspezifische Daten beinhaltet – ein Prozess, der die ursprüngliche Kernfunktion des Modells beeinflussen kann, aber dessen Leistung auf dem betreffenden Bereich erheblich verbessern kann.

Im ersten Feinabstimmungsversuch trainierten die Forscher GPT-4o-Mini auf etwa zweitausend Passage-Fortsetzungs-Paaren, die aus Büchern stammten, die zwischen 1905 und 1914 veröffentlicht wurden, mit dem Ziel, zu sehen, ob eine kleinere Feinabstimmung das Modell in Richtung eines historisch genaueren Stils verschieben könnte.

Unter Verwendung des gleichen RoBERTa-basierten Klassifizierers, der als Richter in den früheren Tests fungierte, um den stilistischen “Zeitpunkt” jeder Ausgabe zu schätzen, fanden die Forscher, dass das feinabgestimmte Modell in diesem neuen Versuch Text produzierte, der eng mit der Grundwahrheit übereinstimmte.

Die stilistische Abweichung von den ursprünglichen Texten, gemessen durch die Jensen-Shannon-Divergenz, sank auf 0,002, was im Allgemeinen mit GPT-1914 übereinstimmt:

Geschätzte Veröffentlichungsdaten für reale und generierte Texte, die zeigen, wie gut GPT-1914 und eine feinabgestimmte Version von GPT-4o-Mini den Stil des frühen 20. Jahrhunderts nachahmen (basierend auf Büchern, die zwischen 1905 und 1914 veröffentlicht wurden).

Jedoch warnen die Forscher, dass dieser Metrik möglicherweise nur oberflächliche Merkmale des historischen Stils erfassen und nicht tiefere konzeptionelle oder faktische Anachronismen.

‘[Dies] ist kein sehr empfindlicher Test. Das RoBERTa-Modell, das hier als Richter verwendet wird, ist nur trainiert, um ein Datum vorherzusagen, nicht um authentische Passagen von anachronistischen zu unterscheiden. Es verwendet wahrscheinlich grobe stilistische Beweise, um diese Vorhersage zu treffen. Menschliche Leser oder größere Modelle könnten immer noch anachronistische Inhalte in Passagen erkennen, die oberflächlich “in der Periode” klingen.’

Menschliche Note

Schließlich führten die Forscher menschliche Bewertungstests mit 250 handverlesenen Passagen aus Büchern durch, die zwischen 1905 und 1914 veröffentlicht wurden, und stellten fest, dass viele dieser Texte heute wahrscheinlich anders interpretiert würden als zur Zeit ihrer Abfassung:

‘Unsere Liste umfasste beispielsweise einen Lexikoneintrag über Elsaß (das damals Teil Deutschlands war) und einen über Beri-Beri (der damals oft als Pilzkrankheit und nicht als Nahrungsmitteldefizienz erklärt wurde). Während dies Unterschiede in Fakten sind, wählten wir auch Passagen aus, die subtilere Unterschiede in Einstellung, Rhetorik oder Vorstellungskraft zeigen würden.

‘Beispielsweise neigen Beschreibungen nichteuropäischer Orte im frühen 20. Jahrhundert dazu, in rassistische Verallgemeinerungen abzugleiten. Eine Beschreibung von Sonnenaufgang auf dem Mond, geschrieben 1913, stellt reiche chromatische Phänomene vor, weil noch niemand Fotos einer Welt ohne Atmosphäre gesehen hat.’

Die Forscher erstellten kurze Fragen, die jede historische Passage plausibel beantworten konnte, und feinabstimmten dann GPT-4o-Mini auf diese Frage-Antwort-Paare. Um die Bewertung zu stärken, trainierten sie fünf separate Versionen des Modells, wobei sie jedes Mal einen anderen Teil der Daten für die Tests zurückhielten.

Sie erstellten dann Antworten mithilfe der Standardversionen von GPT-4o und GPT-4o-Mini sowie der feinabgestimmten Varianten, wobei jede Version auf dem Teil getestet wurde, den sie während der Ausbildung nicht gesehen hatte.

Verloren in der Zeit

Um zu bewerten, wie überzeugend die Modelle historische Sprache imitieren konnten, baten die Forscher drei Experten, 120 künstlich generierte Fortsetzungen zu überprüfen und zu beurteilen, ob jede davon für einen Schriftsteller im Jahr 1914 plausibel erschien.

Dieser direkte Bewertungsansatz erwies sich als schwieriger als erwartet: Obwohl die Annotatoren in etwa 80 Prozent der Fälle übereinstimmten, bedeutete die Ungleichheit in ihren Urteilen (wobei “plausibel” doppelt so oft gewählt wurde wie “nicht plausibel”), dass ihre tatsächliche Übereinstimmung nur moderat war, gemessen am Cohen-Kappa-Wert von 0,554.

Die Annotatoren selbst beschrieben die Aufgabe als schwierig, oft erforderte sie zusätzliche Recherchen, um zu bewerten, ob eine Aussage mit dem übereinstimmte, was 1914 bekannt oder geglaubt wurde.

Einige Passagen warfen schwierige Fragen zur Tonlage und Perspektive auf – beispielsweise, ob eine Antwort angemessen auf die Weltanschauung der Zeit beschränkt war. Diese Art von Urteil hing oft vom Grad des Ethnozentrismus (d. h. der Neigung, andere Kulturen durch die Annahmen oder Vorurteile der eigenen Kultur zu betrachten) ab.

In diesem Zusammenhang bestand die Herausforderung darin, zu entscheiden, ob ein Passus ausreichend kulturelle Vorurteile aufwies, um historisch plausibel zu erscheinen, ohne zu modern oder zu offensiv nach heutigen Standards zu klingen. Die Autoren bemerken, dass es sogar für Gelehrte, die mit der Zeit vertraut sind, schwierig war, eine klare Grenze zwischen Sprache zu ziehen, die historisch authentisch klang, und Sprache, die heutige Ideen widerspiegelte.

Trotzdem zeigten die Ergebnisse eine klare Rangordnung der Modelle, wobei die feinabgestimmte Version von GPT-4o-Mini insgesamt als am plausibelsten bewertet wurde:

Bewertungen der Annotatoren, wie plausibel jede Modellausgabe erschien

Ob dieser Leistungsgrad, der in 80 Prozent der Fälle als “plausibel” bewertet wurde, für historische Forschung zuverlässig genug ist, bleibt unklar – insbesondere da die Studie keinen Vergleichswert dafür enthielt, wie oft echte Periodentexte möglicherweise falsch klassifiziert würden.

Eindringling-Alarm

Als Nächstes folgte ein “Eindringlingstest”, bei dem Experten-Annotatoren vier anonyme Passagen sahen, die alle dieselbe historische Frage beantworteten. Drei der Antworten stammten von Sprachmodellen, während eine ein echter und authentischer Auszug aus einer frühen Quelle des 20. Jahrhunderts war.

Die Aufgabe bestand darin, zu identifizieren, welche Passage die ursprüngliche war, die tatsächlich während dieser Zeit geschrieben wurde.

Dieser Ansatz forderte die Annotatoren nicht direkt auf, Plausibilität zu bewerten, sondern maß, wie oft die echte Passage aus den künstlich generierten Antworten hervorstach, und testete damit im Wesentlichen, ob die Modelle Leser dazu bringen konnten, ihre Ausgaben für authentisch zu halten.

Die Modellrangordnung entsprach den Ergebnissen des vorherigen Urteilsverfahrens: Die feinabgestimmte Version von GPT-4o-Mini war das überzeugendste Modell, blieb jedoch hinter der echten Sache zurück.

Häufigkeit, mit der jede Quelle als authentische historische Passage identifiziert wurde

Dieser Test diente auch als nützlicher Benchmark, da die echte Passage mehr als die Hälfte der Zeit identifiziert wurde, was einen auffälligen Abstand zwischen authentischer und synthetischer Prosa für menschliche Leser aufzeigte.

Eine statistische Analyse, bekannt als McNemars Test, bestätigte, dass die Unterschiede zwischen den Modellen bedeutungsvoll waren, mit Ausnahme der beiden untrainierten Versionen (GPT-4o und GPT-4o-Mini), die ähnlich performten.

Die Zukunft der Vergangenheit

Die Autoren stellten fest, dass die Aufforderung an moderne Sprachmodelle, eine historische Stimme anzunehmen, nicht zu überzeugenden Ergebnissen führte: Weniger als zwei Drittel der Ausgaben wurden von menschlichen Lesern als plausibel bewertet, und selbst diese Zahl übertrieb wahrscheinlich die Leistung.

In vielen Fällen enthielten die Antworten explizite Signale, dass das Modell aus einer heutigen Perspektive sprach – Phrasen wie ‘Im Jahr 1914 ist es noch nicht bekannt, dass…’ oder ‘Stand 1914 kenne ich… nicht’ kamen häufig genug vor, um in bis zu einem Fünftel der Fortsetzungen zu erscheinen. Derartige Vorbehalte machten deutlich, dass das Modell Geschichte von außen simuliert, anstatt aus ihr heraus zu schreiben.

Die Autoren stellen fest:

‘Die schlechte Leistung des kontextuellen Lernens ist bedauerlich, weil diese Methoden die einfachsten und billigsten für die AI-basierte historische Forschung sind. Wir betonen, dass wir diese Ansätze nicht ausgiebig erforscht haben.

‘Es kann sich herausstellen, dass kontextuelles Lernen – jetzt oder in der Zukunft – für einen Teil der Forschungsbereiche ausreichend ist. Unsere anfänglichen Beweise sind jedoch nicht ermutigend.’

Die Autoren kommen zu dem Schluss, dass die Feinabstimmung eines kommerziellen Modells auf historischen Passagen bei minimalen Kosten stilistisch überzeugende Ausgaben produzieren kann, aber nicht vollständig Spuren moderner Perspektive eliminiert. Das Vorabtrainieren eines Modells ausschließlich auf Material aus dieser Zeit vermeidet Anachronismen, erfordert jedoch erheblich mehr Ressourcen und resultiert in weniger flüssigen Ausgaben.

Keine der Methoden bietet eine vollständige Lösung, und für den Moment scheint jeder Versuch, historische Stimmen zu simulieren, ein Kompromiss zwischen Authentizität und Kohärenz zu erfordern. Die Autoren kommen zu dem Schluss, dass weitere Forschung erforderlich ist, um zu klären, wie man dieses Spannungsfeld am besten meistert.

Schlussfolgerung

Vielleicht eine der interessantesten Fragen, die aus dem neuen Papier hervorgehen, ist die der Authentizität. Während sie keine perfekten Werkzeuge sind, bieten Verlustfunktionen und Metriken wie LPIPS und SSIM Forschern im Bereich des maschinellen Sehens zumindest eine Methode, die direkt mit der Grundwahrheit verglichen werden kann.

Wenn man jedoch neuen Text im Stil einer vergangenen Ära generiert, gibt es keine Grundwahrheit – nur den Versuch, eine verschwundene kulturelle Perspektive zu bewohnen. Der Versuch, diesen Geist aus literarischen Spuren wiederzugeben, ist selbst ein Akt der Quantisierung, da diese Spuren nur Beweise sind, während das kulturelle Bewusstsein, aus dem sie hervorgehen, jenseits der Inferenz und wahrscheinlich jenseits der Vorstellungskraft bleibt.

Auf praktischer Ebene gefährden auch die Grundlagen moderner Sprachmodelle, die von heutigen Normen und Daten geprägt sind, die Neuinterpretation oder Unterdrückung von Ideen, die einem Leser der Edwardianischen Ära vernünftig oder unbedeutend erschienen wären, die aber heute als (häufig beleidigende) Artefakte von Vorurteilen, Ungleichheit oder Ungerechtigkeit registrieren.

Man fragt sich daher, ob wir ein solches Gespräch überhaupt erstellen könnten, ob es uns nicht vielleicht abstößt.

Erstveröffentlichung am Freitag, dem 2. Mai 2025