RAG oder Feinabstimmung? Was uns echte Kundenprojekte bei der Entscheidung gelehrt haben

In fast jedem Gespräch über KI in Unternehmen stehen wir innerhalb der ersten Stunde vor derselben Entscheidung. Der Kunde hat ein großes Sprachmodell, das in einer Demo beeindruckt, aber seine Produkte, Richtlinien und Schreibweise nicht kennt. Jemand im Raum fragt: Sollten wir das Modell mit unseren Daten feinabstimmen oder darauf eine Retrieval-Augmented Generation (RAG) aufbauen?

Die ehrliche Antwort lautet: Die Frage ist meist falsch gestellt. RAG und Feinabstimmung lösen unterschiedliche Probleme. Teams, die sie als konkurrierende Optionen betrachten, verbringen oft Monate und einen erheblichen Teil ihres GPU-Budgets damit, das falsche Problem zu lösen. So treffen wir in der Praxis unsere Entscheidung – und das haben wir dabei an Erfolgen und Fehlschlägen erlebt.

Zuerst klären, was dem Modell fehlt

Wenn ein Modell bei einer geschäftlichen Aufgabe eine schlechte Antwort liefert, fehlt ihm eines von zwei Dingen.

Ihm fehlt Wissen. Es kennt weder Ihre aktuelle Preisliste noch die Klausel in Ihrem Lieferantenvertrag von 2025 oder die Schritte zur Fehlerbehebung für ein Produkt, das erst letzten Monat auf den Markt gekommen ist. Das ist ein Faktenproblem.

Ihm fehlt das richtige Verhalten. Es weiß genug, reagiert aber nicht so, wie Sie es brauchen. Es ignoriert Ihr Ausgabeformat, schreibt im falschen Ton, interpretiert Ihre internen Codes falsch oder kann eine eng umrissene, wiederkehrende Aufgabe nicht ausführen, etwa Tickets einer Ihrer 40 Kategorien zuzuordnen. Das ist ein Fähigkeitsproblem.

RAG ist das richtige Werkzeug für das erste Problem. Feinabstimmung ist das richtige Werkzeug für das zweite. Die meiste Verwirrung, die ich erlebe, entsteht, wenn versucht wird, Fakten mithilfe von Feinabstimmung zu vermitteln.

Warum Feinabstimmung eine schlechte Methode ist, um Wissen hinzuzufügen

Es liegt nahe anzunehmen, dass ein Modell Ihre Dokumente „kennt“, wenn Sie es mit ihnen trainieren. In der Praxis lernt es den Stil dieser Dokumente deutlich zuverlässiger als die darin enthaltenen Fakten. Forschende von Microsoft verglichen die beiden Ansätze direkt bei Fragen, für deren Beantwortung viel Wissen erforderlich ist, und stellten fest, dass RAG die unbeaufsichtigte Feinabstimmung durchweg übertraf – sowohl bei Fakten, die das Modell während des Trainings gesehen hatte, als auch bei völlig neuen.

Hinzu kommen praktische Probleme. Fakten ändern sich. Jedes Mal, wenn Sie Ihre Richtlinien oder Ihren Katalog ändern, ist ein feinabgestimmtes Modell veraltet, bis Sie es erneut trainieren. Außerdem verlieren Sie die Nachvollziehbarkeit: Wenn ein feinabgestimmtes Modell eine Zahl nennt, können Sie nicht auf das Dokument verweisen, aus dem sie stammt. Bei regulierten Kunden aus der Versicherungs- und Gesundheitsbranche beendet allein das meist die Diskussion.

RAG, erstmals beschrieben in der Arbeit von Lewis et al. aus dem Jahr 2020, speichert Wissen außerhalb des Modells. Zum Zeitpunkt der Anfrage rufen Sie die relevanten Textpassagen ab und übergeben sie dem Modell als Kontext. Um das Wissen zu aktualisieren, müssen Sie einen Index aktualisieren, nicht das Modell neu trainieren. Außerdem kann jede Antwort ihre Quelle angeben.

Ein Logistikkunde von uns ist ein gutes Beispiel. Seine Kunden wollten sofort erfahren, wo sich ihre Sendungen befanden und welche Dokumente fehlten. Diese Informationen ändern sich alle paar Minuten. Kein Training hätte ein Modell aktuell halten können. Deshalb beantwortet der von uns entwickelte Assistent die Fragen zum Zeitpunkt der Anfrage anhand aktueller Tracking- und IoT-Daten statt aus dem Gedächtnis. Nur eine Lösung mit Retrieval konnte funktionieren.

Wann sich Feinabstimmung lohnt

Feinabstimmung ist nicht überholt. Ihr Einsatzbereich ist nur enger, als viele erwarten. In drei Situationen setzen wir darauf:

• Strenge, wiederkehrende Ausgabeformate. Wenn ein Modell täglich tausendfach dieselbe strukturierte Ausgabe erzeugen muss – etwa Felder aus Rechnungen in ein festgelegtes JSON-Schema übertragen soll –, ist ein feinabgestimmtes kleines Modell oft zuverlässiger und deutlich günstiger als ein großes Modell, das per Prompt gesteuert wird.
• Fachsprache. In manchen Fachgebieten gibt es Abkürzungen, die das Basismodell falsch interpretiert. Häufige Beispiele sind Logistik-Statuscodes, klinische Abkürzungen und interne Produktcodes. Eine moderate Feinabstimmung kann hier Abhilfe schaffen.
• Kosten und Latenz bei großem Umfang. Sobald eine Aufgabe klar definiert ist, kann ein feinabgestimmtes kleines Modell ein großes Allzweckmodell ersetzen. Methoden wie LoRA machen das erschwinglich, weil dabei nur eine kleine Anzahl zusätzlicher Gewichte statt des gesamten Modells trainiert wird.

Beachten Sie, dass es bei keinem dieser Fälle um Fakten geht. Es geht darum, einem Modell beizubringen, wie es sich bei einer Aufgabe verhalten soll, die Sie bereits genau verstehen.

Die meisten RAG-Fehler sind Fehler beim Abruf

Wenn mir ein Team sagt: „Wir haben RAG ausprobiert, aber es hat nicht funktioniert“, liegt das Problem selten beim Modell. Es liegt am Abruf. Die Qualität der Antwort kann nur so gut sein wie die Textpassagen, die das Modell erhält.

Die Abhilfemaßnahmen sind wenig spektakulär, aber wirksam:

• Nach Sinnabschnitten statt nach Zeichenanzahl aufteilen. Wenn Sie einen Vertrag alle 500 Zeichen aufteilen, werden Klauseln mitten im Satz getrennt. Eine Aufteilung nach Abschnitten und Überschriften erhält den Zusammenhang.
• Jeden Textabschnitt um Kontext ergänzen. Ein Textabschnitt mit der Aussage „Die Frist beträgt 30 Tage“ ist nutzlos, wenn nicht klar ist, zu welcher Richtlinie er gehört. Anthropic berichtete, dass das Hinzufügen eines kurzen Dokumentkontexts zu jedem Textabschnitt vor der Indexierung – ein Ansatz, den das Unternehmen kontextbezogenen Abruf nennt – die Zahl fehlgeschlagener Abrufe um 49 % senkte und in Kombination mit einem nachgelagerten Ranking um 67 %.
• Stichwort- und Vektorsuche kombinieren. Die Vektorsuche eignet sich gut für die Bedeutung, aber weniger für exakte Begriffe wie Teilenummern. Eine hybride Suche deckt beides ab.
• Testen Sie den Abruf separat. Stellen Sie eine Reihe realer Fragen mit bekannten, korrekten Quellpassagen zusammen und messen Sie, ob die richtige Passage unter den ersten Treffern erscheint, bevor Sie die endgültigen Antworten bewerten.

Wann sich beides einsetzen lässt

In der Praxis kombinieren die leistungsstärksten Systeme häufig beides. RAG liefert die Fakten. Ein leicht feinabgestimmtes Modell kümmert sich um Format, Ton und Fachsprache. Auch die Forschung geht in diese Richtung: Der RAFT-Ansatz der UC Berkeley stimmt ein Modell gezielt darauf ab, abgerufene Dokumente besser zu nutzen und irrelevante zu ignorieren.

Die Reihenfolge ist jedoch entscheidend. Wir setzen fast immer zuerst RAG ein, messen, wo es Schwächen zeigt, und entscheiden erst dann, ob sich eine Feinabstimmung lohnt. Wer mit der Feinabstimmung beginnt, bezahlt für das Training, bevor überhaupt klar ist, worin die tatsächliche Lücke besteht.

Eine einfache Entscheidungshilfe

1. Hängt die Aufgabe von Fakten ab, die sich häufiger als einmal pro Quartal ändern? Verwenden Sie RAG.
2. Müssen Nutzer oder Prüfer nachvollziehen können, woher eine Antwort stammt? Verwenden Sie RAG.
3. Geht es um Format, Ton oder Wortschatz der Antworten und nicht um deren Fakten? Ziehen Sie eine Feinabstimmung in Betracht.
4. Handelt es sich um eine eng umrissene Aufgabe mit hohem Anfragevolumen, bei der Kosten oder Geschwindigkeit eine Rolle spielen? Ziehen Sie die Feinabstimmung eines kleineren Modells in Betracht.
5. Haben Sie die Qualität des Abrufs unabhängig gemessen? Falls nicht, tun Sie das, bevor Sie etwas anderes angehen.

Das Wichtigste auf einen Blick

RAG und Feinabstimmung sind keine Konkurrenten. Das eine versorgt ein Modell mit den richtigen Informationen, das andere prägt sein Verhalten. Klären Sie, welches Problem tatsächlich vorliegt, verbessern Sie den Abruf, bevor Sie dem Modell die Schuld geben, und betrachten Sie die Feinabstimmung als etwas, das Sie sich erst dann erarbeiten, wenn das System funktioniert – nicht als Abkürzung, damit es überhaupt funktioniert.