LLM-as-a-Judge: Eine skalierbare Lösung für die Bewertung von Sprachmodellen mithilfe von Sprachmodellen

Das LLM-as-a-Judge-Framework ist eine skalierbare, automatisierte Alternative zu menschlichen Bewertungen, die oft teuer, langsam und durch die Menge der Antworten begrenzt sind, die sie bewerten können. Durch die Verwendung eines LLM, um die Ausgaben eines anderen LLM zu bewerten, können Teams effizient Genauigkeit, Relevanz, Ton und Einhaltung spezifischer Richtlinien in einer konsistenten und reproduzierbaren Weise verfolgen.

Die Bewertung von generiertem Text stellt eine einzigartige Herausforderung dar, die über traditionelle Genauigkeitsmetriken hinausgeht. Ein einzelner Prompt kann multiple korrekte Antworten hervorbringen, die sich in Stil, Ton oder Formulierung unterscheiden, was es schwierig macht, die Qualität mithilfe einfacher quantitativer Metriken zu bewerten.

Hier hebt sich der LLM-as-a-Judge-Ansatz hervor: Er ermöglicht nuancierte Bewertungen von komplexen Eigenschaften wie Ton, Hilfreichkeit und konversationeller Kohärenz. Ob für die Vergleichbarkeit von Modellversionen oder die Bewertung von Echtzeit-Ausgaben, LLMs als Richter bieten eine flexible Möglichkeit, menschliche Urteile zu approximieren, was sie zu einer idealen Lösung für die Skalierung von Bewertungsbemühungen über große Datensätze und Live-Interaktionen macht.

Dieser Leitfaden wird erläutern, wie LLM-as-a-Judge funktioniert, seine verschiedenen Arten von Bewertungen und praktische Schritte zur effektiven Implementierung in verschiedenen Kontexten. Wir werden behandeln, wie man Kriterien festlegt, Bewertungsprompts entwirft und eine Rückkopplungsschleife für kontinuierliche Verbesserungen etabliert.

Konzept von LLM-as-a-Judge

LLM-as-a-Judge verwendet LLMs, um Textausgaben aus anderen KI-Systemen zu bewerten. Als unparteiische Bewerter können LLMs generierte Texte basierend auf benutzerdefinierten Kriterien wie Relevanz, Kürze und Ton bewerten. Dieser Bewertungsprozess ist ähnlich wie die Überprüfung jeder Ausgabe durch einen virtuellen Bewerter gemäß den in einem Prompt bereitgestellten Richtlinien. Es ist ein besonders nützliches Framework für anwendungsreiche Anwendungen, bei denen menschliche Überprüfung aufgrund von Volumen- oder Zeitbeschränkungen unpraktisch ist.

Wie es funktioniert

Ein LLM-as-a-Judge ist dafür ausgelegt, Textantworten basierend auf Anweisungen in einem Bewertungsprompt zu bewerten. Der Prompt definiert normalerweise Eigenschaften wie Hilfreichkeit, Relevanz oder Klarheit, die der LLM bei der Bewertung einer Ausgabe berücksichtigen sollte. Zum Beispiel könnte ein Prompt den LLM auffordern, zu entscheiden, ob eine Chatbot-Antwort “hilfreich” oder “nicht hilfreich” ist, mit Anweisungen dazu, was jede Bezeichnung umfasst.

Der LLM verwendet sein internes Wissen und gelernte Sprachmuster, um den bereitgestellten Text zu bewerten, indem er die Prompt-Kriterien mit den Eigenschaften der Antwort abgleicht. Durch die Festlegung klarer Erwartungen können Bewerter den Fokus des LLM auf die Erfassung von Nuancen wie Höflichkeit oder Spezifität ausrichten, die ansonsten schwer zu messen wären. Im Gegensatz zu traditionellen Bewertungsmetriken bietet LLM-as-a-Judge eine flexible, hochstufige Approximation von menschlichem Urteil, das an verschiedene Inhaltsarten und Bewertungsanforderungen anpassbar ist.

Bewertungstypen

1. Paarweise Vergleich: Bei dieser Methode erhält der LLM zwei Antworten auf denselben Prompt und wird aufgefordert, die “bessere” Antwort basierend auf Kriterien wie Relevanz oder Genauigkeit auszuwählen. Diese Art der Bewertung wird oft in A/B-Tests verwendet, bei denen Entwickler verschiedene Versionen eines Modells oder Prompt-Konfigurationen vergleichen. Durch die Aufforderung an den LLM, zu entscheiden, welche Antwort besser ist, bietet der paarweise Vergleich eine direkte Möglichkeit, die Präferenz in Modellausgaben zu bestimmen.
2. Direkte Bewertung: Direkte Bewertung ist eine referenzfreie Bewertung, bei der der LLM eine einzelne Ausgabe basierend auf vordefinierten Eigenschaften wie Höflichkeit, Ton oder Klarheit bewertet. Direkte Bewertung funktioniert gut in sowohl Offline- als auch Online-Bewertungen und bietet eine Möglichkeit, die Qualität kontinuierlich über verschiedene Interaktionen hinweg zu überwachen. Diese Methode ist nützlich für die Überwachung konsistenter Eigenschaften über die Zeit und wird oft verwendet, um Echtzeit-Antworten in der Produktion zu überwachen.
3. Referenzbasierte Bewertung: Diese Methode führt zusätzlichen Kontext ein, wie eine Referenzantwort oder unterstützendes Material, gegen das die generierte Antwort bewertet wird. Dies wird häufig in Retrieval-Augmented Generation (RAG)-Einrichtungen verwendet, bei denen die Antwort eng mit abgerufenem Wissen übereinstimmen muss. Durch den Vergleich der Ausgabe mit einer Referenzdokumentation hilft dieser Ansatz bei der Bewertung von faktischer Genauigkeit und Einhaltung spezifischen Inhalts, wie z.B. das Überprüfen von Halluzinationen in generiertem Text.

Anwendungsfälle

LLM-as-a-Judge ist an verschiedene Anwendungen anpassbar:

• Chatbots: Bewertung von Antworten auf Kriterien wie Relevanz, Ton und Hilfreichkeit, um konsistente Qualität zu gewährleisten.
• Zusammenfassung: Bewertung von Zusammenfassungen für Kürze, Klarheit und Übereinstimmung mit dem Quelldokument, um Treue zu erhalten.
• Code-Generierung: Überprüfung von Code-Snippets auf Richtigkeit, Lesbarkeit und Einhaltung gegebener Anweisungen oder Best Practices.

Diese Methode kann als automatisierter Bewerter dienen, um diese Anwendungen durch kontinuierliche Überwachung und Verbesserung der Modellleistung ohne umfassende menschliche Überprüfung zu verbessern.

Erstellen Ihres LLM-Richters – Ein Schritt-für-Schritt-Leitfaden

Das Erstellen einer LLM-basierten Bewertungsumgebung erfordert sorgfältige Planung und klare Richtlinien. Befolgen Sie diese Schritte, um ein robustes LLM-as-a-Judge-Bewertungssystem zu erstellen:

Schritt 1: Definieren der Bewertungskriterien

Beginnen Sie damit, die spezifischen Eigenschaften zu definieren, die Sie vom LLM bewerten lassen möchten. Ihre Bewertungskriterien könnten Faktoren wie folgende umfassen:

• Relevanz: Beantwortet die Antwort direkt die Frage oder den Prompt?
• Ton: Ist der Ton angemessen für den Kontext (z.B. professionell, freundlich, prägnant)?
• Genauigkeit: Ist die bereitgestellte Information faktisch korrekt, insbesondere in wissensbasierten Antworten?

Wenn Sie beispielsweise einen Chatbot bewerten, könnten Sie Relevanz und Hilfreichkeit priorisieren, um sicherzustellen, dass er nützliche, themenbezogene Antworten liefert. Jedes Kriterium sollte klar definiert sein, da vage Richtlinien zu inkonsistenten Bewertungen führen können. Die Definition einfacher binärer oder skalierte Kriterien (wie “relevant” vs. “nicht relevant” oder eine Likert-Skala für Hilfreichkeit) kann die Konsistenz verbessern.

Schritt 2: Vorbereiten des Bewertungsdatensatzes

Um den LLM-Richter zu kalibrieren und zu testen, benötigen Sie einen repräsentativen Datensatz mit gelabelten Beispielen. Es gibt zwei Hauptansätze, um diesen Datensatz vorzubereiten:

1. Produktionsdaten: Verwenden Sie Daten aus der historischen Ausgabe Ihrer Anwendung. Wählen Sie Beispiele aus, die typische Antworten darstellen und eine Reihe von Qualitätsstufen für jedes Kriterium abdecken.
2. Synthetische Daten: Wenn Produktionsdaten begrenzt sind, können Sie synthetische Beispiele erstellen. Diese Beispiele sollten die erwarteten Antwortmerkmale nachahmen und Randfälle für umfassendere Tests abdecken.

Sobald Sie einen Datensatz haben, labeln Sie ihn manuell gemäß Ihren Bewertungskriterien. Dieser gelabelte Datensatz dient als Ihre Grundwahrheit, die es Ihnen ermöglicht, die Konsistenz und Genauigkeit des LLM-Richters zu messen.

Schritt 3: Erstellen effektiver Prompts

Prompt-Engineering ist entscheidend für die effektive Führung des LLM-Richters. Jedes Prompt sollte klar, spezifisch und mit Ihren Bewertungskriterien abgestimmt sein. Hier sind Beispiele für jeden Bewertungstyp:

Paarweiser Vergleichsprompt

Sie erhalten zwei Antworten auf dieselbe Frage. Wählen Sie die Antwort, die hilfreicher, relevanter und detaillierter ist. Wenn beide Antworten gleich gut sind, markieren Sie sie als Unentschieden.

<p>Frage: [Frage einfügen]
Antwort A: [Antwort A einfügen]
Antwort B: [Antwort B einfügen]</p>

<p>Ausgabe: "Bessere Antwort: A" oder "Bessere Antwort: B" oder "Unentschieden"</p>

Direkte Bewertungsprompt

Bewerten Sie die folgende Antwort auf Höflichkeit. Eine höfliche Antwort ist respektvoll, rücksichtsvoll und vermeidet harsche Sprache. Geben Sie "Höflich" oder "Unhöflich" zurück.

Antwort: [Antwort einfügen]

<p>Ausgabe: "Höflich" oder "Unhöflich"</p>

Referenzbasiertes Bewertungsprompt

Vergleichen Sie die folgende Antwort mit der bereitgestellten Referenzantwort. Bewerten Sie, ob die Antwort faktisch korrekt ist und dieselbe Bedeutung vermittelt. Markieren Sie als "Korrigiert" oder "Falsch".

<p>Referenzantwort: [Referenzantwort einfügen]
Generierte Antwort: [Generierte Antwort einfügen]</p>

<p>Ausgabe: "Korrigiert" oder "Falsch"</p>

Das Erstellen von Prompts auf diese Weise reduziert Mehrdeutigkeiten und ermöglicht es dem LLM-Richter, genau zu verstehen, wie jede Antwort zu bewerten ist. Um die Prompt-Klarheit weiter zu verbessern, beschränken Sie den Umfang jeder Bewertung auf eine oder zwei Eigenschaften (z.B. Relevanz und Detail) anstelle von mehreren Faktoren in einem einzigen Prompt.

Schritt 4: Testen und Iterieren

Nachdem Sie das Prompt und den Datensatz erstellt haben, bewerten Sie den LLM-Richter, indem Sie ihn auf Ihren gelabelten Datensatz anwenden. Vergleichen Sie die Ausgaben des LLM mit den von Ihnen zugewiesenen Grundwahrheitslabels, um Konsistenz und Genauigkeit zu überprüfen. Schlüsselmetriken für die Bewertung umfassen:

• Präzision: Der Prozentsatz korrekter positiver Bewertungen.
• Erinnerung: Der Prozentsatz der Grundwahrheits-Positiven, die vom LLM korrekt identifiziert werden.
• Genauigkeit: Der Gesamtprozentsatz korrekter Bewertungen.

Das Testen hilft dabei, Inkonsistenzen in der Leistung des LLM-Richters zu identifizieren. Wenn der Richter beispielsweise häufig hilfreiche Antworten als nicht hilfreich bewertet, müssen Sie möglicherweise das Bewertungsprompt überarbeiten. Beginnen Sie mit einer kleinen Stichprobe und erhöhen Sie die Datensatzgröße, während Sie iterieren.

In dieser Phase sollten Sie auch das Experimentieren mit verschiedenen Prompt-Strukturen oder die Verwendung mehrerer LLMs für Kreuzvalidierung in Betracht ziehen. Wenn beispielsweise ein Modell tendenziell zu ausführlich ist, können Sie es mit einem knapperen LLM-Modell testen, um zu sehen, ob die Ergebnisse besser mit Ihrer Grundwahrheit übereinstimmen. Prompt-Überarbeitungen können das Anpassen von Labels, die Vereinfachung von Sprache oder sogar das Aufbrechen komplexer Prompts in kleinere, handhabbarere Prompts umfassen.

import pandas as pd
from huggingface_hub import InferenceClient

<p># Initialisieren des LLM-Clients mit einem bestimmten Modell-Repository
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># Laden eines Beispiel-Datensatzes (ersetzen Sie durch Ihren Datensatz)
data = load_dataset("Ihr_Datensatz_ID")["train"]</p>

<p># Extrahieren relevanter Felder für die Bewertung
df = pd.DataFrame({
'Frage': data['Frage_Feld'],
'Antwort': data['Antwort_Feld']
})
df.head()</p>

def bewerten(frage, antwort):
# Erstellen eines Prompts, um Relevanz und Genauigkeit zu bewerten
prompt = f"Bewerten Sie die Antwort auf Relevanz und Genauigkeit:\nFrage: {frage}\nAntwort: {antwort}"
ergebnis = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return ergebnis

<p># Testen der Funktion mit einem Beispiel
frage = "Wie wirkt sich die Maßnahme des FED auf die Inflation aus?"
antwort = "Wenn der FED Anleihen kauft, kann dies zu..."
bewertung = bewerten(frage, antwort)
print("LLM-Bewertung:", bewertung)</p>

def paarweiser_vergleich(frage, antwort_a, antwort_b):
# Erstellen eines Prompts für den Paarvergleich
prompt = (
f"Gegeben ist die folgende Frage, bestimmen Sie, welche Antwort relevanter und detaillierter ist.\n\n"
f"Frage: {frage}\n\n"
f"Antwort A: {antwort_a}\n\n"
f"Antwort B: {antwort_b}\n\n"
"Wählen Sie die bessere Antwort: A oder B."
)
ergebnis = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return ergebnis

<p># Beispiel für einen Paarvergleich
frage = "Was ist die Auswirkung der Anleihekäufe des FED?"
antwort_a = "Die Maßnahmen des FED können die Geldmenge erhöhen."
antwort_b = "Die Anleihekäufe des FED können die Inflation steigern."
vergleich = paarweiser_vergleich(frage, antwort_a, antwort_b)
print("Bessere Antwort:", vergleich)</p>