Bewertung von Large Language Models: Ein technischer Leitfaden

Large Language Models (LLMs) wie GPT-4, Claude und LLaMA haben eine enorme Popularität erlangt. Dank ihrer Fähigkeit, beeindruckend menschliche Texte zu generieren, werden diese KI-Systeme jetzt für alles von Content-Erstellung bis hin zu Kunden-Service-Chatbots eingesetzt.

Aber wie wissen wir, ob diese Modelle tatsächlich gut sind? Mit neuen LLMs, die ständig angekündigt werden, alle behaupten, größer und besser zu sein, wie bewerten und vergleichen wir ihre Leistung?

In diesem umfassenden Leitfaden werden wir die besten Techniken für die Bewertung von Large Language Models erkunden. Wir werden die Vor- und Nachteile jeder Methode betrachten, wann sie am besten angewendet werden und wie Sie sie in Ihren eigenen LLM-Tests nutzen können.

Aufgaben-spezifische Metriken

Eine der einfachsten Möglichkeiten, ein LLM zu bewerten, ist es, es auf etablierten NLP-Aufgaben mit standardisierten Metriken zu testen. Zum Beispiel:

Zusammenfassung

Für Zusammenfassungsaufgaben werden Metriken wie ROUGE (Recall-Oriented Understudy for Gisting Evaluation) häufig verwendet. ROUGE vergleicht die vom Modell generierte Zusammenfassung mit einer von einem Menschen geschriebenen “Referenz”-Zusammenfassung und zählt die Übereinstimmungen von Wörtern oder Phrasen.

Es gibt mehrere Varianten von ROUGE, jede mit ihren eigenen Vor- und Nachteilen:

• ROUGE-N: Vergleicht die Übereinstimmungen von n-Grammen (Folgen von N Wörtern). ROUGE-1 verwendet Unigramme (einzelne Wörter), ROUGE-2 verwendet Bigramme usw. Der Vorteil ist, dass es die Wortreihenfolge erfasst, aber es kann zu streng sein.
• ROUGE-L: Basierend auf der längsten gemeinsamen Subsequenz (LCS). Flexibler bei der Wortreihenfolge, aber konzentriert sich auf die wichtigsten Punkte.
• ROUGE-W: Gewichtete LCS-Übereinstimmungen. Versucht, ROUGE-L zu verbessern.

Im Allgemeinen sind ROUGE-Metriken schnell, automatisch und funktionieren gut für die Bewertung von Systemzusammenfassungen. Allerdings messen sie nicht die Kohärenz oder Bedeutung. Eine Zusammenfassung kann eine hohe ROUGE-Punktzahl haben und dennoch unsinnig sein.

Die Formel für ROUGE-N lautet:

ROUGE-N=∑∈{Reference Summaries}∑∑�∈{Reference Summaries}∑ROUGE-N=∑s∈{Reference Summaries}​∑gramn​∈s​Count(gramn​)∑s∈{Reference Summaries}​∑gramn​∈s​Countmatch​(gramn​)​

Wo:

• Count_{match}(gram_n) ist die Anzahl der n-Gramme in beiden der generierten und Referenz-Zusammenfassung.
• Count(gram_n) ist die Anzahl der n-Gramme in der Referenz-Zusammenfassung.

Zum Beispiel für ROUGE-1 (Unigramme):

• Generierte Zusammenfassung: “Die Katze saß.”
• Referenz-Zusammenfassung: “Die Katze saß auf dem Teppich.”
• Übereinstimmende Unigramme: “Die”, “Katze”, “saß”
• ROUGE-1-Punktzahl = 3/5 = 0,6

ROUGE-L verwendet die längste gemeinsame Subsequenz (LCS). Es ist flexibler bei der Wortreihenfolge. Die Formel lautet:

ROUGE-L=���(generated,reference)max(length(generated), length(reference))ROUGE-L=max(length(generated), length(reference))LCS(generated,reference)​

Wo LCS die Länge der längsten gemeinsamen Subsequenz ist.

ROUGE-W gewichtet die LCS-Übereinstimmungen. Es berücksichtigt die Bedeutung jeder Übereinstimmung in der LCS.

Übersetzung

Für maschinelle Übersetzungsaufgaben ist BLEU (Bilingual Evaluation Understudy) ein beliebtes Maß. BLEU misst die Ähnlichkeit zwischen der Ausgabe des Modells und professionellen menschlichen Übersetzungen, unter Verwendung von n-Gramm-Präzision und einer Kürzestrafik.

Wichtige Aspekte, wie BLEU funktioniert:

• Vergleicht die Übereinstimmungen von n-Grammen für n bis 4 (Unigramme, Bigramme, Trigramme, 4-Gramme).
• Berechnet den geometrischen Mittelwert der n-Gramm-Präzisionen.
• Wendet eine Kürzestrafik an, wenn die Übersetzung viel kürzer ist als die Referenz.
• Im Allgemeinen reicht es von 0 bis 1, wobei 1 eine perfekte Übereinstimmung mit der Referenz ist.

BLEU korreliert vernünftig mit menschlichen Urteilen über die Übersetzungsqualität. Aber es hat auch Einschränkungen:

• Misst nur die Präzision gegenüber Referenzen, nicht die Erinnerung oder F1.
• Hat Schwierigkeiten mit kreativen Übersetzungen, die unterschiedliche Formulierungen verwenden.
• Anfällig für “Gaming” mit Übersetzungstricks.

Andere Übersetzungsmaße wie METEOR und TER versuchen, die Schwächen von BLEU zu verbessern. Aber im Allgemeinen erfassen automatische Maße nicht vollständig die Übersetzungsqualität.

Andere Aufgaben

Neben der Zusammenfassung und Übersetzung können Metriken wie F1, Genauigkeit, MSE und mehr verwendet werden, um die Leistung von LLMs auf Aufgaben wie:

• Textklassifizierung
• Informationsextraktion
• Fragebeantwortung
• Sentimentanalyse
• Grammatikfehlererkennung

Der Vorteil von aufgaben-spezifischen Metriken ist, dass die Bewertung vollständig automatisiert werden kann, unter Verwendung standardisierter Datensätze wie SQuAD für QA und GLUE-Benchmark für eine Reihe von Aufgaben. Die Ergebnisse können leicht über die Zeit verfolgt werden, während die Modelle verbessert werden.

Allerdings sind diese Metriken eng fokussiert und können nicht die Gesamtqualität der Sprache messen. LLMs, die gut auf Metriken für eine einzelne Aufgabe abschneiden, können bei der Generierung von kohärenten, logischen und hilfreichen Texten im Allgemeinen versagen.

Forschungsbenchmarks

Eine beliebte Methode, um LLMs zu bewerten, ist es, sie gegen umfassende Forschungsbenchmarks zu testen, die eine Vielzahl von Themen und Fähigkeiten abdecken. Diese Benchmarks ermöglichen es, Modelle schnell im großen Maßstab zu testen.

Einige bekannte Benchmarks sind:

• SuperGLUE – Herausfordernder Satz von 11 verschiedenen Sprachaufgaben.
• GLUE – Sammlung von 9 Satzverständnisaufgaben. Einfacher als SuperGLUE.
• MMLU – 57 verschiedene Aufgaben aus den Bereichen STEM, Sozialwissenschaften und Geisteswissenschaften. Testet Wissen und Denkfähigkeit.
• Winograd Schema Challenge – Pronomenauflösungsprobleme, die allgemeines Wissen erfordern.
• ARC – Herausfordernde natürliche Sprachverständnisaufgaben.
• Hellaswag – Allgemeines Wissen über Situationen.
• PIQA – Physikfragen, die Diagramme erfordern.

Durch die Bewertung auf Benchmarks wie diesen können Forscher Modelle schnell auf ihre Fähigkeit testen, Mathematik, Logik, Denkfähigkeit, Codierung, Allgemeinwissen und vieles mehr zu beherrschen. Der Prozentsatz der korrekt beantworteten Fragen wird zu einem Benchmark-Maß für die Vergleichbarkeit von Modellen.

Allerdings gibt es ein großes Problem mit Benchmarks: Trainingsdaten-Kontamination. Viele Benchmarks enthalten Beispiele, die bereits während der Vorbereitung von Modellen gesehen wurden. Dies ermöglicht es Modellen, “zu memorieren“, Antworten auf bestimmte Fragen und besser zu abschneiden, als ihre tatsächlichen Fähigkeiten.

Es werden Versuche unternommen, Benchmarks “zu dekontaminieren“, indem übereinstimmende Beispiele entfernt werden. Aber dies ist schwierig zu tun, insbesondere wenn Modelle möglicherweise paraphrasierte oder übersetzte Versionen von Fragen gesehen haben.

So können Benchmarks eine breite Palette von Fähigkeiten effizient testen, aber sie können nicht zuverlässig die tatsächlichen Denkfähigkeiten oder die Inflation von Punktzahlen aufgrund von Kontamination messen. Ergänzende Bewertungsmethoden sind erforderlich.

LLM-Selbstbewertung

Ein interessanter Ansatz ist es, ein LLM ein anderes LLMs Ausgaben zu bewerten. Die Idee ist, die “leichtere” Aufgabe zu nutzen:

• Die Erstellung einer hochwertigen Ausgabe kann für ein LLM schwierig sein.
• Aber die Bestimmung, ob eine gegebene Ausgabe von hoher Qualität ist, kann eine leichtere Aufgabe sein.

Zum Beispiel kann ein LLM, das Schwierigkeiten hat, eine tatsächliche, kohärente Passage aus dem Nichts zu generieren, leichter beurteilen, ob eine gegebene Passage logisch ist und im Kontext passt.

Der Prozess ist also:

1. Übergeben Sie die Eingabeaufforderung an das erste LLM, um die Ausgabe zu generieren.
2. Übergeben Sie die Eingabeaufforderung + generierte Ausgabe an das zweite “Bewertungs”-LLM.
3. Fragen Sie das Bewertungs-LLM, die Ausgabqualität zu bewerten. Zum Beispiel: “Macht die obige Antwort logischen Sinn?”

Dieser Ansatz ist schnell zu implementieren und automatisiert die LLM-Bewertung. Aber es gibt einige Herausforderungen:

• Die Leistung hängt stark von der Wahl des Bewertungs-LLMs und der Formulierung der Aufforderung ab.
• Eingeschränkt durch die Schwierigkeit der ursprünglichen Aufgabe. Die Bewertung komplexer Denkfähigkeiten ist immer noch schwierig für LLMs.
• Kann rechenintensiv sein, wenn API-basierte LLMs verwendet werden.

Die Selbstbewertung ist besonders vielversprechend für die Bewertung abgerufener Informationen in RAG (Retrieval-Augmented Generation)-Systemen. Zusätzliche LLM-Abfragen können überprüfen, ob abgerufener Kontext angemessen verwendet wird.

Insgesamt zeigt die Selbstbewertung Potential, erfordert aber sorgfältige Implementierung. Sie ergänzt, anstatt zu ersetzen, die menschliche Bewertung.

Menschliche Bewertung

Angesichts der Einschränkungen automatischer Metriken und Benchmarks ist die menschliche Bewertung immer noch der Goldstandard für die sorgfältige Bewertung der LLM-Qualität.

Experten können detaillierte qualitative Bewertungen zu:

• Genauigkeit und faktischer Richtigkeit
• Logik, Denkfähigkeit und Allgemeinwissen
• Kohärenz, Konsistenz und Lesbarkeit
• Angemessenheit von Ton, Stil und Stimme
• Grammatikalität und Flüssigkeit
• Kreativität und Nuancen

Um ein Modell zu bewerten, erhalten Menschen eine Reihe von Eingabeaufforderungen und die LLM-generierten Antworten. Sie bewerten die Qualität der Antworten, oft unter Verwendung von Bewertungsskalen und Rubriken.

Der Nachteil ist, dass die manuelle menschliche Bewertung teuer, langsam und schwierig zu skalieren ist. Sie erfordert auch die Entwicklung standardisierter Kriterien und die Schulung von Bewertern, um sie konsistent anzuwenden.

Einige Forscher haben kreative Wege erforscht, um menschliche LLM-Bewertungen durch Turnier-Systeme zu crowdsourcen, bei denen Menschen auf Modelle wetten und sie bewerten. Aber die Abdeckung ist immer noch begrenzt im Vergleich zu vollständigen manuellen Bewertungen.

Für Geschäftsanwendungen, bei denen Qualität wichtiger ist als rohe Skalierbarkeit, bleibt die Experten-Testung der Goldstandard, trotz der Kosten. Dies ist besonders wichtig für riskantere Anwendungen von LLMs.

Zusammenfassung

Die sorgfältige Bewertung von Large Language Models erfordert die Verwendung eines vielfältigen Werkzeugs an komplementären Methoden, anstatt sich auf eine einzelne Technik zu verlassen.

Durch die Kombination von automatisierten Ansätzen für Geschwindigkeit mit sorgfältiger menschlicher Überwachung für Genauigkeit können wir vertrauenswürdige Testmethoden für Large Language Models entwickeln. Mit robuster Bewertung können wir das enorme Potenzial von LLMs nutzen und gleichzeitig ihre Risiken verantwortungsvoll bewältigen.