Evaluering af store sprogmodeller: En teknisk vejledning

Store sprogmodeller (LLM’er) som GPT-4, Claude og LLaMA er eksploderet i popularitet. Takket være deres evne til at generere imponerende menneskelignende tekst, bruges disse AI-systemer nu til alt fra indholdsskabelse til kundeservice-chatbots.

Men hvordan ved vi, om disse modeller faktisk er nogen gode? Med nye LLM’er, der annonceres konstant, og som alle påstår at være større og bedre, hvordan kan vi evaluere og sammenligne deres præstation?

I denne omfattende vejledning, vil vi udforske de bedste teknikker for at evaluere store sprogmodeller. Vi vil se på fordelene og ulemperne ved hver tilgang, når de bedst anvendes, og hvordan du kan udnytte dem i din egen LLM-testning.

Opgave-specifikke metrikker

En af de mest direkte måder at evaluere en LLM på er at teste den på etablerede NLP-opgaver med standardiserede metrikker. For eksempel:

Sammenfatning

Til sammenfatningsopgaver, bruges metrikker som ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ofte. ROUGE sammenligner model-genereret sammenfatning med en menneskeskrevet “reference”-sammenfatning, og tæller overlap af ord eller fraser.

Der er flere varianter af ROUGE, hver med deres egne fordele og ulemper:

• ROUGE-N: Sammenligner overlap af n-grammer (sekvenser af N ord). ROUGE-1 bruger unigrammer (enkelte ord), ROUGE-2 bruger bigrammer, osv. Fordelen er, at det fanger ordorden, men det kan være for strengt.
• ROUGE-L: Baseret på længste fælles undersekvens (LCS). Mere fleksibelt på ordorden, men fokuserer på hovedpunkter.
• ROUGE-W: Væger LCS-matches med deres betydning. Forsøger at forbedre ROUGE-L.

Generelt er ROUGE-metrikker hurtige, automatiske og fungerer godt til at rangere system-sammenfattelser. Men de måler ikke sammenhæng eller mening. En sammenfatning kan få en høj ROUGE-score og stadig være meningsløs.

Formlen for ROUGE-N er:

ROUGE-N=∑∈{Reference Summaries}∑∑�∈{Reference Summaries}∑ROUGE-N=∑s∈{Reference Summaries}​∑gramn​∈s​Count(gramn​)∑s∈{Reference Summaries}​∑gramn​∈s​Countmatch​(gramn​)​

Hvor:

• Count_{match}(gram_n) er antallet af n-grammer i både den genererede og reference-sammenfatning.
• Count(gram_n) er antallet af n-grammer i reference-sammenfatningen.

For eksempel, for ROUGE-1 (unigrammer):

• Genereret sammenfatning: “Katten sad.”
• Reference-sammenfatning: “Katten sad på måtten.”
• Overlappende unigrammer: “Katten”, “sad”
• ROUGE-1-score = 3/5 = 0,6

ROUGE-L bruger den længste fælles undersekvens (LCS). Det er mere fleksibelt med ordorden. Formlen er:

ROUGE-L=���(generated,reference)max(length(generated), length(reference))ROUGE-L=max(length(generated), length(reference))LCS(generated,reference)​

Hvor LCS er længden af den længste fælles undersekvens.

ROUGE-W væger LCS-matches. Det tager hensyn til betydningen af hver match i LCS.

Øversættelse

Til maskinøversættelse-opgaver, er BLEU (Bilingual Evaluation Understudy) en populær metrik. BLEU måler ligheden mellem modellens output-øversættelse og professionelle menneskeskrevne øversættelser, ved hjælp af n-gram præcision og en straf for korthed.

Nøgleaspekter af, hvordan BLEU fungerer:

• Sammenligner overlap af n-grammer for n op til 4 (unigrammer, bigrammer, trigrammer, 4-grammer).
• Beregner en geometrisk gennemsnit af n-gram præcisioner.
• Anvender en straf for korthed, hvis øversættelsen er meget kortere end reference.
• Generelt varierer det fra 0 til 1, hvor 1 er en perfekt match til reference.

BLEU korrelerer rimeligt godt med menneskelige vurderinger af øversættelses kvalitet. Men det har stadig begrænsninger:

• Måler kun præcision mod references, ikke recall eller F1.
• Kæmper med kreative øversættelser, der bruger forskellige ord.
• Er følsom over for “gaming” med øversættelsestricks.

Andre øversættelsesmetrikker som METEOR og TER forsøger at forbedre BLEU’s svagheder. Men generelt måler automatiske metrikker ikke fuldt ud øversættelseskvalitet.

Andre opgaver

Ud over sammenfatning og øversættelse, kan metrikker som F1, nøjagtighed, MSE og mere bruges til at evaluere LLM-præstation på opgaver som:

• Tekstklassifikation
• Informationsekstraktion
• Spørgsmålssvar
• Sentimentanalyse
• Grammatisk fejlfinding

Fordelen ved opgave-specifikke metrikker er, at evaluering kan være fuldt automatiseret ved hjælp af standardiserede datasæt som SQuAD til QA og GLUE-benchmark til en række opgaver. Resultater kan let spores over tid, da modellerne forbedres.

Men disse metrikker er snævert fokuseret og kan ikke måle den overordnede sprogkvalitet. LLM’er, der præsterer godt på metrikker for en enkelt opgave, kan fejle i at generere sammenhængende, logisk, hjælpsom tekst i almindelighed.

Forskningsbenchmarks

En populær måde at evaluere LLM’er på er at teste dem mod omfattende forskningsbenchmarks, der dækker diverse emner og færdigheder. Disse benchmarks tillader, at modeller kan testes hurtigt i stor skala.

Nogle velkendte benchmarks inkluderer:

• SuperGLUE – En udfordrende samling af 11 diverse sprogopgaver.
• GLUE – En samling af 9 sætningforståelsesopgaver. Simpelt end SuperGLUE.
• MMLU – 57 forskellige STEM-, samfunds- og humanistiske opgaver. Tester viden og resonans.
• Winograd Schema Challenge – Pronom-resolution-problemer, der kræver fælles fornuft.
• ARC – Udfordrende naturlige sprogopgaver.
• Hellaswag – Fælles fornuft om situationer.
• PIQA – Fysikspørgsmål, der kræver diagrammer.

Ved at evaluere på benchmarks som disse, kan forskere hurtigt teste modeller på deres evne til at udføre matematik, logik, resonans, kodning, fælles fornuft og meget mere. Procentdelen af korrekt besvarede spørgsmål bliver en benchmark-metrik til at sammenligne modeller.

Men et større problem med benchmarks er træningsdata-forurening. Mange benchmarks indeholder eksempler, der allerede er set af modeller under fortræning. Dette giver modellerne mulighed for at “huske” svar på bestemte spørgsmål og præstere bedre end deres virkelige evner.

Forsøg er gjort for at “rense” benchmarks ved at fjerne overlappende eksempler. Men dette er svært at gøre omfattende, især når modeller kan have set paraphraserede eller oversatte versioner af spørgsmål.

Så selvom benchmarks kan teste en bred vifte af færdigheder effektivt, kan de ikke pålideligt måle den virkelige resonans eller undgå score-inflation på grund af forurening. Komplementære evalueringmetoder er nødvendige.

LLM-selvvurdering

En interessant tilgang er at lade en LLM evaluere en anden LLM’s output. Ideen er at udnytte den “lettere” opgave-koncept:

• At producere en højkvalitets-output kan være svært for en LLM.
• Men at bestemme, om en given output er af høj kvalitet, kan være en lettere opgave.

For eksempel, mens en LLM kan have svært ved at generere en faktuel, sammenhængende paragraf fra scratch, kan den mere let bedømme, om en given paragraf er logisk og passer til konteksten.

Så processen er:

1. Send input-prompt til første LLM for at generere output.
2. Send input-prompt + genereret output til anden “evaluerer”-LLM.
3. Spørg evaluerer-LLM et spørgsmål for at bedømme output-kvalitet. f.eks. “Gør ovenstående respons logisk mening?”

Denne tilgang er hurtig at implementere og automatiserer LLM-evaluering. Men der er nogle udfordringer:

• Præstation afhænger stærkt af valg af evaluerer-LLM og prompt-ordlyd.
• Begrænset af sværheden ved den oprindelige opgave. At evaluere kompleks resonans er stadig svært for LLM’er.
• Kan være beregningsmæssigt dyrt, hvis man bruger API-baserede LLM’er.

Selvvurdering er især lovende til at bedømme hentet information i RAG (retrieval-augmented generation)-systemer. Yderligere LLM-forespørgsler kan validere, om hentet kontekst bruges korrekt.

Samlet set viser selvvurdering potentiale, men kræver omhu i implementeringen. Det supplerer, snarere end erstatter, menneskelig evaluering.

Menneskelig evaluering

Givet begrænsningerne af automatiske metrikker og benchmarks, er menneskelig evaluering stadig guldstandarden for at evaluere LLM-kvalitet rigtigt.

Eksperter kan give detaljerede kvalitative vurderinger af:

• Nøjagtighed og faktuel korrekthed
• Logik, resonans og fælles fornuft
• Sammenhæng, konsistens og læselighed
• Passende tone, stil og stemme
• Grammatik og flydende
• Kreativitet og nuance

For at evaluere en model, gives mennesker en række input-prompter og LLM-genererede svar. De vurderer kvaliteten af svarene, ofte ved hjælp af vurderingsskalaer og rubrikker.

Ulemperne er, at manuel menneskelig evaluering er dyrt, langsomt og svært at skalaere. Det kræver også udvikling af standardiserede kriterier og træning af vurderere til at anvende dem konsekvent.

Nogle forskere har udforsket kreative måder at crowdfunde menneskelig LLM-evaluering ved hjælp af turneringslignende systemer, hvor mennesker vædder på og bedømmer kampe mellem modeller. Men dækningen er stadig begrænset i forhold til fuld manuel evaluering.

Til forretningsformål, hvor kvalitet betyder mere end ren skala, forbliver ekspertrig menneskelig testning guldstandarden, trods omkostningerne. Dette er især sandt for risikofyldte anvendelser af LLM’er.

Konklusion

At evaluere store sprogmodeller grundigt kræver brug af en divers værktøjskasse af komplementære metoder, snarere end at afhænge af en enkelt teknik.

Ved at kombinere automatiske tilgange for hastighed med rigorøs menneskelig oversigt for nøjagtighed, kan vi udvikle pålidelige testmetoder for store sprogmodeller. Med robust evaluering kan vi låse op for det enorme potentiale i LLM’er, samtidig med at vi håndterer deres risici ansvarligt.