Utvärdering av stora språkmodeller: En teknisk guide

Stora språkmodeller (LLM) som GPT-4, Claude och LLaMA har exploderat i popularitet. Tack vare deras förmåga att generera imponerande mänskligt språk används dessa AI-system nu för allt från innehållsskapande till kundtjänstchattbotar.

Men hur vet vi om dessa modeller verkligen är bra? Med nya LLM som tillkännages konstant, alla påstår sig vara större och bättre, hur utvärderar och jämför vi deras prestanda?

I denna omfattande guide kommer vi att utforska de bästa teknikerna för att utvärdera stora språkmodeller. Vi kommer att titta på fördelarna och nackdelarna med varje tillvägagångssätt, när de är bäst tillämpliga och hur du kan utnyttja dem i din egen LLM-testning.

Uppgiftsspecifika mått

En av de mest raka sätten att utvärdera en LLM är att testa den på etablerade NLP-uppgifter med standardiserade mått. Till exempel:

Sammanfattning

För sammanfattningsuppgifter används mått som ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ofta. ROUGE jämför modellgenererad sammanfattning med en mänsklig “referens” sammanfattning, räknar överlappningen av ord eller fraser.

Det finns flera varianter av ROUGE, var och en med sina egna fördelar och nackdelar:

• ROUGE-N: Jämför överlappning av n-gram (sekvenser av N ord). ROUGE-1 använder unigram (enskilda ord), ROUGE-2 använder bigram, etc. Fördelen är att det fångar ordordningen, men det kan vara för strikt.
• ROUGE-L: Baserat på längsta gemensamma subsekvens (LCS). Mer flexibel på ordordning men fokuserar på huvudpunkter.
• ROUGE-W: Viktar LCS-matcher. Försöker förbättra ROUGE-L.

I allmänhet är ROUGE-mått snabba, automatiserade och fungerar bra för att rangordna system sammanfattningar. Men de mäter inte sammanhang eller mening. En sammanfattning kan få ett högt ROUGE-poäng och fortfarande vara meningslös.

Formeln för ROUGE-N är:

ROUGE-N=∑∈{Referenssammanfattningar}∑∑�∈{Referenssammanfattningar}∑ROUGE-N=∑s∈{Referenssammanfattningar}​∑gramn​∈s​Count(gramn​)∑s∈{Referenssammanfattningar}​∑gramn​∈s​Countmatch​(gramn​)​

Där:

• Count_{match}(gram_n) är antalet n-gram i både den genererade och referenssammanfattningen.
• Count(gram_n) är antalet n-gram i referenssammanfattningen.

Till exempel, för ROUGE-1 (unigram):

• Genererad sammanfattning: “Katten satt.”
• Referenssammanfattning: “Katten satt på mattan.”
• Överlappande unigram: “Katten”, “satt”
• ROUGE-1-poäng = 3/5 = 0,6

ROUGE-L använder den längsta gemensamma subsekvensen (LCS). Det är mer flexibelt med ordordning. Formeln är:

ROUGE-L=���(genererad, referens)max(length(genererad), length(referens))ROUGE-L=max(length(genererad), length(referens))LCS(genererad,referens)​

Där LCS är längden på den längsta gemensamma subsekvensen.

ROUGE-W viktar LCS-matcher. Det tar hänsyn till betydelsen av varje match i LCS.

Översättning

För maskinöversättningsuppgifter är BLEU (Bilingual Evaluation Understudy) ett populärt mått. BLEU mäter likheten mellan modellens utdata och professionella mänskliga översättningar, med n-gram precision och en straff för brist på innehåll.

Nyckelaspekter av hur BLEU fungerar:

• Jämför överlappning av n-gram för n upp till 4 (unigram, bigram, trigram, 4-gram).
• Beräknar en geometrisk medelvärde av n-gram precision.
• Tillämpar en straff för brist på innehåll om översättningen är mycket kortare än referensen.
• Vanligtvis varierar mellan 0 och 1, med 1 som en perfekt match till referensen.

BLEU korrelerar rimligt väl med mänskliga bedömningar av översättningskvalitet. Men det har fortfarande begränsningar:

• Mäter endast precision mot referenser, inte återkallande eller F1.
• Har svårt med kreativa översättningar som använder olika ord.
• Känslig för “gaming” med översättningsknep.

Andra översättningsmått som METEOR och TER försöker förbättra BLEU:s svagheter. Men i allmänhet fångar automatiska mått inte fullständigt översättningskvalitet.

Andra uppgifter

Utöver sammanfattning och översättning kan mått som F1, precision, MSE och mer användas för att utvärdera LLM-prestanda på uppgifter som:

• Textklassificering
• Informationsextraktion
• Frågesvar
• Sentimentanalys
• Grammatisk felidentifiering

Fördelen med uppgiftsspecifika mått är att utvärdering kan vara fullständigt automatiserad med standardiserade datamängder som SQuAD för QA och GLUE benchmark för en rad uppgifter. Resultat kan enkelt spåras över tid när modeller förbättras.

Men dessa mått är smalt fokuserade och kan inte mäta övergripande språkkvalitet. LLM som presterar bra på mått för en enskild uppgift kan misslyckas med att generera sammanhängande, logisk, hjälpsam text i allmänhet.

Forskningsbenchmark

En populär metod för att utvärdera LLM är att testa dem mot breda forskningsbenchmark som täcker olika ämnen och färdigheter. Dessa benchmark tillåter modeller att testas snabbt i stor skala.

Några välkända benchmark är:

• SuperGLUE – En utmanande uppsättning av 11 olika språkuppgifter.
• GLUE – En samling av 9 meningförståelseuppgifter. Enklare än SuperGLUE.
• MMLU – 57 olika STEM, samhällsvetenskapliga och humanistiska uppgifter. Testar kunskap och resonemangs förmåga.
• Winograd Schema Challenge – Pronomenlösning som kräver sunt förnuft.
• ARC – Utmanande naturligt språk resonemangs uppgifter.
• Hellaswag – Sunt förnuft resonemang om situationer.
• PIQA – Fysikfrågor som kräver diagram.

Genom att utvärdera på benchmark som dessa kan forskare snabbt testa modeller på deras förmåga att utföra matematik, logik, resonemang, kodning, sunt förnuft och mycket mer. Procentandelen korrekt besvarade frågor blir ett benchmark-mått för att jämföra modeller.

Men ett stort problem med benchmark är träningsdata förorening. Många benchmark innehåller exempel som redan har setts av modeller under förträning. Detta möjliggör för modeller att “memorera” svar på specifika frågor och prestera bättre än deras verkliga förmåga.

Försök görs för att “avförorena” benchmark genom att ta bort överlappande exempel. Men det är svårt att göra detta helt, särskilt när modeller kan ha sett parafraserade eller översatta versioner av frågor.

Så medan benchmark kan testa en bred uppsättning färdigheter effektivt, kan de inte tillförlitligt mäta verklig resonemangs förmåga eller undvika poänginflation på grund av förorening. Kompletterande utvärderingsmetoder behövs.

LLM självutvärdering

En intressant metod är att låta en LLM utvärdera en annan LLM:s utdata. Idén är att utnyttja den “enklare” uppgiften:

• Att producera en högkvalitativ utdata kan vara svårt för en LLM.
• Men att bestämma om en given utdata är av hög kvalitet kan vara en enklare uppgift.

Till exempel, medan en LLM kan ha svårt att generera en faktuell, sammanhängande mening från scratch, kan den mer lätt bedöma om en given mening är logisk och passar sammanhanget.

Så processen är:

1. Skicka inmatningsprompt till första LLM för att generera utdata.
2. Skicka inmatningsprompt + genererad utdata till en andra “utvärderare” LLM.
3. Be utvärderare LLM en fråga för att bedöma utdatans kvalitet. t.ex. “Gör ovanstående svar logiskt?”

Denna metod är snabb att implementera och automatiserar LLM-utvärdering. Men det finns några utmaningar:

• Prestanda beror starkt på valet av utvärderare LLM och promptformulering.
• Begränsad av svårigheten på den ursprungliga uppgiften. Utvärdering av komplex resonemang är fortfarande svårt för LLM.
• Kan vara beräkningsmässigt dyrt om man använder API-baserade LLM.

Självutvärdering är särskilt lovande för att bedöma återanvänd information i RAG (retrieval-augmented generation) system. Ytterligare LLM-frågor kan validera om återanvänd kontext används på rätt sätt.

Sammanfattningsvis visar självutvärdering potential men kräver omsorg vid implementering. Det kompletterar, snarare än ersätter, mänsklig utvärdering.

Mänsklig utvärdering

Givet begränsningarna i automatiserade mått och benchmark, är mänsklig utvärdering fortfarande den gyllene standarden för att rigoröst bedöma LLM-kvalitet.

Experter kan ge detaljerade kvalitativa bedömningar på:

• Exakthet och faktisk korrekthet
• Logik, resonemang och sunt förnuft
• Sammanhang, konsekvens och läsbarhet
• Lämplighet av ton, stil och röst
• Grammatiskhet och flyt
• Kreativitet och nyans

För att utvärdera en modell ges mänskliga bedömare en uppsättning inmatningsprompt och LLM-genererade svar. De bedömer kvaliteten på svaren, ofta med hjälp av bedömningskriterier och bedömningsmallar.

Nackdelen är att manuell mänsklig utvärdering är dyrt, långsamt och svårt att skala. Det kräver också att utveckla standardiserade kriterier och utbilda bedömare att tillämpa dem konsekvent.

Några forskare har utforskat kreativa sätt att crowdfunda mänsklig LLM-utvärdering med hjälp av turneringsliknande system där människor satsar och bedömer matcher mellan modeller. Men täckningen är fortfarande begränsad jämfört med fullständiga manuella utvärderingar.

För affärsfall där kvalitet är viktigare än rå skala, förblir expertmänsklig testning den gyllene standarden trots dess kostnader. Detta är särskilt sant för riskfyllda tillämpningar av LLM.

Slutsats

Att utvärdera stora språkmodeller grundligt kräver att man använder en mångfaldig verktygslåda av kompletterande metoder, snarare än att förlita sig på en enda teknik.

Genom att kombinera automatiserade metoder för hastighet med rigorös mänsklig översyn för exakthet, kan vi utveckla tillförlitliga testmetoder för stora språkmodeller. Med robust utvärdering kan vi låsa upp den enorma potentialen hos LLM samtidigt som vi hanterar deras risker på ett ansvarsfullt sätt.