Benchmarks pentru LLM-uri

Înțelegeți rolul și limitările benchmark-urilor în evaluarea performanței LLM-urilor. Explorați tehnicile pentru dezvoltarea de LLM-uri robuste.

Modelele de limbaj mari au câștigat o popularitate imensă în ultimii ani. V-am văzut. Abilitatea excepțională a LLM-urilor de a înțelege comenzile limbajului uman le-a făcut să devină integrarea perfectă pentru afaceri, susținând fluxuri de lucru critice și automatizând sarcini pentru a obține eficiență maximă. Și, dincolo de înțelegerea medie a utilizatorului, există mult mai multe lucruri pe care LLM-urile le pot face. Și, pe măsură ce dependența noastră de ele crește, trebuie să acordăm mai multă atenție măsurilor pentru a asigura acuratețea și fiabilitatea necesare. Acesta este un obiectiv global care implică instituții întregi, dar în domeniul afacerilor există acum mai multe benchmark-uri care pot fi utilizate pentru a evalua performanța LLM-urilor în diverse domenii. Acestea pot testa abilitățile modelului în ceea ce privește înțelegerea, construirea logicii, matematica și așa mai departe, iar rezultatele determină dacă un LLM este gata pentru implementarea în afaceri.

În acest articol, am adunat o listă cuprinzătoare a celor mai populare benchmark-uri pentru evaluarea LLM-urilor. Vom discuta fiecare benchmark în detaliu și vom vedea cum diferitele LLM-uri se descurcă în fața criteriilor de evaluare. Dar, mai întâi, să înțelegem mai bine evaluarea LLM-urilor.

Ce este evaluarea LLM-urilor?

La fel ca și alte modele AI, LLM-urile trebuie să fie evaluate împotriva unor benchmark-uri specifice care evaluează diverse aspecte ale performanței modelului de limbaj: cunoașterea, acuratețea, fiabilitatea și coerența. Standardul obișnuit implică:

1. Înțelegerea cererilor utilizatorilor: Evaluarea abilității modelului de a înțelege și interpreta corect o gamă largă de intrări ale utilizatorilor.
2. Verificarea ieșirilor: Verificarea răspunsurilor generate de AI împotriva unei baze de cunoștințe de încredere pentru a asigura că acestea sunt corecte și relevante.
3. Robustitatea: Măsurarea modului în care modelul se descurcă cu intrări ambigue, incomplete sau zgomotoase.

Evaluarea LLM-urilor oferă dezvoltatorilor puterea de a identifica și aborda limitările în mod eficient, astfel încât aceștia să poată îmbunătăți experiența utilizatorului în general. Dacă un LLM este evaluat în mod cuprinzător, va fi suficient de precis și robust pentru a gestiona diverse aplicații din lumea reală, inclusiv cele cu intrări ambigue sau neașteptate.

Benchmark-uri

LLM-urile sunt una dintre cele mai complexe tehnologii până în prezent și pot alimenta chiar și cele mai dificile aplicații. Prin urmare, procesul de evaluare trebuie să fie la fel de complex, testând gândirea și acuratețea tehnică a acestora.

Un benchmark utilizează seturi de date specifice, metrice și sarcini de evaluare pentru a testa performanța LLM-urilor, permițând compararea diferitelor LLM-uri și măsurarea acurateței, ceea ce, la rândul său, stimulează progresul în industrie prin îmbunătățirea performanței.

Iată câteva dintre cele mai tipice aspecte ale performanței LLM-urilor:

• Cunoașterea: Cunoașterea modelului trebuie testată în diverse domenii. Acesta este scopul benchmark-ului de cunoaștere. Acesta evaluează cât de eficient modelul poate recupera informații din diverse domenii, cum ar fi fizica, programarea, geografia etc.
• Raționamentul logic: Aceasta implică testarea abilității modelului de a “gândi” pas cu pas și de a deriva o concluzie logică, de obicei implicând scenarii în care modelul trebuie să selecteze cea mai plauzibilă continuare sau explicație pe baza cunoștințelor de zi cu zi și a raționamentului logic.
• Înțelegerea citirii: Modelele trebuie să fie excelente în interpretarea limbajului natural și să genereze răspunsuri corespunzător. Testul constă în a răspunde la întrebări bazate pe pasaje pentru a evalua înțelegerea, inferența și reținerea detaliilor, asemănător unui test de citire școlar.
• Înțelegerea codului: Acesta este necesar pentru a măsura abilitatea modelului de a înțelege, scrie și depana cod. Aceste benchmark-uri oferă modelului sarcini de programare sau probleme care trebuie rezolvate corect, adesea acoperind o gamă de limbi de programare și paradigme.
• Cunoașterea lumii: Pentru a evalua înțelegerea modelului despre cunoașterea generală a lumii. Aceste seturi de date conțin, de obicei, întrebări care necesită cunoștințe enciclopedice pentru a fi răspuns corect, ceea ce le diferențiază de benchmark-urile de cunoaștere mai specializate.

Benchmark-uri de “cunoaștere”

MMLU (Multimodal Language Understanding)

Acest benchmark este conceput pentru a testa înțelegerea LLM-urilor a cunoașterii factuale în diverse subiecte, cum ar fi științele umaniste, științele sociale, istoria, informatica și chiar dreptul. 57 de întrebări și 15.000 de sarcini toate îndreptate spre a asigura că modelul are capacități de raționament excelente. Acest lucru face din MMLU un instrument bun pentru a evalua cunoașterea factuală și raționamentul LLM-urilor în diverse subiecte.

Recent, a devenit un benchmark cheie pentru evaluarea LLM-urilor în domeniile menționate. Dezvoltatorii își doresc întotdeauna să optimizeze modelele lor pentru a depăși alte modele în acest benchmark, ceea ce face din acesta un standard de facto pentru evaluarea raționamentului avansat și a cunoașterii în LLM-uri. Modelele de clasă enterprise au arătat rezultate impresionante în acest benchmark, incluzând GPT-4-omni cu 88,7%, Claude 3 Opus cu 86,8%, Gemini 1.5 Pro cu 85,9% și Llama-3 70B cu 82%. Modelele mici, de obicei, nu performează la fel de bine în acest benchmark, nu depășind, de obicei, 60-65%, dar performanța recentă a Phi-3-Small-7b cu 75,3% este demnă de luat în considerare.

Cu toate acestea, MMLU nu este lipsit de neajunsuri: are întrebări ambigue, răspunsuri incorecte și lipsă de context. Și, mulți consideră că unele dintre sarcinile sale sunt prea ușoare pentru o evaluare adecvată a LLM-urilor.

Aș dori să subliniez că benchmark-urile precum MMLU nu reprezintă perfect scenariile din lumea reală. Dacă un LLM obține un scor excelent în acesta, nu înseamnă neapărat că a devenit un expert în domeniu. Benchmark-urile sunt limitate în scop și adesea se bazează pe întrebări cu variante multiple, care nu pot captura niciodată complexitatea și contextul interacțiunilor din lumea reală. Înțelegerea adevărată necesită cunoașterea faptelor și aplicarea dinamică a acestor cunoștințe, implicând gândire critică, rezolvarea problemelor și înțelegerea contextuală. Din aceste motive, LLM-urile trebuie să fie refinate și actualizate constant pentru a menține relevanța și eficacitatea benchmark-ului.

GPQA (Graduate-Level Google-Proof Q&A Benchmark)

Acest benchmark evaluează LLM-urile în ceea ce privește raționamentul logic utilizând un set de date cu doar 448 de întrebări. A fost dezvoltat de experți în domeniu și acoperă subiecte din biologie, fizică și chimie.

Fiecare întrebare trece printr-un proces de validare:

1. Un expert în același domeniu răspunde la întrebare și oferă feedback detaliat.
2. Autorul întrebării revizuiește întrebarea pe baza feedback-ului.
3. Un al doilea expert răspunde la întrebarea revizuită.

Acest proces poate asigura, de fapt, că întrebările sunt obiective, corecte și provocatoare pentru un model de limbaj. Chiar și cercetători experimentați obțin doar o acuratețe de 65% la aceste întrebări, în timp ce GPT-4-omni atinge doar 53,6%, subliniind decalajul dintre inteligența umană și cea a mașinilor.

Datorită cerințelor de calificare ridicată, setul de date este, de fapt, destul de mic, ceea ce limitează puterea sa statistică pentru compararea acurateței și necesită efecte mari. Experții care au creat și validat aceste întrebări proveneau de pe platforma Upwork, astfel încât au putut introduce prejudecăți bazate pe expertiza și subiectele acoperite.

Benchmark-uri de cod

HumanEval

164 de probleme de programare, o adevărată probă pentru abilitățile de codare ale LLM-urilor. Este HumanEval. Acesta este conceput pentru a testa abilitățile de bază de programare ale LLM-urilor. Utilizează metrica pass@k pentru a evalua acuratețea funcțională a codului generat, care oferă probabilitatea ca cel puțin unul dintre primele k exemple de cod generate de LLM să treacă testele.

Deși setul de date HumanEval include semnături de funcții, docstring-uri, corpuri de cod și mai multe teste unitare, nu include întreaga gamă de probleme de programare din lumea reală, ceea ce nu va testa în mod adecvat capacitatea modelului de a genera cod corect pentru diverse scenarii.

MBPP (Mostly Basic Python Programming)

MBPP constă din 1.000 de întrebări de programare Python crowdsourcete. Acestea sunt probleme de nivel începător și se concentrează pe abilități de programare fundamentale. Utilizează abordări de tip few-shot și fine-tuning pentru a evalua performanța modelului, modelele mai mari perfromând, de obicei, mai bine pe acest set de date. Cu toate acestea, deoarece setul de date conține în principal programe de nivel începător, nu reprezintă pe deplin complexitatea și provocările aplicațiilor din lumea reală.

Benchmark-uri matematice

În timp ce majoritatea LLM-urilor sunt destul de bune la structurarea răspunsurilor standard, raționamentul matematic este o problemă mult mai mare pentru ele. De ce? Pentru că necesită abilități legate de înțelegerea întrebărilor, abordarea logică pas cu pas cu raționament matematic și derivarea răspunsului corect.

Metoda “Lanțul de gândire” (CoT) este concepută pentru a evalua LLM-urile pe benchmark-uri legate de matematică, implicând solicitarea modelului să explice procesul de raționament pas cu pas atunci când rezolvă o problemă. Există mai multe beneficii ale acestei abordări. Face procesul de raționament mai transparent, ajută la identificarea defectelor în logica modelului și permite o evaluare mai granulară a abilităților de rezolvare a problemelor. Prin descompunerea problemelor complexe într-o serie de pași mai simpli, CoT poate îmbunătăți performanța modelului pe benchmark-urile matematice și oferi perspective mai profunde asupra capacităților sale de raționament.

GSM8K: Un benchmark matematic popular

Unul dintre benchmark-urile bine cunoscute pentru evaluarea abilităților matematice în LLM-uri este setul de date GSM8K. GSM8K constă din 8.500 de probleme de matematică de nivel școlar, care necesită câteva pași pentru a fi rezolvate, iar soluțiile implică, în principal, efectuarea unei secvențe de calcule elementare. De obicei, modelele mai mari sau cele specializate în raționament matematic performează mai bine pe acest benchmark, de exemplu, modelele GPT-4 au un scor de 96,5%, în timp ce DeepSeekMATH-RL-7B are un scor de 88,2%.

Cu toate acestea, GSM8K este util pentru evaluarea abilității modelului de a gestiona probleme de matematică de nivel școlar, dar nu capturează pe deplin capacitatea modelului de a rezolva provocări matematice mai avansate sau diverse, limitând astfel eficacitatea sa ca măsură cuprinzătoare a abilităților matematice.

Setul de date matematic: O alternativă cuprinzătoare

Setul de date matematic a abordat limitările benchmark-urilor precum GSM8K. Acest set de date este mai extins, acoperind aritmetică elementară până la nivel de liceu și chiar colegiu. De asemenea, este comparat cu performanța umană, un student la informatică care nu îi place matematica obține o acuratețe de 40%, iar un medaliat obține o acuratețe de 90%.

Acesta oferă o evaluare mai completă a capacităților matematice ale LLM-urilor. Asigură că modelul este competent în aritmetică de bază și capabil în domenii complexe, cum ar fi algebră, geometrie și calcul. Cu toate acestea, creșterea complexității și diversității problemelor poate face dificilă pentru modele să obțină acuratețe ridicată, în special pentru cele care nu sunt explicit antrenate pe o gamă largă de concepte matematice. De asemenea, formatele variate de probleme din setul de date matematic pot introduce incoerențe în performanța modelului, ceea ce face mai dificilă tragera unor concluzii definitive despre profunzimea capacităților matematice ale modelului.

Utilizarea metodei Lanțul de gândire împreună cu setul de date matematic poate îmbunătăți evaluarea, deoarece dezvăluie abilitățile de raționament pas cu pas ale LLM-urilor pe o gamă largă de provocări matematice. O abordare combinată, cum ar fi aceasta, asigură o evaluare mai robustă și detaliată a capacităților matematice reale ale LLM-urilor.

Benchmark-uri de înțelegere a citirii

O evaluare a înțelegerii citirii evaluează abilitatea modelului de a înțelege și procesa text complex, ceea ce este fundamental pentru aplicații precum suportul clienților, generarea de conținut și recuperarea informațiilor. Există mai multe benchmark-uri concepute pentru a evalua această abilitate, fiecare cu atribute unice care contribuie la o evaluare cuprinzătoare a capacităților modelului.

RACE (Set de date pentru înțelegerea citirii din examene)

Benchmark-urile RACE au aproape 28.000 de pasaje și 100.000 de întrebări colectate din examenele în limba engleză pentru elevi chinezi cu vârste cuprinse între 12 și 18 ani. Nu limitează întrebările și răspunsurile la a fi extrase din pasajele date, făcând sarcinile și mai provocatoare.

Acesta acoperă o gamă largă de subiecte și tipuri de întrebări, ceea ce face o evaluare cuprinzătoare și include întrebări la niveluri diferite de dificultate. De asemenea, întrebările din RACE sunt concepute în mod special pentru testarea abilităților de citire ale oamenilor și sunt create de experți în domeniu.

Cu toate acestea, benchmark-ul are și unele neajunsuri. Deoarece a fost dezvoltat pe materiale educaționale chineze, este predispus la introducerea de prejudecăți culturale care nu reflectă un context global. De asemenea, nivelul ridicat de dificultate al unor întrebări nu este neapărat reprezentativ pentru sarcinile tipice din lumea reală, ceea ce poate face evaluarea performanței mai puțin precisă.

DROP (Raționament discret peste paragrafe)

O altă abordare semnificativă este DROP (Raționament discret peste paragrafe), care provoacă modelele să efectueze raționament discret peste paragrafe. Acesta are 96.000 de întrebări pentru a testa capacitățile de raționament ale LLM-urilor, iar întrebările sunt extrase din Wikipedia și crowdsourcete de pe Amazon Mechanical Turk. Întrebările DROP solicită adesea modelelor să efectueze operații matematice, cum ar fi adunarea, scăderea și compararea, pe baza informațiilor distribuite într-un pasaj.

Întrebările sunt provocatoare. Ele necesită ca LLM-urile să localizeze mai multe numere în pasaj și să le adune sau să le scadă pentru a obține răspunsul final. Modele mari, cum ar fi GPT-4 și palm, ating 80% și, respectiv, 85%, în timp ce oamenii ating 96% pe setul de date DROP.

Benchmark-uri de simț comun

Testarea simțului comun în modelele de limbaj este o provocare interesantă, dar și esențială, deoarece evaluează abilitatea modelului de a face judecăți și inferențe care se aliniază cu raționamentul uman. În contrast cu oamenii, care dezvoltă un model cuprinzător al lumii prin experiențe practice, modelele de limbaj sunt antrenate pe seturi de date imense fără a înțelege în mod intrinsic contextul. Acest lucru face ca modelele să aibă dificultăți cu sarcinile care necesită o înțelegere intuitivă a situațiilor de zi cu zi, raționament logic și cunoștințe practice, aspecte foarte importante pentru aplicații AI robuste și de încredere.

HellaSwag (Sfârșituri mai dificile, contexte mai lungi și activități cu puține exemple pentru situații cu generări adverse)

Hellaswag a fost dezvoltat de Rowan Zellers și colegii săi de la Universitatea din Washington și Institutul Allen pentru Inteligență Artificială. Acesta este conceput pentru a testa abilitatea modelului de a prezice cea mai plauzibilă continuare a unui scenariu dat. Acest benchmark este construit utilizând Filtrarea Adversă (AF), unde o serie de discriminări selectează iterativ răspunsuri incorecte generate de mașină. Această metodă creează un set de date cu exemple triviale pentru oameni, dar provocatoare pentru modele, rezultând o “zonă de aur” a dificultății.

Deși Hellaswag a fost o provocare pentru modelele anterioare, modelele de ultimă generație, cum ar fi GPT-4, au atins niveluri de performanță apropiate de acuratețea umană, indicând progrese semnificative în domeniu. Cu toate acestea, aceste rezultate subliniază nevoia de a continua să evolueze benchmark-urile pentru a ține pasul cu progresele în capacitățile AI.

Openbook

Setul de date Openbook constă din 5.957 de întrebări cu variante multiple de nivel elementar de știință. Întrebările sunt colectate din examene deschise și dezvoltate pentru a evalua înțelegerea umană a subiectului.

Benchmark-ul Openbook necesită capacități de raționament dincolo de recuperarea informațiilor. GPT-4 atinge acuratețea cea mai ridicată de până acum, de 95,9%.

OpenbookQA este modelat după examene deschise și constă din 5.957 de întrebări cu variante multiple de nivel elementar de știință. Aceste întrebări sunt concepute pentru a testa înțelegerea a 1.326 de fapte științifice de bază și aplicarea lor în situații noi.

Similar cu Hellaswag, modelele anterioare au găsit OpenbookQA provocator, dar modelele moderne, cum ar fi GPT-4, au atins niveluri de performanță apropiate de cele umane. Acest progres subliniază importanța dezvoltării de benchmark-uri și mai complexe și nuanțate pentru a continua să împingă limitele înțelegerii AI.

Sunt suficiente benchmark-urile pentru evaluarea performanței LLM-urilor?

Da, deși oferă o abordare standardizată pentru evaluarea performanței LLM-urilor, acestea pot fi, de asemenea, înșelătoare. Organizația Sistemelor Mari afirmă că un benchmark bun pentru LLM-uri ar trebui să fie escalabil, capabil să evalueze noi modele cu un număr relativ mic de încercări și să ofere o ordine de clasificare unică pentru toate modelele. Dar există motive pentru care acestea pot să nu fie suficiente. Iată câteva:

Scurgerea de date

Acesta este un fenomen comun și se întâmplă atunci când datele de antrenare se suprapun cu datele de test, făcând evaluarea înșelătoare. Dacă un model a întâlnit deja unele întrebări de test în timpul antrenării, rezultatul său nu va reflecta neapărat capacitățile sale reale. Dar un benchmark ideal ar trebui să minimizeze memorizarea și să reflecte scenariile din lumea reală.

Sesizarea evaluării

Clasamentele de benchmark-uri pentru LLM-uri sunt utilizate pentru a compara performanța LLM-urilor în diverse sarcini. Cu toate acestea, a te baza doar pe aceste clasamente pentru a compara modelele poate fi înșelător. Schimbări simple în teste, cum ar fi modificarea ordinii întrebărilor, pot schimba clasamentul modelelor cu până la opt poziții. De asemenea, LLM-urile pot performa diferit în funcție de metodele de evaluare, subliniind importanța considerării prejudecăților în evaluare.

Deschiderea

Interacțiunile din lumea reală cu LLM-urile implică proiectarea de prompturi pentru a genera ieșiri AI dorite. Ieșirile LLM-urilor depind de eficacitatea prompturilor, iar benchmark-urile sunt concepute pentru a testa conștientizarea contextului de către LLM-uri. Cu toate acestea, benchmark-urile nu se traduc întotdeauna direct în performanța din lumea reală. De exemplu, un model care obține un scor de 100% pe un set de date de benchmark nu garantează același nivel de acuratețe în aplicații practice. Acest lucru subliniază importanța considerării naturii deschise a sarcinilor din lumea reală în evaluarea LLM-urilor.

Evaluarea eficientă pentru LLM-uri robuste

Deci, acum știți că benchmark-urile nu sunt întotdeauna cea mai bună opțiune, deoarece nu pot generaliza întotdeauna peste toate problemele. Dar există și alte modalități.

Benchmark-uri personalizate

Acestea sunt perfecte pentru testarea unor comportamente și funcționalități specifice în scenarii specifice de sarcini. Să zicem, dacă un LLM este proiectat pentru ofițeri medicali, seturile de date colectate din medii medicale vor reprezenta eficient scenariile din lumea reală. Aceste benchmark-uri personalizate pot se concentra pe înțelegerea limbajului specific domeniului, performanță și cerințe contextuale unice. Prin alinierea benchmark-urilor cu posibile scenarii din lumea reală, puteți asigura că LLM-ul performează bine în general și excelează în sarcinile specifice pentru care este destinat. Acest lucru poate ajuta la identificarea și abordarea oricăror lacune sau slăbiciuni în capacitățile modelului de la început.

Pipeline de detectare a scurgerii de date

Dacă doriți ca evaluările dvs. să “arate” integritate, este foarte important să aveți un pipeline de benchmark fără scurgere de date. Scurgerea de date apare atunci când datele de test sunt incluse în corpusul de preantrenare al modelului, rezultând scoruri de performanță artificial ridicate. Pentru a evita acest lucru, benchmark-urile ar trebui să fie verificate împotriva datelor de preantrenare. Plus, pași pentru a evita orice informație văzută anterior. Acest lucru poate implica utilizarea de seturi de date proprietare sau nou curate care sunt păstrate separate de pipeline-ul de antrenare al modelului – ceea ce va asigura că metricile de performanță pe care le obțineți reflectă capacitatea modelului de a generaliza bine.

Evaluarea umană

Metricile automate, luate singure, nu pot captura întregul spectru al performanței unui model, în special atunci când vine vorba de aspecte nuanțate și subiective ale înțelegerii și generării limbajului. Aici, evaluarea umană oferă o evaluare mult mai bună:

• Angajarea de profesioniști care pot oferi evaluări detaliate și de încredere, în special pentru domenii specializate.
• Crowdsourcing! Platforme precum Amazon Mechanical Turk permit colectarea de judecăți umane diverse rapid și la un cost mic.
• Feedbackul comunității: Utilizarea platformelor precum arena de clasament LMSYS, unde utilizatorii pot vota și compara modele, adaugă un strat suplimentar de perspicacitate. De exemplu, Arena de chatbot LMSYS Hard este deosebit de eficientă în evidențierea diferențelor subtile între modelele de top prin interacțiuni directe ale utilizatorilor și voturi.

Concluzie

Fără evaluare și benchmarking, nu am avea niciun mod de a ști dacă abilitatea LLM-urilor de a gestiona sarcinile din lumea reală este la fel de precisă și aplicabilă cum credem că ar trebui să fie. Dar, așa cum am spus, benchmark-urile nu sunt o modalitate complet fără erori de a verifica acest lucru; ele pot duce la lacune în performanța LLM-urilor. Acest lucru poate încetini, de asemenea, dezvoltarea LLM-urilor care sunt cu adevărat robuste pentru muncă.

Acesta este modul în care ar trebui să fie într-o lume ideală. LLM-urile înțeleg cererile utilizatorilor, identifică erorile în prompturi, completează sarcinile așa cum li s-a indicat și generează ieșiri fiabile. Rezultatele sunt deja excelente, dar nu ideale. Acesta este locul în care benchmark-urile specifice sarcinilor sunt deosebit de utile, la fel ca evaluarea umană și detectarea scurgerii de date. Prin utilizarea acestor metode, obținem o șansă de a produce LLM-uri cu adevărat robuste.