LLM-benchmarkit

Ymmärtäkää benchmarkien rooli ja rajoitukset LLM-suorituskyvyn arvioinnissa. Tutkikaa tekniikoita kehittääkseen kestäviä LLM-malleja.

Laajat kielen mallit (LLM) ovat saavuttaneet valtavan suosion viime vuosina. Olette varmasti nähneet sen. LLM-mallien poikkeuksellinen kyky ymmärtää ihmisen kieltä tekee niistä täydellisen integraation liiketoiminnassa, tukeakseen kriittisiä työvirran ja automatisoimalla tehtäviä maksimaaliseen tehokkuuteen. Ja tavallisen käyttäjän ymmärtämisen ulottumattomissa on paljon enemmän, mitä LLM-mallit voivat tehdä. Ja kun riippuvuutemme niistä kasvaa, meidän on todella kiinnitettävä enemmän huomiota toimiin, joilla varmistamme tarvittavan tarkkuuden ja luotettavuuden. Tämä on globaali tehtävä, joka koskee koko instituutioita, mutta liiketoiminnan alueella on nyt useita benchmarkkejä, joita voidaan käyttää arvioimaan LLM-mallien suorituskykyä eri aloilla. Nämä voivat testata mallin kykyjä ymmärtämisessä, logiikassa, matematiikassa jne., ja tulokset määräävät, onko LLM valmis liiketoiminnan käyttöön.

Tässä artikkelissa olen koonnut kattavan luettelon suosituimmista LLM-benchmarkkeistä. Tarkastelemme jokaista benchmarkia yksityiskohtaisesti ja näemme, miten eri LLM-mallit suoriutuvat arviointikriteereistä. Mutta ensin, tutkikaamme LLM-arvioinnin yksityiskohtaisemmin.

Mitä on LLM-arviointi?

Kuten muutkin AI-mallit, myös LLM-mallit tarvitsevat arvioinnin, joka arvioi mallin suorituskykyä tiettyjen benchmarkien avulla: tieto, tarkkuus, luotettavuus ja johdonmukaisuus. Standardi sisältää yleensä:

1. Käyttäjän kysymysten ymmärtäminen: Arvioidaan mallin kykyä ymmärtää ja tulkita laajaa valikoimaa käyttäjän syötevirtoja.
2. Vastauksen verifioiminen: Varmistetaan, että AI-mallin tuottamat vastaukset ovat oikein ja asiaankuuluvia vertaamalla niitä luotettavaan tietokantaan.
3. Luotettavuus: Mitataan, miten hyvin malli suoriutuu epämääräisistä, puutteellisista tai meluisista syötevirroista.

LLM-arviointi antaa kehittäjille mahdollisuuden tunnistaa ja osoittaa rajoituksia tehokkaasti, jotta he voivat parantaa kokonaiskäyttäjäkokemusta. Jos LLM on perusteellisesti arvioitu, se on tarpeeksi tarkka ja luotettava käsitelläkseen erilaisia todellisen maailman sovelluksia, myös niitä, joissa on epämääräisiä tai odottamattomia syötevirtoja.

Benchmarkit

LLM-mallit ovat yksi monimutkaisimmista teknologioista tähän asti, ja ne voivat mahdollistaa jopa haasteellisimmat sovellukset. Arviointiprosessi on siis yhtä monimutkainen, testaten mallin ajatteluprosessia ja teknistä tarkkuutta.

Benchmark käyttää tiettyjä tietoja, mittareita ja arviointitehtäviä testatakseen LLM-mallin suorituskykyä, ja mahdollistaen eri LLM-mallien vertailun ja mittauksen tarkkuudesta, mikä puolestaan ajaa eteenpäin alan kehitystä parantamalla suorituskykyä.

Tässä on joitakin yleisimpiä LLM-suorituskyvyn puolia:

• Tieto: Mallin tietämys on testattava eri aloilla. Tämä on tietämysbenchmarkin tehtävä. Se arvioi, miten tehokkaasti malli voi muistaa tietoa eri aihealueilta, kuten fysiikasta, ohjelmoinnista, maantieteestä jne.
• Looginen päättely: Tarkoittaa testaamista mallin kykyä “ajatella” askel askeleelta ja johtaa looginen johtopäätös, ne yleensä sisältävät tilanteita, joissa malli joutuu valitsemaan todennäköisimmän jatkumon tai selityksen perustuen arkipäivän tietämykseen ja loogiseen päättelyyn.
• Lukutaito: Malleilla on oltava erinomainen kyky tulkita luonnollista kieltä ja tuottaa siihen perustuvia vastauksia. Testi muistuttaa vastaamista kysymyksiin perustuen lukupätkään, jotta voidaan arvioida ymmärtämistä, johtamista ja yksityiskohtien muistamista. Kuin koulun lukutesti.
• Koodin ymmärtäminen: Tämä on tarpeen arvioida mallin taitoja koodauksessa, kirjoittamisessa ja virheenkorjaamisessa. Nämä benchmarkit antavat mallille koodaustehtäviä tai ongelmia, jotka mallin on ratkaistava oikein, usein kattavalla valikoimalla ohjelmointikieliä ja -paradigmoja.
• Maailman tietämys: Arvioidaan mallin yleistietämys maailmasta. Nämä tietokannat sisältävät yleensä kysymyksiä, jotka vaativat laajaa, tietosanakirjamaisia tietoja voidakseen vastata oikein, mikä tekee niistä erilaisia kuin tiukemmat, erikoistuneemmat tietämysbenchmarkit.

“Tietämys”-benchmarkit

MMLU (Monimutkainen kielen ymmärtäminen)

Tämä benchmark on suunniteltu testaamaan LLM-mallin tietämys eri aihealueilla, kuten humanistisilla tieteillä, yhteiskuntatieteillä, historialla, tietojenkäsittelytieteellä ja jopa oikeustieteellä. 57 kysymystä ja 15 000 tehtävää kaikki suunnattu varmistamaan, että malli on erinomainen järkeilykyvyssä. Tämä tekee MMLU:sta hyvän työkalun arvioida LLM-mallin tietämys ja järkeily useilla aihealueilla.

Viime aikoina se on tullut avainbenchmarkiksi LLM-mallien arvioimiseksi mainittujen alojen osalta. Kehittäjät haluavat aina optimoida mallejaan menemään muita paremmin tässä benchmarkissa, mikä tekee siitä de facto -standardin arvioimaan edistyneen järkeilyn ja tietämyksen LLM-malleissa. Suuret yritysasteiset mallit ovat saavuttaneet vaikuttavia tuloksia tässä benchmarkissa, kuten GPT-4-omni 88,7 %, Claude 3 Opus 86,8 %, Gemini 1,5 Pro 85,9 % ja Llama-3 70B 82 %. Pienet mallit eivät yleensä suoriudu hyvin tässä benchmarkissa, yleensä alle 60-65 %, mutta Phi-3-Small-7b:n viimeisin suoritus 75,3 % on asia, jota kannattaa pohtia.

MMLU:lla on kuitenkin myös rajoituksia: siinä on tunnettuja ongelmia, kuten epämääräisiä kysymyksiä, virheellisiä vastauksia ja puuttuvaa kontekstia. Ja monet ajattelevat, että jotkut sen tehtävistä ovat liian helppoja LLM-mallien kunnollisen arvioimiseksi.

Haluaisin korostaa, että benchmarkit kuten MMLU eivät kuvaa täydellisesti todellisen maailman tilanteita. Jos LLM-malli saavuttaa hyvän tuloksen tässä, se ei välttämättä tarkoita, että se on kehittynyt aihealueen asiantuntijaksi. Benchmarkit ovat todella hyvin rajoitettuja ja usein perustuvat monivalintakysymyksiin, jotka eivät voi koskaan täysin kaapata todellisen maailman vuorovaikutusten monimutkaisuutta ja kontekstia. Todellinen ymmärtäminen vaatii tietämys ja sen soveltamista dynaamisesti ja se käsittää kriittistä ajattelua, ongelmanratkaisua ja kontekstuaalista ymmärtämistä. Näistä syistä LLM-mallien on jatkuvasti parannettava ja päivitettävä, jotta malli säilyttäisi benchmarkin merkityksen ja tehokkuuden.

GPQA (Yliopistotason Google-Proof Q&A Benchmark)

Tämä benchmark arvioi LLM-malleja loogisessa päättelyssä tietokannan avulla, joka sisältää vain 448 kysymystä. Aihealueiden asiantuntijat kehittivät sen, ja se kattaa aiheita biologiassa, fysiikassa ja kemiassa.

Jokainen kysymys menee läpi seuraavan validointiprosessin:

1. Asiantuntija samasta aihealueesta vastaa kysymykseen ja antaa yksityiskohtaisen palautteen.
2. Kysymyksen kirjoittaja muokkaa kysymystä tämän palautteen perusteella.
3. Toinen asiantuntija vastaa muokattuun kysymykseen.

Tämä prosessi voi varmistaa, että kysymykset ovat objektiivisia, tarkkoja ja haasteellisia kielen mallille. Vaikka kokeneet PhD-tutkijat saavuttavat vain 65 %:n tarkkuuden näillä kysymyksillä, GPT-4-omni saavuttaa vain 53,6 %, korostaen kuilun ihmisen ja koneen välillä.

Korkeiden kelpoisuusvaatimusten vuoksi tietokanta on itse asiassa melko pieni, mikä rajoittaa sen tilastollista voimaa tarkkuuden vertailuun ja edellyttää suuria vaikutuksia. Asiantuntijat, jotka loivat ja validoi nämä kysymykset, tulivat Upworkista, joten he saattoivat esittää asiantuntemukseensa ja aihealueisiinsa perustuvia harhaa.

Koodibenchmarkit

HumanEval

164 ohjelmointiongelmaa, oikea testi LLM-mallien koodaustaidoille. Se on HumanEval. Se on suunniteltu testaamaan suurten kielen mallien perustason koodaustaitoja. Se käyttää pass@k-metriikkaa arvioidakseen generoidun koodin toiminnallista tarkkuutta, joka antaa todennäköisyyden, että vähintään yksi parhaan k:n LLM-generoidun koodiesimerkin läpäisee testitapaukset.

Vaikka HumanEval-tietokanta sisältää funktiosignatuureja, docstringejä, koodirunkoja ja useita yksikkötestejä, se ei kata koko valikoimaa todellisen maailman koodaustehtäviä, mikä ei voi tarjoata riittävää testiä mallin kyvylle luoda oikein koodia moninaisiin tilanteisiin.

MBPP (Mostly Basic Python Programming)

MBPP-benchmark koostuu 1000 joukkoistetusta Python-ohjelmointikysymyksestä. Nämä ovat perustason ongelmat ja ne keskittyvät perustason ohjelmointitaitoihin. Se käyttää few-shot- ja hienosäätölähestymistapaa arvioidakseen mallin suorituskykyä, ja suuremmat mallit suoriutuvat yleensä paremmin tässä tietokannassa. Kuitenkin, koska tietokanta sisältää pääasiassa perustason ohjelmia, se ei edusta täysin monimutkaisuutta ja haasteita, joita todelliset sovellukset sisältävät.

Matematiikkabenchmarkit

Vaikka useimmat LLM-mallit ovat hyviä standardivastauksien rakentamisessa, matemaattinen päättely on paljon suurempi haaste heille. Miksi? Koska se vaatii taitoja, jotka liittyvät kysymyksen ymmärtämiseen, askel kohtaisen loogisen lähestymistavan ja matemaattisen päättelyn kautta, ja johtaa oikeaan vastaukseen.

“Chain of Thought” (CoT) -menetelmä on kehitetty arvioimaan LLM-malleja matematiikkaan liittyvissä benchmarkkeissä, se käyttää mallille kysymyksiä, joissa se joutuu selittämään askel kohtaisen päättelyprosessinsa ratkaistaessaan ongelman. Siinä on useita etuja. Se tekee päättelyprosessin näkyvemmäksi, auttaa tunnistamaan virheet mallin logiikassa ja mahdollistaa tarkemman arvioinnin ongelmanratkaisukyvyistä. Jakamalla monimutkaiset ongelmat sarjaan yksinkertaisempia askelia, CoT voi parantaa mallin suorituskykyä matematiikkabenchmarkkeissa ja antaa syvemmän ymmärryksen sen päättelykyvystä.

GSM8K: Suosittu matematiikkabenchmark

Yksi tunnetuimmista benchmarkkeistä LLM-mallien matemaattisten taitojen arvioimiseksi on GSM8K-tietokanta. GSM8K koostuu 8,5 tuhannesta keskiasteen matematiikkaongelmasta, jotka vaativat useita askelia ratkaisemiseen, ja ratkaisut sisältävät pääasiassa perustason laskutoimituksia. Yleensä suuremmat mallit tai ne, jotka on erityisesti koulutettu matemaattiseen päättelyyn, suoriutuvat paremmin tässä benchmarkissa, esim. GPT-4-mallit saavuttavat 96,5 %:n tuloksen, kun taas DeepSeekMATH-RL-7B on 88,2 %:ssa.

Vaikka GSM8K on hyödyllinen arvioimaan mallin kykyä käsitellä perusasteen matematiikkaongelmia, se ei välttämättä kaapaa kattavasti mallin kykyä ratkaista monimutkaisempia tai monipuolisempia matemaattisia haasteita, mikä rajoittaa sen tehokkuutta kattavana matematiikkataitojen arviointina.

Matematiikkatietokanta: Kattava vaihtoehto

Matematiikkatietokanta korjasi GSM8K:n puutteet. Tämä tietokanta on laajempi, kattavalla perusaritmetiikasta lukio- ja jopa korkeakouluasteisiin. Se on myös vertailtu ihmisiin, jossa tietojenkäsittelytieteen PhD-opiskelija, joka ei pidä matematiikasta, saavutti 40 %:n tarkkuuden ja kultamitalisti saavutti 90 %:n tarkkuuden.

Se tarjoaa kattavamman arvioinnin LLM-mallin matemaattisista kyvyistä. Se varmistaa, että malli on pätevä peruslaskuissa ja taitava monimutkaisissa aiheissa, kuten algebrassa, geometriassa ja analyysissä. Mutta lisääntyneen monimutkaisuuden ja vaihtelevuuden vuoksi ongelmissa voi olla haasteellista saavuttaa korkeita tarkkuuksia, erityisesti malleilla, jotka eivät ole nimenomaan koulutettu laajalle valikoimalle matemaattisia käsitteitä. Lisäksi matematiikkatietokannan vaihtelevat ongelmanmuodot voivat aiheuttaa epäjohdonmukaisuuksia mallin suorituskyvyssä, mikä tekee vaikeaksi tehdä lopullisia johtopäätöksiä mallin yleisestä matemaattisesta pätevyydestä.

Käyttämällä Chain of Thought -menetelmää matematiikkatietokannan kanssa voidaan parantaa arviointia, koska se paljastaa LLM-mallien askelkohtaiset päättelykyvyt laajan matemaattisten haasteiden spektrin yli. Yhdistetty lähestymistapa varmistaa, että LLM-mallin todelliset matemaattiset kyvyt arvioidaan robustisti ja yksityiskohtaisesti.

Lukutaitobenchmarkit

Lukutaitoarviointi testaa mallin kykyä ymmärtää ja prosessoida monimutkaisia tekstejä, mikä on erityisen tärkeää sovelluksissa, kuten asiakastukeen, sisällön luomiseen ja tietojen hakemiseen. On useita benchmarkkejä, jotka on suunniteltu arvioimaan tätä taitoa, ja ne tarjoavat yksilöllisiä ominaisuuksia, jotka edistävät kattavaa arviointia mallin kyvyistä.

RACE (Lukutaitoaineisto kokeista)

RACE-benchmarkit sisältävät lähes 28 000 lukupätkää ja 100 000 kysymystä, jotka on kerätty englannin kielisten kokeiden keskuudessa kiinalaisille opiskelijoille ikäryhmissä 12-18 vuotta. Se ei rajoita kysymyksiä ja vastauksia vain annettuihin lukupätkiin, mikä tekee tehtävistä haasteellisempia.

Se kattaa laajan aihevalikoiman ja kysymystyypin, mikä tekee siitä perusteellisen arvioinnin ja sisältää kysymyksiä eri vaikeustasoilla. Kysymykset RACE:ssa on suunniteltu testaamaan ihmisen lukutaitoa ja ne on kehittänyt aihealueiden asiantuntijat.

Kuitenkin benchmarkilla on joitakin rajoituksia. Koska se on kehitetty kiinalaisten koulumateriaaleista, se altis kulttuurisille harhauksille, jotka eivät heijasta globaalia kontekstia. Lisäksi joissakin kysymyksissä korkea vaikeustaso ei välttämättä ole edustava tyypillisiä todellisen maailman tehtäviä. Arviointeja voidaan siis pitää epätarkkoina.

DROP (Diskreetin päättelyn yli lukupätkillä)

Toinen merkittävä lähestymistapa on DROP (Diskreetin päättelyn yli lukupätkillä), joka haastaa malleja suorittamaan diskreetin päättelyn lukupätkien yli. Se sisältää 96 000 kysymystä testatakseen LLM-mallien päättelykykyjä, ja kysymykset on poimittu Wikipediasta ja joukkoistettu Amazon Mechanical Turkista. DROP-kysymykset usein vaativat malleja suorittamaan matemaattisia operaatioita kuten laskemista, vähentämistä ja vertailua perustuen tietoihin, jotka on jakautunut lukupätkissä.

Kysymykset ovat haasteellisia. Ne vaativat LLM-malleja etsimään useita numeroita lukupätkistä ja laskemaan tai vähentämään niitä saadakseen lopputuloksen. Suuret mallit kuten GPT-4 ja Palm saavuttavat 80 % ja 85 %:n tuloksen, kun taas ihmiset saavuttavat 96 %:n DROP-tietokannassa.

Arkisen järjen benchmarkit

Testata arkista järkeä kielen malleissa on mielenkiintoinen, mutta myös avainasia, koska se arvioi mallin kykyä tehdä johtopäätöksiä, jotka ovat linjassa ihmisen järkeilykyvyn kanssa. Toisin kuin ihmiset, jotka kehittävät kattavan maailmanmallin käytännön kokemuksen kautta, kielen mallit on koulutettu suurilla tietokannoilla ilman todellista ymmärtämistä kontekstista. Tämä tarkoittaa, että mallit kamppailevat tehtävissä, jotka vaativat älykkään käsitystä arkipäivän tilanteista, loogista päättelyä ja käytännön tietämystä, mikä on tärkeää kestävien ja luotettavien AI-sovellusten kehittämisessä.

HellaSwag (Vaikeammat lopputulokset, pidemmät kontekstit ja vähäinen toiminta tilanteissa, joissa on vastakkainen generointi)

Hellaswag on kehitetty Rowan Zellersin ja kollegoiden toimesta Washingtonin yliopistossa ja Allenin älykäs instituutissa. Se on suunniteltu testaamaan mallin kykyä ennustaa todennäköisin jatkuminen annetussa skenaariossa. Tämä benchmark on rakennettu Adversarial Filtering (AF) -menetelmällä, jossa sarja diskriminoijia valitsee iteratiivisesti vastakkaisia konegeneroituja väärä vastauksia. Tämä menetelmä luo tietokannan, joka on helppo ihmisten, mutta haasteellinen malleille, mikä johtaa “Goldilocks” -vyöhykkeeseen haasteellisuudesta.

Vaikka Hellaswag on ollut haasteellinen aiemmille malleille, viimeisimmät mallit kuten GPT-4 ovat saavuttaneet suorituskykytasot, jotka ovat lähellä ihmisten tarkkuutta, osoittaen merkittävää edistystä alan kehityksessä. Kuitenkin nämä tulokset korostavat jatkuvasti kehittyvien benchmarkien tarvetta pysyäkseen ajan tasalla AI-kykyjen edistymisen kanssa.

Openbook

Openbook-tietokanta koostuu 5957 perusasteen tieteen monivalintakysymyksestä. Kysymykset on kerätty avoimista kirjoista ja kehitetty arvioimaan ihmisen ymmärtämistä aiheesta.

Openbook-benchmark vaatii päättelykykyä, joka ylittää tiedon hakemisen. GPT-4 saavuttaa korkeimman 95,9 %:n tarkkuuden tällä hetkellä.

OpenbookQA on mallinnettu avoimien kirjojen mukaan ja koostuu 5 957 monivalintakysymyksestä perusasteen tieteestä. Nämä kysymykset on suunniteltu testaamaan ymmärtämistä 1 326 keskeisestä tieteellisestä faktasta ja niiden soveltamisesta uusiin tilanteisiin.

Samoin kuin Hellaswag, aiemmat mallit kokivat OpenbookQA:n haasteelliseksi, mutta nykyaikaiset mallit kuten GPT-4 ovat saavuttaneet lähes ihmisten suorituskyvyn. Tämä edistyminen korostaa benchmarkien jatkuvan kehittämisen tärkeyttä jatkuvasti puskeakseen AI-ymmärtämisen rajoja.

Riittävätkö benchmarkit LLM-suorituskyvyn arvioimiseen?

Kyllä, vaikka ne tarjoavat standardoidun lähestymistavan LLM-suorituskyvyn arvioimiseen, ne voivat myös olla harhaanjohtavia. Large Model Systems Organization sanoo, että hyvä LLM-benchmark on skaalautuva, kykenee arvioimaan uusia malleja suhteellisen pienellä määrällä kokeita ja tarjoaa yksilöllisen järjestyksen kaikille malleille. Mutta on syitä, miksi ne eivät välttämättä riitä. Tässä on joitakin:

Benchmarkin vuoto

Tämä on yleinen ongelma, ja se tapahtuu, kun koulutusdata ja testidata limittyvät, mikä johtaa harhaanjohtavaan arvioon. Jos malli on jo kohdannut joitakin testikysymyksiä koulutuksen aikana, sen tulos ei välttämättä heijasta sen todellisia kykyjä. Mutta ihanteellinen benchmarkin pitäisi minimoida muistamisen ja heijastaa todellisen maailman tilanteita.

Arviointivias

LLM-benchmarkien listausta käytetään vertailemaan LLM-mallien suorituskykyä eri tehtävissä. Kuitenkin, luottaminen näihin listausten arviointeihin voi olla harhaanjohtavaa. Yksinkertaiset muutokset benchmarkin testeissä, kuten muuttaminen kysymysten järjestystä, voi siirtää mallien sijoitusta jopa kahdeksan sijaa. Lisäksi LLM-mallit voivat suoriutua eri tavoilla riippuen arviointimenetelmistä, korostaen arviointiviasien tärkeyden.

Avoin lopputulos

Todellisen maailman LLM-vuorovaikutus sisältää suunnittelemalla syöteohjaimia, joilla saadaan haluttuja AI-tuloksia. LLM-tulokset riippuvat syöteohjaimien tehokkuudesta, ja benchmarkit on suunniteltu testaamaan LLM-mallien kontekstuaalista tietoisuutta. Vaikka benchmarkit on suunniteltu testaamaan LLM-mallin kontekstuaalista tietoisuutta, ne eivät aina suoraan vastaa todellisen maailman suorituskykyä. Esimerkiksi malli, joka saavuttaa 100 %:n tuloksen benchmark-tietokannassa, kuten LSAT, ei välttämättä takaa samaa tarkkuutta käytännön sovelluksissa. Tämä korostaa avoimen lopputuloksen merkitystä LLM-arvioinnissa.

Tehokas arviointi kestäville LLM-malleille

Niin, nyt tiedät, että benchmarkit eivät aina ole paras vaihtoehto, koska ne eivät aina yleisty kaikkiin ongelmiin. Mutta on muita tapoja.

Mukautetut benchmarkit

Nämä ovat täydellisiä testaamaan tiettyjä käyttäytymisiä ja toimintoja tehtäväkohtaisissa skenaarioissa. Esimerkiksi, jos LLM on suunniteltu lääkäreille, tietokannat, jotka on kerätty lääketieteellisistä ympäristöistä, edustavat todellisen maailman tilanteita. Nämä mukautetut benchmarkit voivat keskittyä aihekohtaiseen kielen ymmärtämiseen, suorituskykyyn ja yksilöllisiin kontekstuaalisiin vaatimuksiin. Mukauttamalla benchmarkkejä mahdollisiin todellisen maailman skenaarioihin, voit varmistaa, että LLM suoriutuu hyvin yleisesti ja erinomaisesti tehtävissä, joita se on tarkoitettu.

Tietovuodon havaitsemisputki

Jos haluat, että arviointisi “näyttävät” eheältä, on tärkeää, että benchmarkin putki on vapaana tietovuodosta. Tietovuoto tapahtuu, kun benchmarkin data on mukana mallin esikoulutusaineistossa, mikä johtaa keinotekoiseen suorituskyvyn arviointiin. Välttääkseen tämän, benchmarkkejä on verrattava esikoulutusdataan. Lisäksi on otettava askelia välttääkseen aiemmin nähtyjä tietoja. Tämä voi vaatia käyttämään omistus- tai uudelleen kerättyjä tietokantoja, jotka pidetään erillään mallin koulutusputkista – tämä varmistaa, että suorituskykyarviot, joita saat, heijastavat mallin kykyä yleistää hyvin.

Ihmisen arviointi

Automaattiset mittarit yksin eivät voi kaapata koko kirjon mallin suorituskyvystä, erityisesti silloin, kun on kyse hyvin hienovaraisista ja subjektiivisista kielen ymmärtämisen ja generoinnin puolista. Tässä ihmisen arviointi antaa paljon paremman arvioinnin:

• Palkkaaminen ammattilaisia, jotka voivat tarjota yksityiskohtaisia ja luotettavia arvioita, erityisesti erikoistuneilla aloilla.
• Joukkoistaminen! Alustat kuten Amazon Mechanical Turk mahdollistavat keräämään monipuolisia ihmisten arvioita nopeasti ja edullisesti.
• Yhteisön palaute: Käyttämällä alustoja kuten LMSYS-areena, jossa käyttäjät voivat äänestää ja vertailla malleja, lisää ymmärrystä. LMSYS Chatbot Arena Hard on erityisen tehokas korostamaan hienoja eroja huippumalleissa suoraan käyttäjien vuorovaikutuksien ja äänestysten kautta.

Johtopäätös

Ilman arviointia ja benchmarkkejä emme olisi mitään keinoa tietää, onko LLM-mallin kyky käsitellä todellisen maailman tehtäviä yhtä tarkkaa ja sovellettavaa, kuin luulemme. Mutta, kuten mainitsin, benchmarkit eivät ole täysin luotettava tapa tarkastaa sitä, ne voivat johtaa aukkoihin LLM-mallien suorituskyvyssä. Tämä voi hidastaa kestävien LLM-mallien kehittymistä.

Tässä on, miten se pitäisi olla ihanteellisessa maailmassa. LLM-mallit ymmärtävät käyttäjän kysymyksiä, tunnistavat virheitä syötteissä, suorittavat tehtäviä ohjeiden mukaan ja generoivat luotettavia tuloksia. Tulokset ovat jo hyviä, mutta eivät täysin ihanteellisia. Tässä tehtäväkohtaiset benchmarkit osoittautuvat hyvin hyödyllisiksi, samoin kuin ihmisen arviointi ja benchmarkin vuodon havaitseminen. Käyttämällä näitä, saamme mahdollisuuden tuottaa todella kestäviä LLM-malleja.