LLM-as-a-Judge: Mittaava ratkaisu kielen mallien arviointiin kielen malleja käyttäen

LLM-as-a-Judge-kehys on mittava, automaattinen vaihtoehto ihmisen arvioille, jotka ovat usein kalliita, hitaita ja rajoitettuja vastauksien määrällä, jonka ne voivat käytännössä arvioida. Käyttämällä LLM:ää toisen LLM:n tulosten arviointiin, tiimit voivat tehokkaasti seurata tarkkuutta, asiaankuuluvuutta, sävyä ja noudattamista tiettyjä ohjeita johdonmukaisella ja toistettavalla tavalla.

Luodun tekstin arviointi luo yksilöllisiä haasteita, jotka ovat perinteisten tarkkuusmittareiden ulottumattomissa. Yksittäinen prompt voi tuottaa useita oikein vastauksia, jotka eroavat tyylissä, sävyssä tai sanamuodossa, mikä tekee sen haasteelliseksi mittaukseen laadun käyttäen yksinkertaisia määrällisiä mittareita.

Tässä LLM-as-a-Judge-lähestymistapa erottuu: se sallii hienovaraiset arviot monimutkaisista laaduista, kuten sävystä, avuliaisuudesta ja keskustelun johdonmukaisuudesta. Riippumatta siitä, käytetäänkö sitä malliversioiden vertailuun tai arviointiin reaaliajassa, LLM:t tuomareina tarjoavat joustavan tavan approksimoida ihmisen tuomio, mikä tekee niistä ihanteellisen ratkaisun arviointiponnistelujen mittakaavaamiseen suurten tietojoukkien ja live-vuorovaikutusten yli.

Tämä opas tarkastelee, miten LLM-as-a-Judge toimii, sen erilaisia arviointityyppejä ja käytännön vaiheita sen tehokkaaseen toteuttamiseen erilaisissa yhteyksissä. Käymme läpi, miten määritellä kriteerit, suunnitella arviointipromptteja ja perustaa palautekanava jatkuvaa parantamista varten.

LLM-as-a-Judge-käsite

LLM-as-a-Judge käyttää LLM:ä muiden tekoälyjärjestelmien tekstin tulosten arviointiin. Toimien puolueettomina arvioitsijoina LLM:t voivat arvioida luotuja tekstejä mukautettujen kriteerien perusteella, kuten asiaankuuluvuus, tiivisyyys ja sävy. Tämä arviointiprosessi on samanlainen kuin virtuaalisen arvioitsijan tarkastelu jokaiselle tulokselle tiettyjen ohjeiden mukaisesti, jotka on annettu promptissa. Se on erityisen hyödyllinen kehys sisällön runsaissa sovelluksissa, joissa ihmisen tarkastus on käytännössä mahdoton määrän tai aikarajoitusten vuoksi.

Miten se toimii

LLM-as-a-Judge on suunniteltu arvioimaan tekstimuotoisia vastauksia ohjeiden perusteella arviointipromptissa. Prompt määrittelee yleensä laadut, kuten avuliaisuus, asiaankuuluvuus tai selkeys, joita LLM tulisi ottaa huomioon arvioitaessa tulosta. Esimerkiksi prompt voi pyytää LLM:ää päättämään, onko chatbot-vastaus “avulias” tai “ei avulias”, ohjeiden kera siitä, mitä kunkin merkintä tarkoittaa.

LLM käyttää sisäistä tietämystään ja oppimiaan kielen malleja arvioimaan annetun tekstin, vastaamalla promptin kriteerejä vastausten laatuun. Asettamalla selkeät odotukset arvioitsijat voivat räätälöidä LLM:n fokuksen havainnoimaan hienovaraisia laatuja, kuten kohteliaisuutta tai yksityiskohtaisuutta, jotka muuten olisivat vaikeasti mitattavissa. Toisin kuin perinteiset arviointimittarit, LLM-as-a-Judge tarjoaa joustavan, korkean tason ihmisen tuomion approksimaation, joka on sopeutuvainen erilaisiin sisältötyyppeihin ja arviointitarpeisiin.

Arviointityypit

1. Parisuhteellinen vertailu: Tässä menetelmässä LLM:ää pyydetään valitsemaan “parempi” vastaus kahdesta vastauksesta samalle promptille perustuen kriteereihin, kuten asiaankuuluvuuteen tai tarkkuuteen. Tämänlainen arviointi käytetään usein A/B-testauksessa, jossa kehittäjät vertailevat eri malliversioita tai prompt-konfiguraatioita. Pyytämällä LLM:ää arvioimaan, kumpi vastaus suoriutuu paremmin tiettyjen kriteerien mukaan, parisuhteellinen vertailu tarjoaa suoran tavan määrittää suosikki mallituloksissa.
2. Suora arviointi: Suora arviointi on viitepohjainen arviointi, jossa LLM arvioi yksittäisen tuloksen ennalta määritellyn laadun perusteella, kuten kohteliaisuus, sävy tai selkeys. Suora arviointi toimii hyvin sekä offline- että online-arvioissa, tarjoamalla tavan jatkuvaan laadun seurantaan eri vuorovaikutuksissa. Tämä menetelmä on hyödyllinen johdonmukaisen laadun seuraamiseen ajan myötä ja usein käytetään reaaliaikaisen vastausten seuraamiseen tuotannossa.
3. Viitepohjainen arviointi: Tässä menetelmässä esitetään lisäksi viitevastaus tai tukiaineistoa, jota vasten luotua vastausta arvioidaan. Tätä käytetään yleensä Retrieval-Augmented Generation (RAG) -järjestelmissä, joissa vastauksen on oltava lähellä haettua tietoa. Vertaamalla tulosta viiteasiakirjaan, tämä lähestymistapa auttaa arvioimaan faktuaalisen tarkkuuden ja noudattamisen tiettyjä sisältöjä, kuten tarkistamalla harhaluuloja luodussa teksteissä.

Käyttötarkoitukset

LLM-as-a-Judge on sopeutuvainen erilaisiin sovelluksiin:

• Chatbotit: Arvioida vastauksia kriteereillä, kuten asiaankuuluvuus, sävy ja avuliaisuus, varmistaakseen johdonmukaisen laadun.
• Yhteenveto: Arvioida yhteenvetoja niiden tiivisyyden, selkeuden ja alkuperäisdokumentin mukaisuuden perusteella, jotta voidaan ylläpitää uskottavuutta.
• Koodin generointi: Arvioida koodinpätkiä oikeellisuuden, lukukelpoisuuden ja annettujen ohjeiden tai parhaiden käytäntöjen mukaisuuden perusteella.

Tämä menetelmä voidaan käyttää automaattisena arvioitsijana parantamaan näitä sovelluksia jatkuvasti seuraamalla ja parantamalla mallin suorituskykyä ilman perusteetonta ihmisen tarkastusta.

Rakentaminen LLM-tuomari – Vaiheittainen opas

Luomiseen LLM-pohjaisen arviointijärjestelmän edellyttää huolellista suunnittelua ja selkeää ohjeistusta. Seuraa näitä vaiheita luodaksesi vankilan LLM-as-a-Judge-arviointijärjestelmän:

Vaihe 1: Määritteleminen arviointikriteerejä

Aloita määrittelemällä tarkat laadut, joita haluat LLM:n arvioivan. Arviointikriteerisi saattavat sisältää seuraavat tekijät:

• Asiaankuuluvuus: Vastaaako vastaus suoraan kysymykseen tai promptiin?
• Sävy: Onko sävy sopiva asiayhteydelle (esim. ammattimainen, ystävällinen, tiivis)?
• Tarkkuus: Onko annettu tieto tosiasiallisesti oikein, erityisesti tietopohjaisissa vastauksissa?

Esimerkiksi arvioitaessa chatbottia, voit priorisoida asiaankuuluvuuden ja avuliaisuuden, jotta se tarjoaa hyödyllisiä ja aiheeseen liittyviä vastauksia. Kunkin kriteerin on oltava selkeästi määritelty, koska epämääräiset ohjeet voivat johtaa epäjohdonmukaisiin arvioihin. Määrittelemällä yksinkertaiset binääriset tai asteelliset kriteerit (kuten “asiaankuuluvuus” vastaan “asiaankuuluvuus” tai Likert-asteikko avuliaisuudelle) voidaan parantaa johdonmukaisuutta.

Vaihe 2: Arviointidatan valmistelu

LLM-tuomarin kalibrointiin ja testaamiseen tarvitaan edustava tietojoukko, jossa on merkitty esimerkkejä. On kaksi pääasiallista lähestymistapaa tietojoukon valmisteluun:

1. Tuotantodata: Käytä sovelluksesi historiallisia tuloksia. Valitse esimerkkejä, jotka edustavat tyypillisiä vastauksia, kattavat laadun eri tasoja kullekin kriteerille.
2. Synteettinen data: Jos tuotantodataa on rajoitetusti saatavilla, voit luoda synteettisiä esimerkkejä. Nämä esimerkit tulisi jäljitellä odotettuja vastausten ominaisuuksia ja kattaa reunatapauksia kattavamman testauksen vuoksi.

Kun sinulla on tietojoukko, merkitse se manuaalisesti arviointikriteerejä vastaavasti. Tämä merkitty tietojoukko toimii viitekehyksenä, joka mahdollistaa LLM-tuomarin johdonmukaisuuden ja tarkkuuden mittaamisen.

Vaihe 3: Tehokkaiden prompttien luominen

Promptin suunnittelu on tärkeää LLM-tuomarin ohjaamiseksi tehokkaasti. Kunkin promptin on oltava selkeä, tarkka ja linjassa arviointikriteerejä. Alla on esimerkkejä kullekin arviointityypille:

Parisuhteellisen vertailun prompt

Sinun on näytettävä kaksi vastausta samalle kysymykselle. Valitse vastaus, joka on avuliaisempi, asiaankuuluvampi ja yksityiskohtaisempi. Jos molemmat vastaukset ovat yhtä hyviä, merkitse ne tasatilanteeksi.

<p>Kysymys: [Lisää kysymys tähän]
Vastaus A: [Lisää Vastaus A]
Vastaus B: [Lisää Vastaus B]</p>

<p>Tulos: "Paras vastaus: A" tai "Paras vastaus: B" tai "Tasatilanne"</p>

Suoran arvioinnin prompt

Arvioi seuraavaa vastausta kohteliaisuuden perusteella. Kohtelias vastaus on kunnioittava, huomioon ottava ja välttää karkeaa kieltä. Palauta "Kohtelias" tai "Ei kohtelias".

Vastaus: [Lisää vastaus tähän]

<p>Tulos: "Kohtelias" tai "Ei kohtelias"</p>

Viitepohjaisen arvioinnin prompt

Vertaa seuraavaa vastausta annettuun viitevastaukseen. Arvioi, onko vastaus tosiasiallisesti oikein ja välittääkö se saman merkityksen. Merkitse "Oikein" tai "Väärin".

<p>Viitevastaus: [Lisää viitevastaus tähän]
Luotu vastaus: [Lisää luotu vastaus tähän]</p>

<p>Tulos: "Oikein" tai "Väärin"</p>

Prompttien luominen näin vähentää epäselvyyttä ja mahdollistaa LLM-tuomarille ymmärtää tarkalleen, miten kullekin vastaukselle on suhtauduttava.

Vaihe 4: Testaus ja iterointi

Luomisen jälkeen LLM-tuomarin on arvioitava ajamalla se merkityllä tietojoukolla. Vertaa LLM:n tuloksia määritettyihin viitearvioihin tarkastellaksesi johdonmukaisuuden ja tarkkuuden. Avainmittarit arvioinnissa ovat:

• Tarkkuus: Oikeiden positiivisten arvioiden prosenttiosuus.
• Haun tarkkuus: Prosenttiosuus viitearvioista, joita LLM on oikein tunnistanut.
• Tarkkuus: Kokonaisten oikeiden arvioiden prosenttiosuus.

Testaus auttaa tunnistamaan LLM-tuomarin suorituskyvyn epäjohdonmukaisuuksia. Esimerkiksi, jos tuomari usein väärinmerkitsee avuliaat vastaukset ei-avuliaisiksi, sinun saattaa joutua tarkentamaan arviointiprompttia. Aloita pienellä otoksella ja lisää tietojoukon kokoa iteroidessasi.

Tässä vaiheessa harkitse kokeilevansa eri prompttien rakenteita tai useita LLM:ä ristivalidoimiseksi. Esimerkiksi, jos yksi malli taipuu pitkiin vastauksiin, kokeile testaamista tiiviimmän LLM-mallin kanssa nähdäksesi, ovatko tulokset lähempänä viitearvioita. Prompttien tarkennus voi vaatia muutoksia merkintöihin, kielen yksinkertaisuuteen tai jopa monimutkaisten prompttien jakamista pienempiin, hallitumpiin osiin.

import pandas as pd
from huggingface_hub import InferenceClient

<p># Alusta LLM-asiakas tietyn mallin repostiitorion kanssa
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># Lataa esimerkkitietojoukko (korvaa omalla tietojoukkosi tunnisteella)
data = load_dataset("your_dataset_id")["train"]</p>

<p># Poista asiaankuuluvat kentät arviointia varten
df = pd.DataFrame({
'kysymys': data['kysymys_kentta'],
'vastaus': data['vastaus_kentta']
})
df.head()</p>

def arvioi_vastaus(kysymys, vastaus):
# Muodosta promptti arvioida vastauksen asiaankuuluvuutta ja tarkkuutta
prompt = f"Arvioi vastauksen asiaankuuluvuutta ja tarkkuutta:\nKysymys: {kysymys}\nVastaus: {vastaus}"
tulos = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return tulos

<p># Testaa funktiota esimerkillä
kysymys = "Miten FEDin toimet vaikuttavat inflaatioon?"
vastaus = "Kun FED ostaa obligaatioita, se voi johtaa..."
arviointi = arvioi_vastaus(kysymys, vastaus)
print("LLM-arviointi:", arviointi)</p>

def arvioi_parisuhteellisesti(kysymys, vastaus_a, vastaus_b):
# Muodosta promptti parisuhteelliseen vertailuun
prompt = (
f"Annetaan kysymys alla, määritä kumpi vastaus on asiaankuuluvampi ja yksityiskohtaisempi.\n\n"
f"Kysymys: {kysymys}\n\n"
f"Vastaus A: {vastaus_a}\n\n"
f"Vastaus B: {vastaus_b}\n\n"
"Valitse parempi vastaus: A tai B."
)
tulos = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return tulos

<p># Esimerkki parisuhteellisesta vertailusta
kysymys = "Mikä on FEDin obligaatio-ostojen vaikutus?"
vastaus_a = "FEDin toimet voivat lisätä rahavarantoa."
vastaus_b = "FEDin obligaatioiden osto voi yleensä nostaa inflaatiota."
vertailu = arvioi_parisuhteellisesti(kysymys, vastaus_a, vastaus_b)
print("Parempi vastaus:", vertailu)</p>