Ajatusjohtajat

Luotettavan RAG-järjestelmän rakentaminen: seitsemän virhekohtaa ja arviointikehykset

Kuriko IWAI
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatDeepEval integroituu CI/CD-pipeliineihin sieppaamaan RAG-regressiot ennen…
Näytä lisää
  • DeepEval integroituu CI/CD-pipeliineihin sieppaamaan RAG-regressiot ennen tuotantokäyttöönottoa.
  • RAGAS generoi synteettisiä testijoukkoja diagnosoidakseen haku- versus generointivirheitä ilman ihmisten tuottamaa dataa.
  • Arize Phoenix visualisoi upotusklustereita paljastaakseen aukkoja vektoritietokannan tiedonkattavuudessa.

Hakuavusteinen generointi (RAG) on keskeinen osa nykyaikaista tekoälyarkkitehtuuria ja olennainen perusta kontekstin huomioivien agenttien rakentamiselle.

Yksinkertaisesta prototyypistä tuotantovalmiiseen järjestelmään siirtyminen edellyttää kuitenkin merkittävien haasteiden ratkaisemista tiedonhaussa, kontekstin kokoamisessa ja vastauksen muodostamisessa.

Tässä artikkelissa tarkastellaan perusteellisesti seitsemää tyypillistä RAG-järjestelmän virhekohtaa ja arviointimittareita käytännön koodiesimerkkien avulla.

RAG-järjestelmän virheiden anatomia – seitsemän virhekohtaa (FP)

Tutkijoiden Barnettin ym. mukaan hakuavusteisen generoinnin järjestelmät (RAG) kohtaavat seitsemän erillistä virhekohtaa (FP) käsittelyketjussa.

Seuraava kaavio havainnollistaa nämä vaiheet:

Kuva A. RAG-järjestelmän rakentamisessa tarvittavat indeksointi- ja kyselyprosessit. Indeksointi tehdään kehitysvaiheessa ja kyselyt suorituksen aikana. Tutkimuksessa tunnistetut virhekohdat on merkitty punaisilla laatikoilla (lähde)

Kuva A. RAG-järjestelmän rakentamisessa tarvittavat indeksointi- ja kyselyprosessit. Indeksointi tehdään kehitysvaiheessa ja kyselyt suorituksen aikana. Tutkimuksessa tunnistetut virhekohdat on merkitty punaisilla laatikoilla (lähde)

Tarkastellaan jokaista virhekohtaa käsittelyketjun järjestyksessä vasemmasta yläkulmasta oikeaan alakulmaan, kuten kuvassa A esitetään.

FP1. Puuttuva sisältö

Sisältö puuttuu, kun järjestelmälle esitetään kysymys, johon ei voida vastata, koska tarvittavaa tietoa ei alun perinkään ole käytettävissä olevassa vektorivarastossa.

Virhe syntyy, kun suuri kielimalli (LLM) antaa uskottavalta kuulostavan mutta väärän vastauksen sen sijaan, että se ilmoittaisi ettei tiedä.

FP2. Oikea asiakirja jää parhaiden hakutulosten ulkopuolelle

Oikea asiakirja on vektorivarastossa, mutta hakukomponentti ei sijoita sitä riittävän korkealle, jotta se päätyisi LLM:lle kontekstina annettaviin top-k-asiakirjoihin.

Seurauksena on, että oikea tieto ei koskaan päädy LLM:lle.

FP3. Tieto ei päädy kontekstiin (kontekstin kokoamisstrategian rajoitukset)

Oikea asiakirja on olemassa ja se haetaan vektorivarastosta, mutta se jätetään pois kontekstin kokoamisvaiheessa.

Näin käy, kun asiakirjoja palautetaan liikaa ja järjestelmän on karsittava niitä LLM:n konteksti-ikkunan, tokenrajojen tai kutsutiheysrajojen noudattamiseksi.

FP4. Tietoa ei poimita

LLM ei tunnista oikeaa tietoa kontekstista, vaikka tieto oli vektorivarastossa ja sen hakeminen sekä kontekstin kokoaminen onnistuivat.

Näin käy, kun kontekstissa on liikaa kohinaa tai ristiriitaista tietoa, joka hämmentää LLM:ää.

FP5. Väärä muoto

Tallennus, haku, kontekstin kokoaminen ja LLM:n tulkinta onnistuvat, mutta LLM ei noudata kehotteen muotoiluohjeita, jotka voivat edellyttää esimerkiksi taulukkoa, luetteloa tai JSON-skeemaa.

FP6. Väärä yksityiskohtaisuuden taso

LLM tuottaa vastauksen, mutta se on joko liian yleinen tai liian monimutkainen verrattuna käyttäjän tarpeisiin.

LLM voi esimerkiksi antaa yksinkertaisen vastauksen kysymykseen, jonka taustalla on vaativa ammatillinen tavoite.

FP7. Puutteellinen vastaus

LLM tuottaa vastauksen, joka ei välttämättä ole väärä mutta josta puuttuu kontekstissa saatavilla olleita keskeisiä tietoja.

Esimerkiksi kun käyttäjä esittää moniosaisen kysymyksen, kuten “Mitkä ovat asiakirjojen A, B ja C keskeiset kohdat?”, LLM käsittelee vain yhtä tai kahta lähdettä.

Miten virhekohdat heikentävät RAG-ketjun suorituskykyä

Jokainen näistä virhekohdista vaikuttaa RAG-ketjujen suorituskykyyn:

Tiedon eheys- ja luotettavuusvirheet

Kun tietoa puuttuu tai se on virheellistä, järjestelmä ei enää ole luotettava tietolähde. Keskeisiä virhekohtia ovat:

  • FP1 (Puuttuva sisältö): Vastausta ei ole asiakirjassa alun perinkään.
  • FP4 (Tietoa ei poimita): LLM päättää sivuuttaa asiakirjassa olevan oikean vastauksen.
  • FP7 (Puutteellinen vastaus): LLM antaa puolitotuuksia ja jättää tärkeitä tietoja pois.

Hakemisen ja tehokkuuden pullonkaulat

RAG-ketju voi toimia tehottomasti, jos keskeistä tietoa jää pois haku- ja kokoamisvaiheissa. Keskeisiä virhekohtia ovat:

  • FP2 (Oikea tieto jää parhaiden tulosten ulkopuolelle): Upotusmalli ei onnistu valitsemaan top-k-upotuksia.
  • FP3 (Kontekstin kokoamisstrategia): Skripti, joka lyhentää asiakirjat LLM:n rajoihin sopiviksi, jättää tärkeimmät osat pois.

Käyttökokemus- ja muotoiluvirheet

Vaikka vastaus olisi oikea, huono luettavuus tai väärä muoto voi heikentää käyttökokemusta. Keskeisiä virhekohtia ovat:

  • FP5 (Väärä muoto): LLM ei noudata vaadittua tulostusmuotoa, kuten JSONia.
  • FP6 (Väärä yksityiskohtaisuuden taso): LLM generoi pitkän tulosteen yksinkertaiseen kyllä/ei-kysymykseen, tai päinvastoin (liian lyhyt vastaus monimutkaiseen kysymykseen).

Arviointikokonaisuus: kehykset virhekohtien lieventämiseen

Arviointimittarit on suunniteltu lieventämään näitä virhekohtia järjestelmällisesti.

Tässä osiossa tarkastellaan keskeisiä arviointimittareita käytännön käyttötapausten avulla.

Tärkeimmät RAG-arviointimittarit:

  • DeepEval
  • RAGAS
  • TruLens
  • Arize Phoenix
  • Braintrust

DeepEval – Yksikkötesti ennen käyttöönottoa

DeepEval laskee painotetun pistemäärän kriteerien perusteella.

LLM-tuomari (esim. GPT-4o) arvioi LLM:n tuotosta kunkin kriteerin perusteella:

DeepEval hyödyntää G-eval:ia, ajatusketjuun (CoT) perustuvaa kehystä, joka arvioi tulosteen monivaiheisella lähestymistavalla:

  1. Määritä kriteeri mitattavaksi (esim. “johdonmukaisuus”, “sujuvuus” tai “relevanssi”).
  2. Generoi arviointivaiheet (käyttäen arviointi-LLM:ää).
  3. Noudata arviointivaiheita ja analysoi syöte sekä LLM:n tuotos.
  4. Laske odotettu painotettu summa kunkin kriteerin pisteistä.

Yleinen tilanne käytännössä

  • Tilanne: Monimutkaisen ohjelmistotuotteen teknisen dokumentaation avustaja (botti) näyttää toimivan joka kerta, kun insinööritiimi päivittää koodipohjaa.
  • Ongelma: Ei ole määrällistä näyttöä siitä, pystyykö botti edelleen vastaamaan käyttäjän kysymykseen. Vain ”luulet” sen toimivan.
  • Ratkaisu: Liitä PyTest-funktio GitHub Actionsissa ajettavaan CI/CD-regressiotestikokonaisuuteen, jossa DeepEval suorittaa G-Eval-arvioinnin ja muita mittauksia testitapaukselle:
  • Odotettu tulos: Jos jonkin mittarin pistemäärä alittaa kynnysarvon 0,85, PyTest nostaa AssertionError:n. CI-koonti epäonnistuu heti, eikä huomaamaton toiminnan heikkeneminen pääse tuotantoon.

Hyödyt ja haitat

  • Laaja valikoima mittareita (50+) mukaan lukien erikoistuneet vinoumien ja toksisuuden tarkistukset.
  • Integroituu vaivattomasti olemassa oleviin CI/CD-putkiin.
  • Vertailuvastausta ei tarvita. Tuotos arvioidaan pelkän kehotteen ja annetun kontekstin perusteella.
  • Arvioinnin laatu riippuu vahvasti arvioivan LLM:n kyvyistä.
  • Laskennallisesti vaativa, kun tuomari-LLM on korkeatasoinen malli.

Kehittäjän huomautus – DeepEvalin testitapaus
Joukko LLMTestCase-olioita määrittää testitapauksen, jonka DeepEval suorittaa.

Käytännössä testitapauksen tulisi sisältää tärkeimmät käyttäjien kysymykset, merkityt tulosteet ja haettu konteksti.

Nämä voidaan hakea JSON- tai CSV-tiedostosta.

RAGAS – neulan etsimistä heinäsuovasta tehostava työkalu

Retrieval Augmented Generation Assessment (Ragas) pyrkii arvioimaan RAG-järjestelmiä ilman ihmisten annotoimaa aineistoa luomalla synteettisiä testijoukkoja.

Sitten se laskee keskeiset mittarit:

Kuva B. RAGAS-arviointikolmio, joka yhdistää kysymyksen, kontekstin ja vastauksen täsmällisyyden, kattavuuden, lähdeuskollisuuden ja relevanssin mittareilla (tekijä: Kuriko IWAI)

Kuva B. RAGAS-arviointikolmio, joka yhdistää kysymyksen, kontekstin ja vastauksen täsmällisyyden, kattavuuden, lähdeuskollisuuden ja relevanssin mittareilla (tekijä: Kuriko IWAI)

Keskeiset mittarit on jaettu kolmeen ryhmään:

  • Hakuputki (musta yhtenäinen viiva, Kuva B): Kontekstin täsmällisyys, kontekstin kattavuus.
  • Generointiputki (musta katkoviiva, Kuva B): Lähdeuskollisuus, vastauksen relevanssi.
  • Vertailutotuus (punainen laatikko, Kuva B): Vastauksen semanttinen samankaltaisuus, vastauksen oikeellisuus.

Yleinen tilanne käytännössä

  • Tilanne: Oikeudellisia sopimuksia käsittelevältä RAG-järjestelmältä jää keskeisiä ehtoja huomaamatta. Et tiedä, onko vika haussa (hakukomponentissa) vai lukemisessa (generaattorissa).
  • Ongelma: Haettavien tekstikatkelmien optimaalista määrää (top-k) ei tunneta.
  • Ratkaisu: Käytä RAGAS:ia luomaan synteettinen testijoukko, joka sisältää 100 kysymyksen ja niitä tukevan aineiston paria. Aja sitten RAG-ketju testijoukolla ja laske kontekstin kattavuus sekä kontekstin täsmällisyys:
  • Odotettu tulos: Mittaustulosten perusteella toimenpidesuunnitelma voi olla seuraava:
Mittari Pistemäärä Diagnoosi Toimenpidesuunnitelma
Kontekstin kattavuus Alhainen Hakija ohitti oikean tiedon. – Kasvata top-k-arvoa.
– Kokeile hybridihakua (BM25 + vektorihaku).
Kontekstin täsmällisyys Alhainen Top-k-katkelmissa on liikaa täytesisältöä ja kohinaa, mikä hämmentää LLM:ää. – Pienennä top-k-arvoa
– Käytä uudelleenjärjestäjää (esim. Cohere).
Lähdeuskollisuus Alhainen Generaattori hallusinoi, vaikka sillä on tiedot käytettävissään. – Säädä järjestelmäkehotetta.
– Tarkista konteksti-ikkunan rajoitukset.

Taulukko 1. RAGASin diagnostinen toimenpidesuunnitelma – mittaustuloksista järjestelmän säätöihin.

Hyödyt ja haitat

  • Erinomainen alkuvaiheen projektiin, jolta puuttuu vertailutotuusaineisto. Kuten koodiesimerkissä nähtiin, RAGAS voi luoda synteettisen testijoukon.
  • Synteettiseltä testijoukolta voi jäädä hienovaraisia asiavirheitä huomaamatta.
  • Edellyttää vahvaa tiedonpoimintamallia, jotta vastaukset voidaan jakaa yksittäisiin väittämiin (Käytin gpt-4o:aa esimerkissä).

TruLens – Palautekehän asiantuntija

TruLens keskittyy RAG-prosessin sisäiseen toimintaan pelkän lopputuloksen sijaan käyttäen palautefunktioita.

Se käyttää myös LLM-pohjaista pisteytystä, joka heijastaa, kuinka hyvin vastaus tyydyttää kyselyn tarkoituksen, käyttäen neliportaista Likert-asteikkoa (0-3), mikä tekee siitä erinomaisen eri hakutulosten laadun asettamisessa paremmuusjärjestykseen.

Yleinen tilanne käytännössä

  • Tilanne: Lääketieteellisiä neuvoja antava botti vastaa kysymykseen oikein mutta lisää vinkin, jota ei ole tarkistetussa PDF-lähdeaineistossa.
  • Ongelma: Lisävinkki voi olla hyödyllinen, mutta se ei perustu lähdeaineistoon.
  • Ratkaisu: Käytä TruLensia toteuttamaan lähdeperustaisuutta arvioiva palautefunktio kynnysarvolla, kuten score > 0.8.
  • Odotettu tulos: Kun LLM generoi vastauksen, joka sisältää tietoa, jota ei ole haetuissa katkelmissa, TruLens merkitsee tietueen hallintanäkymään.

Hyödyt ja haitat

  • Visualisoi päättelyketjun, jotta voidaan paikantaa tarkasti, missä agentti harhautui.
  • Tarjoaa sisäänrakennetun lähdeperustaisuuden tuen hallusinaatioiden havaitsemiseen reaaliajassa.
  • Mukautettujen palautefunktioiden määrittely vaatii opettelua.
  • Hallintanäkymä voi tuntua raskaalta yksinkertaisille skripteille.

Arize Phoenix – huomaamattomien virheiden kartta

Arize Phoenix on avoimen lähdekoodin havainnoitavuus- ja arviointityökalu LLM-tulosteen arvioimiseksi, mukaan lukien monimutkaiset RAG-järjestelmät.

Arize AI on rakentanut sen OpenTelemetryn pohjalle. Työkalu keskittyy havainnoitavuuteen ja käsittelee LLM-arviointia MLOpsin osa-alueena.

RAG-arvioinnissa Phoenix on vahva upotusanalyysissä ja käyttää Uniform Manifold Approximation and Projection -menetelmää (UMAP) pelkistääkseen korkeaulotteiset vektoriupotukset 2D/3D-avaruuteen.

Tämä upotusanalyysi paljastaa matemaattisesti, ovatko epäonnistuneet kyselyt ryhmittyneet merkityksensä perusteella samoihin ryhmiin, mikä osoittaa aukon vektoritietokannassa.

Yleinen tilanne käytännössä

  • Tilanne: Asiakastukibotti toimii hyvin hyvityskysymyksissä, mutta antaa järjettömiä vastauksia takuukysymyksiin.
  • Ongelma: Vektoritietokannassa on tietoaukko, jota ei löydy lokeista.
  • Ratkaisu: Käytä Arize Phoenixia luomaan UMAP-upotusvisualisointi (UEV), eli vektoritietokannan kolmiulotteinen kartta, jossa käyttäjien kyselyt asetetaan asiakirjakatkelmien päälle.
  • Odotettu tulos: Visualisoinnissa näkyy käyttäjien kyselyrypäs alueella, jolla ei ole asiakirjoja. Tämä kertoo, että joitakin asiakirjoja on unohdettu ladata vektorivarastoon.

Hyödyt ja haitat

  • OpenTelemetry-yhteensopiva; integroituu olemassa oleviin yrityksen seurantapinoihin.
  • Paras työkalu vektoritietokannan sokeiden pisteiden visualisointiin.
  • Keskittyy vähemmän pisteytykseen ja enemmän havainnointiin.
  • Voi olla ylimitoitettu pieniin sovelluksiin tai yhden agentin työkaluihin.

Braintrust – kehotteiden regressioiden turvaverkko

Braintrust on suunniteltu tiheästi toistuville kehityskierroksille käyttäen mallien välistä vertailua.

Yleinen tilanne käytännössä

  • Tilanne: Kehitystiimi korvaa kehotteen ”Vastaa kysymykseen” (tapaus A) monimutkaisemmalla, 500 sanan järjestelmäohjeella (tapaus B).
  • Ongelma: Tapauksen B kehotteen parantaminen voi vahingossa rikkoa tapauksen A toiminnan.
  • Ratkaisu: Käytä Braintrustia luomaan vertailuaineisto, joka sisältää N täydellistä esimerkkiä (esim. N = 50). Anna Braintrustin suorittaa rinnakkaisvertailun (SxS) joka kerta, kun tiimi päivittää yksittäisen sanan ohjeistuksessa:
  • Odotettu tulos: Eroista kertova raportti näyttää tarkasti, missä vertailuaineiston tapauksissa (N = 50) tulokset paranivat tai heikkenivät.

Hyödyt ja haitat

  • Erittäin nopea testata ennen käyttöönottoa.
  • Hyvä käyttöliittymä, jossa myös ilman teknistä taustaa toimivat sidosryhmät voivat tarkastella ja arvioida tuotoksia.
  • Suljettuun ohjelmistoon ja SaaS-palveluun painottuva (vaikka siinä on avoimen lähdekoodin osia).
  • Vähemmän sisäänrakennettuja syvällisiä teknisiä mittareita verrattuna DeepEvaluun tai RAGAS:iin.

Yhteenveto

Asianmukaisia arviointikehyksiä hyödyntämällä RAG voi olla kilpailukykyinen työkalu, joka tarjoaa LLM:lle käyttäjän kysymyksen kannalta olennaisimman kontekstin.

Toteutusstrategia: mittareiden yhdistäminen virhekohtiin

Vaikka yhtä kaikkiin tilanteisiin sopivaa ratkaisua ei ole, Taulukko 2 näyttää, mitä arviointimittareita voidaan soveltaa kuhunkin tässä artikkelissa käsiteltyyn virhekohtaan:

Virhekohta Arviointimittarin ehdotus Käytettävä ominaisuus
FP1: Puuttuva sisältö RAGAS Lähdeuskollisuus / vastauksen oikeellisuus
FP2: Puutteellinen sijoitus hakutuloksissa TruLens Kontekstin kattavuus / täsmällisyys
FP3: Kontekstin kokoaminen Arize Phoenix Haun jäljitys & viiveanalyysi
FP4: Tietoa ei poimita DeepEval Lähdeuskollisuus / kontekstin kattavuus
FP5: Väärä muoto DeepEval G-Eval (mukautettu arviointikehikko)
FP6: Yksityiskohtaisuus Braintrust Manuaalinen arviointi & rinnakkaisvertailu
FP7: Puutteellinen vastaus RAGAS Vastauksen relevanssi

Taulukko 2. Virhekohtien lieventämismatriisi – mikä työkalu ratkaisee minkäkin virhekohdan?

DeepEval ja RAGAS voivat hyödyntää lähdeuskollisuuden mittareitaan tiedon eheyteen liittyvien virheiden mittaamiseen (FP1, FP4, FP7).

TruLens hyödyntää kontekstin täsmällisyys- ja kattavuusmittareita mitatakseen kontekstin relevanssia tuotokselle ja arvioidakseen siten virhekohtaa FP2.

Arize Phoenix tarjoaa visualisaation hakuprosessista, josta on helppo nähdä, jäikö haettu asiakirja pois kontekstin kokoamisvaiheessa (FP3).

Käyttökokemusvirheiden kohdalla DeepEval luo mukautettuja mittauksia arvioidakseen käyttökokemusvirheitä, kun taas Braintrust erottuu vertailutotuusaineistoon tehtävässä vertailussa.

Kuriko IWAI työskentelee koneoppimisinsinöörinä Kernel Labs -tutkimus- ja suunnittelukeskuksessa, joka on erikoistunut muuntamaan koneoppimistutkimusta automatisoiduiksi, tuotantovalmiiksi työnkuluiksi.

Hän on erikoistunut koneoppimisjärjestelmien rakentamiseen. Hänen painopistealueitaan ovat generatiivisen tekoälyn arkkitehtuuri, koneoppimisen jäljitettävyys ja suurten kielimallien hienosäätö.
Kurikolla on laaja kokemus tuotteiden omistajuudesta eri puolilla Kaakkois-Aasiaa, ja hän osaa yhdistää tekniset kokeilut liiketoiminnalliseen arvoon.