Mitä RAG-pilkkominen on? Miten asiakirjojen pilkkominen vaikuttaa vastausten laatuun

Pilkkominen jakaa lähdemateriaalin haettaviksi yksiköiksi, joiden rajat ja metadata vaikuttavat merkittävästi siihen, mitä aineistoa RAG-järjestelmä löytää ja pystyy esittämään yhdessä.

RAG-pilkkominen on syytä määritellä täsmällisesti, sillä nimitys viittaa tiettyyn tiedonkulkuun, koulutusvalintaan, ajonaikaiseen mekanismiin tai hallinnolliseen rajaan. Jos sitä pidetään edistyneen tekoälyn synonyymina, väitteitä on mahdotonta testata. Tässä oppaassa käsitettä seurataan sen syötteestä ja oletuksista havaittavaan tulokseen asti, minkä jälkeen tarkastellaan oikopolkua, joka todennäköisimmin sekoitetaan siihen.

RAG-pilkkominen: määritelmä, rajaus ja tarkoitus

Pilkkominen jakaa lähdemateriaalin haettaviksi yksiköiksi, joiden rajat ja metadata vaikuttavat merkittävästi siihen, mitä aineistoa RAG-järjestelmä löytää ja pystyy esittämään yhdessä. Määritelmä sisältää kolme käytännön vaatimusta: syötteen on oltava tunnistettavissa, RAG-pilkkomiselle ominaisen muunnoksen tai päätöksen on tapahduttava, ja tulosta on voitava arvioida ilmoitettua tavoitetta vasten. Jos jokin näistä puuttuu, nimitys saattaa kuvata tavoitetta toteutetun mekanismin sijasta.

Tiedonhakujärjestelmät ovat prosessiketjuja. Jäsentäminen, esittäminen, indeksointi, ehdokkaiden muodostaminen, järjestäminen, kontekstin kokoaminen ja vastausten tuottaminen voivat kukin lisätä tai poistaa aineistoa. RAG-pilkkomisessa tämä järjestelmänäkökulma on tärkeä, koska suorituskykyyn voivat vaikuttaa ympäröivät tiedot, rajapinnat, laitteisto, käyttöoikeudet ja ihmiset silloinkin, kun itse malli pysyy muuttumattomana. Siksi selkeässä kuvauksessa erotetaan mallin oppima toiminta tuotteesta, joka päättää, milloin, missä ja millaisin valtuuksin tätä toimintaa käytetään.

Lähin harhaanjohtava oikotie on lisätä hakemistoon kokonainen asiakirja tai kaikki sen virkkeet sellaisinaan. Ratkaisussa voi olla sama näkyvä piirre kuin RAG-pilkkomisessa, mutta syy-seuraussuhteiden tarkastelu muuttuu: onnistumisen osoittamiseen tarvittaisiin erilaista näyttöä, kustannuksia hallitsisivat eri resurssit ja haittojen ehkäisemiseen tarvittaisiin erilaisia kontrolleja. Raja on siis toiminnallinen, ei terminologinen.

RAG-pilkkomisen viisivaiheinen toimintamalli

Kaavio on tiivis syy-seurauskartta RAG-pilkkomisesta, ei väite siitä, että jokaisessa toteutuksessa olisi viisi ohjelmistokomponenttia. Joissakin järjestelmissä vaiheet yhdistyvät, toisissa ne toistuvat silmukkana. Kartta on silti hyödyllinen, koska se edellyttää, että jokaisella tiedon tai päätösvallan muutoksella on vastuuhenkilö, syöte, tulos ja testi.

1. Jäsennä asiakirjan todellinen rakenne: RAG-pilkkomisen syöte ja oletukset

Tässä RAG-pilkkomisen vaiheessa järjestelmän on jäsennettävä asiakirjan todellinen rakenne. Hyödyllinen kysymys ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoa se käsittelee, mitä tilaa se muuttaa ja mikä näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto siitä, että kokonainen asiakirja tai kaikki sen virkkeet lisätään hakemistoon sellaisinaan, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tähän RAG-pilkkomisen vaiheeseen siirrytään ilmoitetun tavoitteen pohjalta, ja vaiheen tuloksen pitäisi mahdollistaa palojen koon ja päällekkäisyyden valinta. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä rajakohdassa sovelletut ihmisen tai ohjelmiston kontrollit. Tämän jäljen avulla tiimit voivat havaita, katkaisevatko palat asiayhteyden, monistavatko ne kohinaa tai yhdistävätkö ne toisiinsa liittymättömiä aiheita, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

2. Valitse palojen koko ja päällekkäisyys: esitysmuoto vai päätös RAG-pilkkomisessa

Tässä RAG-pilkkomisen vaiheessa järjestelmän on valittava palojen koko ja päällekkäisyys. Hyödyllinen kysymys ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoa se käsittelee, mitä tilaa se muuttaa ja mikä näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto siitä, että kokonainen asiakirja tai kaikki sen virkkeet lisätään hakemistoon sellaisinaan, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tähän RAG-pilkkomisen vaiheeseen siirrytään asiakirjan todellisen rakenteen jäsentämisen pohjalta, ja vaiheen tuloksen pitäisi tukea otsikoiden, osioiden ja lähdetietojen säilyttämistä. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä rajakohdassa sovelletut ihmisen tai ohjelmiston kontrollit. Tämän jäljen avulla tiimit voivat havaita, katkaisevatko palat asiayhteyden, monistavatko ne kohinaa tai yhdistävätkö ne toisiinsa liittymättömiä aiheita, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

3. Säilytä otsikot, osiot ja lähteen metatiedot: RAG-pilkkomisen erottava muunnos

Tässä RAG-pilkkomisen vaiheessa järjestelmän on säilytettävä otsikot, osiot ja lähteen metatiedot. Olennaista ei ole vain se, tapahtuuko muunnos, vaan myös se, mitä tietoja se käyttää, mihin tilaan se vaikuttaa ja mikä näyttö osoittaa muutoksen olleen oikea. Arvioijan pitäisi pystyä erottamaan tämä toiminto siitä, että koko asiakirja tai jokainen virke lisättäisiin sellaisenaan indeksiin, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tähän RAG-pilkkomisen vaiheeseen siirrytään valitsemalla tekstijakson koko ja limitys, ja sen tuloksena pitäisi syntyä aineisto, jonka avulla kukin yksikkö voidaan upottaa ja indeksoida. Kirjaa ylös epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä rajalla sovellettu inhimillinen tai ohjelmiston tekemä valvonta. Tämän jäljen avulla tiimit voivat havaita, katkaisevatko tekstijaksot asiayhteyden, monistavatko ne kohinaa tai yhdistävätkö ne toisiinsa liittymättömiä aiheita, ennen kuin sama heikkous päätyy merkitykselliseen lopputulokseen.

4. Upota ja indeksoi kukin yksikkö: RAG-pilkkomisen rajoite- ja varmennusraja

Tässä RAG-pilkkomisen vaiheessa järjestelmän on upotettava ja indeksoitava kukin yksikkö. Olennaista ei ole vain se, tapahtuuko tämä, vaan myös se, mitä tietoja toiminto käyttää, mihin tilaan se vaikuttaa ja mikä näyttö osoittaa muutoksen olleen oikea. Arvioijan pitäisi pystyä erottamaan tämä toiminto siitä, että koko asiakirja tai jokainen virke lisättäisiin sellaisenaan indeksiin, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tähän RAG-pilkkomisen vaiheeseen siirrytään säilyttämällä otsikot, osiot ja lähteen metatiedot, ja sen tuloksena pitäisi syntyä aineisto, jonka avulla voidaan arvioida tiedonhakua vastausta sisältävien jaksojen perusteella. Kirjaa ylös epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä rajalla sovellettu inhimillinen tai ohjelmiston tekemä valvonta. Tämän jäljen avulla tiimit voivat havaita, katkaisevatko tekstijaksot asiayhteyden, monistavatko ne kohinaa tai yhdistävätkö ne toisiinsa liittymättömiä aiheita, ennen kuin sama heikkous päätyy merkitykselliseen lopputulokseen.

5. Arvioi tiedonhakua vastausta sisältävien jaksojen perusteella: RAG-pilkkomisen tulos, palaute ja pysäytyssääntö

Tässä RAG-pilkkomisen vaiheessa järjestelmän on arvioitava tiedonhakua vastausta sisältävien jaksojen perusteella. Olennaista ei ole vain se, tapahtuuko tämä, vaan myös se, mitä tietoja toiminto käyttää, mihin tilaan se vaikuttaa ja mikä näyttö osoittaa muutoksen olleen oikea. Arvioijan pitäisi pystyä erottamaan tämä toiminto siitä, että koko asiakirja tai jokainen virke lisättäisiin sellaisenaan indeksiin, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tähän RAG-pilkkomisen vaiheeseen siirrytään upottamalla ja indeksoimalla kukin yksikkö, ja sen tuloksena pitäisi syntyä aineisto, jonka avulla voidaan seurata järjestelmää tai tehdä lopullinen päätös. Kirjaa ylös epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä rajalla sovellettu inhimillinen tai ohjelmiston tekemä valvonta. Tämän jäljen avulla tiimit voivat havaita, katkaisevatko tekstijaksot asiayhteyden, monistavatko ne kohinaa tai yhdistävätkö ne toisiinsa liittymättömiä aiheita, ennen kuin sama heikkous päätyy merkitykselliseen lopputulokseen.

Lue RAG-pilkkomisen vaiheet eteenpäin ymmärtääksesi tuotannon toimintaa ja taaksepäin selvittääksesi virheiden syitä. Eteenpäin suuntautuvassa analyysissä tarkastellaan, miten yksi vaihe tuottaa aineistoa seuraavalle. Taaksepäin suuntautuva analyysi lähtee virheellisestä, hitaasta, kalliista tai turvattomasta tuloksesta ja jäljittää, mikä aiempi oletus mahdollisti sen. Usein juuri käänteistä reittiä seuraamalla tiimi huomaa, että ratkaiseva virhe tapahtui jo ennen kuin malli tuotti mitään.

Esimerkki RAG-pilkkomisesta käytännössä

Oikeudellisessa indeksissä lauseke tulisi säilyttää yhdessä otsikkonsa ja poikkeustensa kanssa sen sijaan, että se pilkottaisiin mielivaltaisen merkkimäärän perusteella.

Tämä esimerkki on valaiseva, koska RAG-pilkkominen voidaan kytkeä havaittaviin syötteisiin, välitiloihin ja lopputulokseen sen sijaan, että sitä arvioitaisiin hiotun demonstraation perusteella. Perusteellisessa testissä tulisi rakentaa skenaarion ympärille tavanomaisia, vaikeita ja tarkoituksella harhaanjohtavia tapauksia, säilyttää vertailutaso ilman kyseistä tekniikkaa sekä kirjata sekä keskimääräinen suorituskyky että yksittäisten virheiden vakavuus.

Muuta yhtä oletusta RAG-pilkkomisen esimerkissä ja toista analyysi. Poista pakollinen syöte, lisää ristiriitainen signaali, rajoita laskentatehoa, muuta käyttäjäjoukkoa tai pakota järjestelmä pidättäytymään vastaamisesta. Mekanismin toimivuus vain yhdessä huolellisesti järjestetyssä demonstraatiotilanteessa ei osoita, että se yleistyy käyttöympäristöön.

RAG-pilkkominen ja sen yleisin oikopolku

RAG-pilkkominen pelkistetään usein siihen, että koko asiakirja tai jokainen virke lisätään sellaisenaan indeksiin. Tällainen pelkistys poistaa juuri sen rajan, joka määrittelee käsitteen. Se voi johtaa ostajia vertailemaan keskenään erilaisia tuotteita, tutkijoita liioittelemaan kokeen osoittamia asioita ja järjestelmän käyttäjiä seuraamaan käyttöönoton jälkeen väärää signaalia.

Vertailussa pitäisi myös määritellä analyysiyksikkö. RAG-pilkkomista käsittelevässä tutkimuksessa voidaan tarkastella erikseen mallia tai algoritmia, kun taas käyttöönotettu palvelu lisää kokonaisuuteen haun, reitityksen, välimuistin, käytännöt, identiteetin, käyttöliittymät ja seurannan. Kaksi tuotetta voi käyttää samaa yleisnimitystä mutta toteuttaa pinon eri osia. Selvitä, mikä komponentti tekee määrittävän muunnoksen ja mitkä muut komponentit ovat välttämättömiä raportoidun tuloksen saavuttamiseksi.

Miksi RAG-pilkkomisella on merkitystä nykyisissä tekoälyjärjestelmissä

RAG-pilkkomisella on nyt merkitystä, koska tekoälyjärjestelmille annetaan suurempia konteksteja, useampia modaliteetteja, enemmän laskentatehoa käytön aikana, laajemmat työkalujen käyttöoikeudet ja syvempi yhteys organisaatioiden päätöksentekoon. Näissä oloissa aiemmin tutkimuksen yksityiskohdalta vaikuttanut tekijä voi ratkaista viiveen, tietoturvan, saavutettavuuden, ympäristövaikutukset, tuotteen laadun tai oikeudellisen vastuun.

Oleellista ei ole se, pystyykö RAG-pilkkominen tuottamaan yhden vaikuttavan tuloksen. Olennaista on, parantaako menetelmä merkityksellistä lopputulosta edustavissa olosuhteissa ja tekeekö se sen yksinkertaista vertailutasoa tehokkaammin. Raportoi jakaumat, virheluokat, häntäviive, resurssien käyttö ja vaikutuksen kohteena olevat alaryhmät sen sijaan, että tiivistäisit kaikki tulokset yhdeksi keskiarvoksi.

Arvioi haku erillään generoinnista käyttämällä asiakirjoja, jotka sisältävät vastauksen, ja arvioi sitten yhdistettyä järjestelmää sen perusteella, miten hyvin vastaukset perustuvat lähteisiin, ovatko viittaukset oikein, osaako järjestelmä pidättäytyä vastaamasta, ovatko tiedot ajantasaisia, toteutuvatko käyttöoikeudet sekä millainen on viive ja kustannus. Kun tätä menettelyä sovelletaan nimenomaan RAG-pilkkomiseen, näyttöä voidaan hyödyntää muuallakin: toinen tiimi voi arvioida, säilyykö väitetty hyöty todennäköisesti myös toisenlaisella mallilla, kielellä, laitteistoalustalla, aineistolla, käyttäjäjoukolla tai riskinsietokyvyllä.

RAG-pilkkomisen mahdolliset hyödyt

Vahvin peruste käyttää RAG-pilkkomista on, että sillä voidaan puuttua suoraan ongelmaan, jota varten menetelmä on suunniteltu. Toteutuksesta riippuen hyöty voi näkyä parempana lähteisiin perustuvuutena, uskollisempana esitystapana, parempana yleistettävyytenä, pienempänä viiveenä, vähäisempänä muistin siirtelynä, selkeämpänä vastuunjakona tai turvallisempana rajana mallin ehdotuksen ja todellisen toiminnan välillä.

Hyödyt pitäisi ilmaista päätöksinä ja mittareina. ”Älykkäämpi” ei ole RAG-pilkkomisen hyväksymiskriteeri. Hyödyllinen tavoite voi määritellä virheasteen vaikeissa tapauksissa, palautumisen ristiriitaisen näytön jälkeen, kustannuksen tietyllä liikenteen persentiilillä, ihmisen tekemään tarkistukseen kuluvan ajan, kalibroinnin tai niiden toimien prosenttiosuuden, jotka pysyvät määritellyissä toimivaltarajoissa.

RAG-pilkkomista määrittävä virhetilanne

Keskeinen rajoite on, että palaset voivat katkaista asiayhteyden, monistaa kohinaa tai yhdistää toisiinsa liittymättömiä aiheita. Tätä virhettä ei pidä käsitellä jälkikäteen lisättävänä huomiona vasta kehitystyön päätyttyä. Sen pitäisi ohjata RAG-pilkkomisen tiedonkeruuta, arkkitehtuuria, käyttöoikeuksia, arviointia, julkaisun ehtoja ja seurantaa alusta alkaen.

RAG-pilkkomisen hallintakeinosta on hyötyä vain, jos se vaikuttaa ennen kallista tai peruuttamatonta seurausta. Tunnista virheen varhaisin havaittavissa oleva ennusmerkki, aseta raja-arvo tai sääntö, nimeä vastuuhenkilö ja testaa palautumista. Käyttötapauksesta riippuen palautuminen voi tarkoittaa vastaamisesta pidättäytymistä, yksinkertaisempaan järjestelmään siirtymistä, lisänäytön pyytämistä, asian siirtämistä ihmiselle, mallin palauttamista aiempaan versioon tai toiminnan pysäyttämistä kokonaan.

RAG-pilkkomisen arviointisuunnitelma

Aloita RAG-aineiston pilkkomisen arviointi kirjoittamalla, minkä päätöksen tueksi näytön on riitettävä. Määritä toiminnan kohdejoukko, väärän tuloksen seuraukset, päätöshetkellä tosiasiassa käytettävissä olevat tiedot sekä yksinkertaisin uskottava vaihtoehto. Näin vertailutestistä ei tule itse tarkoitusta vain siksi, että se on helppo toteuttaa.

Käytä vertailuissa koskematonta testijoukkoa ja validoi sitten RAG-aineiston pilkkominen vaiheittain käyttöönotettavassa toimintaympäristössä. Offline-arviointi tekee vaihtoehdoista vertailukelpoisia; varjotila, canary-käyttöönotot, käyttörajoitukset tai hyväksyntäportit paljastavat, miten todellinen liikenne, palautekehät ja ihmiset muuttavat toimintaa. Käyttöönoton vaiheelle on määriteltävä selkeä pysäytysehto sen sijaan, että oletettaisiin jokaisen parannuksen ansaitsevan täysimittaisen käyttöönoton.

Versioi RAG-aineiston pilkkomisen toistamiseen tarvittavat syötteet soveltuvin osin: lähdetiedot, esikäsittely, tokenisoija tai koodain, mallin painot, määritykset, kehote tai käytäntö, hakuindeksi, arviointijoukko, laitteistoa koskevat oletukset sekä palvelukoodi. Ilman alkuperätietojen jäljitettävyyttä tiimi ei voi tietää, johtuiko muuttunut tulos menetelmästä, toimintaympäristöstä vai huomaamatta jääneestä putkiston muutoksesta.

Kysy lopuksi, mikä havainto kumoaisi väitteen siitä, että RAG-aineiston pilkkominen auttaa. Jos mikään tulos ei voisi muuttaa käyttöönottopäätöstä, arviointi on markkinointia. Ennalta sovitut hyväksymiskynnykset ja säilytetty vahvistusjoukko tekevät arvioinnista näyttöön perustuvan.

Kysymyksiä ennen RAG-aineiston pilkkomisen käyttöönottoa

• Tavoite: Minkä mitattavissa olevan pullonkaulan RAG-aineiston pilkkomisella on tarkoitus ratkaista?
• Toimintamekanismi: Missä viidestä vaiheesta tapahtuu menetelmälle ominainen muunnos?
• Vertailutaso: Miten se vertautuu siihen, että indeksiin lisätään sellaisenaan kokonainen asiakirja tai jokainen lause, tai johonkin muuhun yksinkertaisempaan vaihtoehtoon?
• Näyttö: Millaisia tavanomaisia, vaikeita, vastakkaisia ja alaryhmiä koskevia tapauksia testattiin?
• Toiminta: Millaisia viive-, muisti-, laskenta-, energia-, ylläpito- ja arviointikustannuksia syntyy suuressa mittakaavassa?
• Riskit: Miten tiimi havaitsee, jos palaset katkaisevat asiayhteyden, monistavat kohinaa tai yhdistävät toisiinsa liittymättömiä aiheita?
• Palautuminen: Voiko järjestelmä pidättäytyä vastaamasta, siirtyä vararatkaisuun, palautua aiempaan versioon tai siirtää asian eteenpäin ennen vahingon syntymistä?

Ensisijaiset lähteet RAG-aineiston pilkkomisen tutkimiseen

RAG-aineiston pilkkomiseen liittyvän tekoälypinon osa-alueen luotettavia lähtökohtia ovat Retrieval-Augmented Generation -tutkimusartikkeli, FAISSin samankaltaisuushakua käsittelevä tutkimus ja Microsoft GraphRAG. Tutustu niihin yhdessä juuri kyseistä mallia, aineistoa, laitteistoa ja lainkäyttöaluetta koskevan dokumentaation kanssa. Yleinen lähde voi määritellä toimintamekanismin, mutta vain käyttöönottoa koskeva näyttö voi osoittaa, soveltuuko tietty toteutus tarkoitukseensa.

Mitä RAG-aineiston pilkkomisesta kannattaa muistaa

RAG-aineiston pilkkominen on määritelty mekanismi laajemmassa sosioteknisessä järjestelmässä. Sen arvo perustuu tietyn tuloksen parantamiseen nimenomaisissa olosuhteissa, ei itse nimitykseen. Viisivaiheinen malli havainnollistaa tiedonkulkua, vertailu osoittaa, mitä menetelmä ei ole, ja ohjauspolku näyttää, missä vastuullinen toimija voi puuttua tilanteeseen.

RAG-aineiston pilkkomisen käytännön nyrkkisääntö on määritellä tavoite, verrata menetelmää uskottavaan vertailutasoon, testata merkityksellisintä vikatilannetta ja säilyttää näyttö, jota tarvitaan muutosten seuraamiseen. Kun nämä osat ovat kunnossa, käsitteestä tulee arvioitavissa oleva tekninen ja hallinnollinen valinta. Ilman niitä se jää lupaavaksi nimeksi, johon liittyy tuntematon toiminnallinen riski.