Vähemmän on enemmän: Miksi vähemmän asiakirjoja voi parantaa tekoälyvastauksia

Retrieval-Augmented Generation (RAG) on lähestymistapa tekoälyjärjestelmien rakentamiseen, joka yhdistää kielen mallin ulkoiseen tietolähteeseen. Yksinkertaisesti sanottuna, tekoäly etsii ensin asiakirjoja (kuten artikkeleita tai verkkosivuja), jotka liittyvät käyttäjän kysymykseen, ja sitten käyttää näitä asiakirjoja luomaan tarkemman vastauksen. Tämä menetelmä on saanut kiitosta siitä, että se auttaa suuria kielen malleja (LLM) pysymään tosiasiallisina ja vähentämään hallucinaatioita perustamalla vastauksensa oikeisiin tietoihin.

Intuitiivisesti, voisi ajatella, että mitä enemmän asiakirjoja tekoäly hakee, sitä paremmin se pystyy vastaamaan. Viimeaikaiset tutkimukset ovat kuitenkin osoittaneet yllättävän käänteen: joskus vähemmän on enemmän.

Vähemmän asiakirjoja, paremmat vastaukset

Uusi tutkimus uudesta tutkimuksesta tutkii, miten RAG-järjestelmän suorituskyky vaikuttaa asiakirjojen määrään. Olennaisesti, he pitivät yhteensä asiakirjojen määrää vakiona – tarkoittaen, että jos vähemmän asiakirjoja annettiin, ne laajennettiin hieman täyttämään sama pituus kuin useat asiakirjat. Tällä tavoin, suorituskykyeroja voitiin liittää asiakirjojen määrään eikä pelkästään lyhyeen syötteen.

Tutkijat käyttivät kysymys-vastaus-aineistoa (MuSiQue) triviatietokilpailukysymyksillä, joista jokainen oli alun perin pariutettu 20 Wikipedia-kohtaukseen (joista vain muutamassa oli oikea vastaus, loput olivat häikäiseviä). Leikkaamalla asiakirjojen määrää 20:stä ainoastaan 2-4 todella merkitykselliseen asiakirjaan – ja täyttämällä ne hieman lisäksi säilyttääkseen saman pituuden – he loivat tilanteita, joissa tekoälyllä oli vähemmän materiaalia harkittavaksi, mutta edelleen sama määrä sanoja lukemiseen.

Tulokset olivat hämmästyttäviä. Useimmissa tapauksissa, tekoälymallit vastasivat tarkemmin, kun niille annettiin vähemmän asiakirjoja kuin koko joukko. Suorituskyky parani merkittävästi – jopa 10 prosentilla tarkkuudessa (F1-lukemalla) kun järjestelmä käytti vain muutamia tukevia asiakirjoja sen sijaan, että se käytti suurta kokoelmaa. Tämä vastoin odotuksia osoittanut parannus havaittiin useissa eri avoimen lähdekoodin kielen malleissa, mukaan lukien Meta Llama -mallin variantit, osoittaen, että ilmiö ei ole sidottu yhteen tekoälymalliin.

Toinen malli (Qwen-2) oli merkittävä poikkeus, joka pystyi käsittelemään useita asiakirjoja ilman suorituskyvyn laskua, mutta lähes kaikki testatut mallit suorittivat paremmin vähemmän asiakirjojen kanssa. Toisin sanoen, lisäämällä viittauksia asiakirjoihin heikensi useammin kuin paransi suorituskykyä.

Lähde: Levy et al.

Miksi tämä on yllätys? Tyypillisesti, RAG-järjestelmiä suunnitellaan oletuksella, että laajemman tietomäärän hakeminen voi ainoastaan auttaa tekoälyä – jos vastaus ei ole ensimmäisissä asiakirjoissa, se voi olla kymmenennellä tai kahdellakymmenellä.

Tämä tutkimus kääntää tämän käsityksen päälaelleen, osoittaen, että asiakirjojen lisääminen voi takaisinkääntäen vaikuttaa. Vaikka yhteensä asiakirjojen määrä pidettiin vakiona, useiden eri asiakirjojen (jokaisella omalla kontekstillaan ja ominaisuuksillaan) läsnäolo teki kysymys-vastaus-tehtävästä haasteellisemman tekoälylle. Näyttää siltä, että tietyn kynnyksen jälkeen jokainen lisäasiakirja toi enemmän melua kuin signaalia, sekoittaen mallin ja heikentäen sen kykyä löytää oikea vastaus.

Miksi vähemmän on enemmän RAG:ssa

Tämä “vähemmän on enemmän” -tulos on järkevä, kun otetaan huomioon, miten tekoälykielen mallit käsittelevät tietoa. Kun tekoälylle annetaan ainoastaan merkitykselliset asiakirjat, konteksti on kohdennettu ja vapaana häiriöistä, samoin kuin opiskelija, jolle on annettu vain oikeat sivut opiskeltavaksi.

Tutkimuksessa mallit suorittivat merkittävästi paremmin, kun niille annettiin ainoastaan tukevat asiakirjat, ja merkityksettömät materiaalit poistettiin. Jäljelle jäänyt konteksti ei ollut ainoastaan lyhyempi, vaan myös puhdas – se sisälsi vain tosiasioita, jotka osoittivat suoraan vastausta ja mitään muuta. Vähemmän asiakirjojen kanssa malli voi omistaa koko huomionsa olennaiseen tietoon, tehdä siitä vähemmän todennäköistä, että se eksyy tai sekoaa.

Toisaalta, kun useita asiakirjoja haettiin, tekoäly joutui siivilöimään sekä merkityksellisen että merkityksettömän sisällön sekoitusta. Usein nämä lisäasiakirjat olivat “samankaltaisia, mutta ei liittyviä” – ne saattoivat jakaa aiheen tai avainsanat kysymyksen kanssa, mutta eivät todellakaan sisältäneet vastausta. Tällainen sisältö voi johtaa mallia harhaan. Tekoäly voi tuhlata vaivaa yrittäessään yhdistää pistekohtia asiakirjojen välillä, jotka eivät todellakaan johda oikeaan vastaukseen, tai pahemminkin, se voi yhdistää tietoja useista lähteistä väärin. Tämä lisää riskiä hallucinaatioille – tilanteille, joissa tekoäly luo vastauksen, joka kuulostaa uskottavalta, mutta ei perustu yhteenkään lähteeseen.

Itse asiassa, tutkijat totesivat, että jos lisäasiakirjat olivat ilmiselvästi merkityksettömiä (esim. satunnainen, ei liittyvä teksti), mallit pystyivät paremmin ohittamaan ne. Varsinainen ongelma tulee häikäisevistä tietoista, jotka näyttävät merkityksellisiltä: kun kaikki haetut tekstit ovat saman aiheen ympärillä, tekoäly olettaa, että se pitäisi käyttää niitä kaikkia, ja se voi kamppailla siinä, mitkä yksityiskohdat ovat todella tärkeitä. Tämä vastaa tutkimuksen havaintoa, että “satunnaiset häikäisevät aiheuttavat vähemmän sekaannusta kuin realistiset häikäisevät” syötteenä. Tekoäly pystyy suodattamaan ulos ilmiselvän hölynpölynsan, mutta hillitysti poikkeava tieto on liukas ansa – se hiipii sisään merkityksellisyyden verholla ja ajautuu vastauksesta. Rajoittamalla asiakirjojen määrää ainoastaan todella tarpeellisiin, vältämme näiden ansien asettamisen.

On myös käytännön etu: vähemmän asiakirjojen hakeminen ja prosessointi laskee laskennallisen kuorman RAG-järjestelmälle. Jokainen haettu asiakirja on analysoitava (upotettava, luettava ja tarkkailla mallilla), mikä vaatii aikaa ja laskentaresursseja. Tarpeettomien asiakirjojen poistaminen tekee järjestelmästä tehokkaamman – se voi löytää vastauksia nopeammin ja alhaisemmalla kustannuksella. Tilanteissa, joissa tarkkuus parani keskittymällä vähemmän lähteisiin, saamme voiton molemmilla tavoilla: paremmat vastaukset ja hoikempi, tehokkaampi prosessi.

Lähde: Levy et al.

RAG:n uudelleenarviointi: Tulevaisuuden suunnat

Tämä uusi näyttö siitä, että laatu usein voittaa määrän hakutoiminnassa, on tärkeitä vaikutuksia tulevaisuudelle tekoälyjärjestelmille, jotka riippuvat ulkoisesta tietolähteestä. Se viittaa siihen, että RAG-järjestelmien suunnittelijoiden tulisi priorisoida älykkäitä suodattimia ja asiakirjojen luokittelua määrän sijaan. Sen sijaan, että haettaisiin 100 mahdollista kappaletta ja toivottaisiin, että vastaus on jossakin siellä, on ehkä viisaampaa hakea vain muutaman korkeasti relevantin kappaleen.

Tutkimuksen tekijät korostavat tarvetta hakumenetelmille “tasapainottaa merkityksellisyyden ja monipuolisuuden välillä” tietojen toimittamisessa mallille. Toisin sanoen, haluamme tarjota riittävästi aiheen kattavuutta vastata kysymykseen, mutta ei niin paljon, että keskeiset faktat hukkuvat tarpeettoman tekstin valtameressä.

Etenevässä tutkimuksessa tutkijat ovat todennäköisesti tutkiskelemassa menetelmiä, joilla tekoälymallit voivat käsitellä useita asiakirjoja sulavammin. Yksi lähestymistapa on kehittää parempia hakujärjestelmiä tai uudelleenluokittelijoita, jotka voivat tunnistaa, mitkä asiakirjat todella lisäävät arvoa ja mitkä vain tuovat konfliktia. Toinen näkökulma on parantaa kielen malleja itse: jos yksi malli (kuten Qwen-2) pystyi käsittelemään useita asiakirjoja ilman tarkkuuden laskua, sen koulutus tai rakenne voisi tarjota vihjeitä muiden mallien tehostamiseksi. Ehkä tulevaisuuden suuret kielen mallit sisällyttävät mekanismit, jotka tunnistavat, kun kaksi lähdettä sanovat samaa asiaa (tai ristiriitaisia) ja keskittyvät sen mukaan. Tavoitteena on mahdollistaa mallien hyödyntäminen monipuolisista lähteistä ilman sekaantumisen vaaraa – saavuttaa parasta molemmista maailmoista (tiedon laajuus ja fokuksen selkeys).

On myös huomionarvoista, että kun tekoälyjärjestelmät saavat suurempia kontekstirajoja (kyky lukea enemmän tekstiä kerran), yksinkertaisesti lisäämällä enemmän dataa ei ole hopealuoti. Suurempi konteksti ei välttämättä tarkoita parempaa ymmärrystä. Tämä tutkimus osoittaa, että vaikka tekoäly voi teknisesti lukea 50 sivua kerran, antamalla sille 50 sivua sekalaisia tietoja ei välttämättä johtaisi hyvään tulokseen. Malli edelleen hyötyy kuratoidusta, relevantista sisällöstä, eikä vain satunnaisesta dumpista. Itse asiassa älykäs hakutoiminto saattaa tulla tärkeämmäksi jättiläismäisten kontekstirajojen aikakaudella – varmistaakseen, että lisäkapasiteetti käytetään arvokkaaseen tietoon eikä meluun.

Tutkimuksen löydökset “Enemmän asiakirjoja, sama pituus” (oivaltavasti nimetystä paperista) rohkaisevat uudelleenarvioimaan oletuksiamme tekoälytutkimuksessa. Joskus antaminen tekoälylle kaikkea dataa, mitä meillä on, ei ole yhtä tehokasta kuin luulemme. Keskittymällä tärkeimpiin tietoihin, parannamme tekoälyvastauksien tarkkuutta ja tehostamme järjestelmiä, ja saamme vastaukset nopeammin ja alhaisemmalla kustannuksella. Se on vastoin odotuksia osoittanut opetus, mutta yksi, jolla on innostavat seuraukset: tulevaisuuden RAG-järjestelmät voivat olla sekä älykkäämpiä että hoikempia valitsemalla huolellisesti vähemmän, parempia asiakirjoja hakemaan.