Méně je více: Proč načítání menšího počtu dokumentů může zlepšit odpovědi AI

Retrieval-Augmented Generation (RAG) je přístup k vytváření systémů AI, který kombinuje jazykový model s externím zdrojem znalostí. Jednoduše řečeno, AI nejprve hledá relevantní dokumenty (jako články nebo webové stránky) související s dotazem uživatele a poté používá tyto dokumenty k vygenerování přesnější odpovědi. Tato metoda byla oslavována za pomoc velkým jazykovým modelům (LLM) zůstat faktické a snížit halucinace zakotvením svých odpovědí v reálných datech.

Intuitivně by se mohlo zdát, že čím více dokumentů AI načte, tím lépe bude informována jeho odpověď. Nicméně, recentní výzkum naznačuje překvapivý zvrat: když se jedná o poskytování informací AI, někdy méně znamená více.

Méně dokumentů, lepší odpovědi

Nová studie výzkumníků z Hebrejské univerzity v Jeruzalémě prozkoumala, jak počet dokumentů poskytnutých systému RAG ovlivňuje jeho výkon. Zásadně, drželi celkovou délku textu konstantní – což znamená, že pokud byly poskytnuty méně dokumenty, tyto dokumenty byly mírně rozšířeny, aby vyplnily stejnou délku jako mnoho dokumentů. Tímto způsobem, jakékoli rozdíly ve výkonu mohly být připsány množství dokumentů spíše než pouze kratšímu vstupu.

Výzkumníci použili dataset otázek a odpovědí (MuSiQue) s triviálními otázkami, každá původně spárována s 20 odstavci z Wikipedie (z nichž pouze několik skutečně obsahuje odpověď, zatímco zbytek jsou odlišné). Přesně tím, že snížili počet dokumentů z 20 na pouhé 2-4 skutečně relevantní – a doplnili je o trochu dalšího kontextu, aby udrželi konzistentní délku – vytvořili scénáře, ve kterých AI měla méně materiálů k zvažování, ale stále přibližně stejný celkový počet slov k přečtení.

Výsledky byly úžasné. Ve většině případů, modely AI odpověděly přesněji, když jim byly poskytnuty méně dokumentů než úplná sada. Výkon se zlepšil výrazně – v některých případech až o 10% v přesnosti (F1 skóre), když systém použil pouze několik podpůrných dokumentů místo velké kolekce. Tento protichůdný vzestup byl pozorován napříč několika různými open-source jazykovými modely, včetně variant Meta Llama a dalších, což naznačuje, že jev není vázaný na jeden konkrétní model AI.

Jeden model (Qwen-2) byl pozoruhodnou výjimkou, která zvládla více dokumentů bez poklesu skóre, ale téměř všechny testované modely fungovaly lépe s méně dokumenty celkově. Jinými slovy, přidání více referenčních materiálů beyond klíčových relevantních kusů vlastně zhoršilo jejich výkon častěji, než jim pomohlo.

Zdroj: Levy et al.

Proč je to takový překvapivý zvrat? Typicky, systémy RAG jsou navrženy pod předpokladem, že načítání širšího spektra informací může pouze pomoci AI – koneckonců, pokud odpověď není v prvních několika dokumentech, může být v desátém nebo dvacátém.

Tato studie otočila tento scénář, demonstruje, že nekritické nahromadění dalších dokumentů může selhat. I když byla celková délka textu držena konstantní, pouhá přítomnost mnoha různých dokumentů (každý se svými kontexty a vlastnostmi) učinila úkol otázek a odpovědí pro AI složitějším. Zdá se, že za určitým bodem, každý další dokument přinesl více šumu než signálu, zmátící model a narušující jeho schopnost extrahovat správnou odpověď.

Proč méně může být více v RAG

Tento „méně je více“ výsledek má smysl, když vezmeme v úvahu, jak AI jazykové modely zpracovávají informace. Když je AI poskytnuto pouze nejrelevantnější dokumenty, kontext, který vidí, je zaměřený a bez rozptýlení, podobně jako student, který dostal pouze správné stránky ke studiu.

V studii, modely fungovaly výrazně lépe, když jim byly poskytnuty pouze podpůrné dokumenty, s irelevantním materiálem odstraněným. Zbývající kontext nebyl pouze kratší, ale také čistší – obsahoval fakta, která přímo ukazovala na odpověď a nic jiného. S méně dokumenty k manipulaci, model mohl věnovat svou plnou pozornost příslušným informacím, činící ho méně pravděpodobným, že se ztratí nebo zmátne.

Na druhé straně, když byly načteny many dokumenty, AI musela procházet mix relevantního a irelevantního obsahu. Často tyto další dokumenty byly „podobné, ale nesouvisející“ – mohly sdílet téma nebo klíčová slova s dotazem, ale ve skutečnosti neobsahovaly odpověď. Takový obsah může zmást model. AI mohla plýtvat úsilím, snažíce se propojit body napříč dokumenty, které nevedou k správné odpovědi, nebo horší, mohla zkombinovat informace z více zdrojů nesprávně. To zvyšuje riziko halucinací – instancí, ve kterých AI generuje odpověď, která zní přesvědčivě, ale není zakotvena v žádném jednotlivém zdroji.

V podstatě, krmení AI příliš mnoha dokumenty může zředit užitečné informace a zavést konfliktní detaily, činící pro AI obtížnější rozhodnout, co je pravda.

Zajímavé je, že výzkumníci zjistili, že pokud byly další dokumenty zjevně irelevantní (například náhodný nesouvisející text), modely byly lepší v ignorování jich. Skutečný problém přichází z rozptýlujících dat, která vypadají relevantně: když všechny načtené texty jsou na podobná témata, AI předpokládá, že by je měla použít všechny, a může mít potíže s tím, které detaily jsou skutečně důležité. To odpovídá studii, že náhodné rozptýlující prvky způsobily méně zmatení než realistické rozptýlující prvky ve vstupu. AI může filtrovat nesmysl, ale jemně odlišné informace jsou pastí – pronikají pod rouškou relevance a odvracejí odpověď. Snížením počtu dokumentů na pouze ty skutečně nezbytné, vyhýbáme se nastavení těchto pastí.

Existuje také praktický benefit: načítání a zpracování méně dokumentů snižuje výpočetní režii pro systém RAG. Každý dokument, který se načte, musí být analyzován (vložen, přečten a pozornost modelu), což používá čas a výpočetní prostředky. Odstranění nadbytečných dokumentů činí systém efektivnějším – může najít odpovědi rychleji a za nižší náklady. V scénářích, ve kterých se zlepšila přesnost zaměřením na méně zdrojů, získáváme výhru-výhru: lepší odpovědi a štíhlejší, efektivnější proces.

Zdroj: Levy et al.

Přemýšlení o RAG: Budoucí směry

Tato nová evidence, že kvalita často překonává kvantitu v načítání, má důležité implikace pro budoucnost systémů AI, které spoléhají na externí znalosti. Naznačuje, že designéři systémů RAG by měli priorizovat chytré filtrování a řazení dokumentů nad pouhým množstvím. Místo načítání 100 možných pasáží a doufání, že odpověď je někde zakopána, může být moudřejší načíst pouze několik nejrelevantnějších.

Autor studie zdůrazňuje potřebu metod načítání, aby „nalezly rovnováhu mezi relevantností a rozmanitostí“ ve informace, které poskytují modelu. Jinými slovy, chceme poskytnout dostatečné pokrytí tématu, aby odpověď na otázku, ale ne tolik, aby základní fakta byla utopena v moři zbytečného textu.

V budoucnu, výzkumníci pravděpodobně prozkoumají techniky, které pomohou modelům AI zpracovat více dokumentů elegantněji. Jedním přístupem je vývoj lepších systémů načítání nebo re-rankingu, které mohou identifikovat, které dokumenty skutečně přidávají hodnotu a které pouze zavádějí konflikt. Další úhel je zlepšení jazykových modelů samých: pokud jeden model (jako Qwen-2) zvládl více dokumentů bez ztráty přesnosti, prozkoumání, jak byl vyškolen nebo strukturován, by mohlo nabídnout nápady pro činění ostatních modelů odolnějších. Možná budou budoucí velké jazykové modely zahrnovat mechanismy k rozpoznání, kdy dva zdroje říkají stejné (nebo si protiřečí) a zaměřit se podle toho. Cílem by bylo umožnit modelům využívat bohatou škálu zdrojů bez padnutí do zmatku – efektivně získání nejlepších obou světů (šířky informací a jasnosti zaměření).

Je také důležité poznamenat, že když systémy AI získají větší kontextové okna (schopnost číst více textu najednou), jednoduše nahazování více dat do podnětu není stříbrná kulka. Větší kontext automaticky neznamená lepší pochopení. Tato studie ukazuje, že i když AI může technicky číst 50 stránek najednou, poskytnutí 50 stránek smíšených kvalitních informací nemusí vést k dobrému výsledku. Model stále profituje z kurátorského, relevantního obsahu, se kterým pracovat, spíše než nekritickým dumpem. Ve skutečnosti, inteligentní načítání může stát ještě důležitějším v éře gigantických kontextových oken – aby se zajistilo, že extra kapacita je použita pro cenné znalosti spíše než šum.

Zjištění ze studie „Více dokumentů, stejná délka“ (vhodně pojmenované práce) povzbuzují k přehodnocení našich předpokladů ve výzkumu AI. Někdy, krmení AI všemi daty, které máme, není tak efektivní, jak si myslíme. Soustředěním se na nejrelevantnější kusy informací, nejenom zlepšujeme přesnost odpovědí AI, ale také činíme systémy efektivnějšími a snáze důvěryhodnými. Je to protichůdná lekce, ale jedna s vzrušujícími implikacemi: budoucí systémy RAG mohou být jak chytřejší, tak štíhlejší, pečlivě vybírající méně, lepší dokumenty k načtení.