Mniej to więcej: Dlaczego pobieranie mniejszej liczby dokumentów może poprawić odpowiedzi AI

Retrieval-Augmented Generation (RAG) to podejście do budowy systemów AI, które łączy model językowy z zewnętrznym źródłem wiedzy. W prostych słowach, AI najpierw wyszukuje dokumenty (takie jak artykuły lub strony internetowe) związane z zapytaniem użytkownika, a następnie wykorzystuje te dokumenty do wygenerowania bardziej dokładnej odpowiedzi. Ta metoda jest chwalona za pomoc w utrzymaniu dużych modeli językowych (LLM) w faktach i redukowaniu halucynacji, poprzez oparcie ich odpowiedzi na rzeczywistych danych.

Intuicyjnie, można by sądzić, że im więcej dokumentów AI pobiera, tym lepiej poinformowana będzie jego odpowiedź. Jednakże, niedawne badania sugerują zaskakujący zwrot: gdy chodzi o dostarczanie informacji AI, czasem mniej jest więcej.

Mniej dokumentów, lepsze odpowiedzi

Nowe badanie przeprowadzone przez badaczy z Uniwersytetu Hebrajskiego w Jerozolimie zbadało, jak liczba dokumentów podanych systemowi RAG wpływa na jego wydajność. Co ważne, utrzymano stałą całkowitą ilość tekstu – co oznacza, że jeśli podano mniej dokumentów, te dokumenty były nieco rozszerzone, aby wypełnić tę samą długość, co wiele dokumentów. W ten sposób jakiekolwiek różnice w wydajności można było przypisać ilości dokumentów, a nie tylko krótszemu wejściu.

Badacze wykorzystali zestaw danych do odpowiedzi na pytania (MuSiQue) z pytaniami z trivii, każde z których pierwotnie połączone było z 20 akapitami z Wikipedii (z których tylko kilka zawierało odpowiedź, a reszta była rozpraszająca). Przez obcięcie liczby dokumentów z 20 do zaledwie 2-4 naprawdę istotnych – i wypełnienie ich nieco dodatkowym kontekstem, aby utrzymać stałą długość – stworzyli scenariusze, w których AI miało mniej materiałów do rozważenia, ale nadal mniej więcej tyle samo słów do przeczytania.

Wyniki były uderzające. W większości przypadków modele AI odpowiadały bardziej dokładnie, gdy otrzymywały mniej dokumentów, zamiast pełnego zestawu. Wydajność poprawiła się znacznie – w niektórych przypadkach nawet o 10% w dokładności (wynik F1), gdy system wykorzystywał tylko garść dokumentów wspierających zamiast dużej kolekcji. Ten sprzeczny z intuicją wzrost został zaobserwowany w kilku różnych modelach językowych open-source, w tym wariantach Meta Llama i innych, co wskazuje, że zjawisko to nie jest związane z jednym modelem AI.

Jeden model (Qwen-2) był godnym uwagi wyjątkiem, który radził sobie z wieloma dokumentami bez spadku wyniku, ale prawie wszystkie przetestowane modele działały lepiej z mniej dokumentami ogółem. Innymi słowy, dodawanie więcej materiału odniesienia poza kluczowymi kawałkami naprawdę zaszkodziło ich wydajności częściej, niż pomogło.

Źródło: Levy et al.

Dlaczego jest to takim zaskoczeniem? Zazwyczaj systemy RAG są projektowane pod założeniem, że pobieranie szerszego zakresu informacji może tylko pomóc AI – przecież, jeśli odpowiedź nie jest w pierwszych kilku dokumentach, może być w dziesiątym lub dwudziestym.

To badanie odwraca ten scenariusz, demonstrując, że nie rozróżnialne nakładanie dodatkowych dokumentów może backfire. Nawet gdy całkowita długość tekstu była utrzymana na stałym poziomie, sama obecność wielu różnych dokumentów (każdego z własnym kontekstem i cechami) sprawiła, że zadanie odpowiedzi na pytania stało się bardziej wyzwaniem dla AI. Wydaje się, że poza pewnym punktem, każdy dodatkowy dokument wprowadzał więcej szumu niż sygnału, myląc model i utrudniając mu wydobycie poprawnej odpowiedzi.

Dlaczego mniej może być więcej w RAG

Ten wynik „mniej jest więcej” ma sens, gdy rozważymy, jak modele językowe AI przetwarzają informacje. Gdy AI otrzymuje tylko najbardziej istotne dokumenty, kontekst, który widzi, jest skupiony i pozbawiony rozpraszających elementów, podobnie jak student, któremu podano właściwe strony do studiowania.

W badaniu modele działały znacznie lepiej, gdy otrzymywały tylko dokumenty wspierające, z usuniętym nieistotnym materiałem. Pozostający kontekst nie był tylko krótszy, ale także czystszy – zawierał fakty, które bezpośrednio wskazywały na odpowiedź i nic więcej. Z mniejszą liczbą dokumentów do rozważenia, model mógł poświęcić swoją pełną uwagę istotnym informacjom, co sprawiło, że było mniej prawdopodobne, aby został rozproszony lub zmylony.

Z drugiej strony, gdy pobrano wiele dokumentów, AI musiało przefiltrować mieszankę istotnych i nieistotnych treści. Często te dodatkowe dokumenty były „podobne, ale niespokrewnione” – mogły dzielić temat lub słowa kluczowe z zapytaniem, ale nie zawierały odpowiedzi. Taka treść może mylić model. AI mogło zmarnować wysiłek, próbując połączyć kropki między dokumentami, które nie prowadzą do poprawnej odpowiedzi, lub co gorsza, mogło niepoprawnie połączyć informacje z wielu źródeł. To zwiększa ryzyko halucynacji – przypadków, w których AI generuje odpowiedź, która brzmi prawdopodobnie, ale nie jest oparta na żadnym pojedynczym źródle.

W istocie, dostarczanie zbyt wielu dokumentów modelowi może rozcieńczyć użyteczne informacje i wprowadzić sprzeczne szczegóły, co utrudnia AI, aby zdecydować, co jest prawdą.

Co ciekawe, badacze odkryli, że jeśli dodatkowe dokumenty były wyraźnie nieistotne (na przykład losowy, niezwiązany tekst), modele były lepsze w ignorowaniu ich. Prawdziwa trudność pochodzi z rozpraszającymi danymi, które wyglądają na istotne: gdy wszystkie pobrane teksty dotyczą podobnych tematów, AI zakłada, że powinno wykorzystać je wszystkie, i może mieć trudności z rozróżnieniem, które szczegóły są naprawdę ważne. To odpowiada obserwacji badania, że losowe rozpraszacze powodowały mniej zamieszania niż realistyczne rozpraszacze w wejściu. AI może filtrować nonsens, ale subtelnie nie na temat informacji jest śliską pułapką – wprowadza ją pod pozorem istotności i wywołuje odpowiedź. Poprzez redukcję liczby dokumentów do tylko naprawdę koniecznych, unikamy ustawiania tych pułapek od samego początku.

Istnieje również praktyczna korzyść: pobieranie i przetwarzanie mniejszej liczby dokumentów obniża obciążenie obliczeniowe systemu RAG. Każdy dokument, który jest pobrany, musi być przeanalizowany (zawarty, przeczytany i rozważony przez model), co wymaga czasu i zasobów obliczeniowych. Usunięcie zbędnych dokumentów sprawia, że system staje się bardziej wydajny – może znaleźć odpowiedzi szybciej i przy niższych kosztach. W scenariuszach, w których poprawiono dokładność, poprzez skupienie się na mniejszej liczbie źródeł, uzyskujemy podwójne korzyści: lepsze odpowiedzi i lżejszy, bardziej wydajny proces.

Źródło: Levy et al.

Ponowne rozważenie RAG: Przyszłe kierunki

To nowe dowody, że jakość często bije ilość w pobieraniu, ma ważne implikacje dla przyszłości systemów AI, które polegają na zewnętrznej wiedzy. Sugereje, że projektanci systemów RAG powinni priorytetowo traktować inteligentne filtrowanie i klasyfikowanie dokumentów nad ich ilością. Zamiast pobierać 100 możliwych pasażów i mieć nadzieję, że odpowiedź jest gdzieś tam ukryta, może być mądrzejsze, aby pobrać tylko kilka najbardziej istotnych.

Autorzy badania podkreślają potrzebę metod pobierania, które „znajdują równowagę między istotnością a różnorodnością” w informacjach dostarczanych modelowi. Innymi słowy, chcemy dostarczyć wystarczającą ilość informacji na temat, aby odpowiedzieć na pytanie, ale nie tak dużo, że podstawowe fakty są utopione w morzu zbędnych tekstów.

W przyszłości badacze prawdopodobnie będą badać techniki, które pomogą modelom AI lepiej radzić sobie z wieloma dokumentami. Jednym z podejść jest rozwój lepszych systemów pobierania lub ponownego klasyfikowania, które mogą określić, które dokumenty naprawdę dodają wartość, a które tylko wprowadzają konflikt. Innym kierunkiem jest poprawa samych modeli językowych: jeśli jeden model (jak Qwen-2) mógł radzić sobie z wieloma dokumentami bez utraty dokładności, zbadanie, jak został wytrenowany lub zbudowany, mogłoby dostarczyć wskazówek, aby uczynić inne modele bardziej wytrzymałymi. Być może przyszłe duże modele językowe będą zawierać mechanizmy, które rozpoznają, kiedy dwa źródła mówią to samo (lub się sprzeczą) i skupią się odpowiednio. Celem byłoby umożliwienie modelom wykorzystania bogatego zakresu źródeł bez popadania w zamieszanie – skutecznie uzyskując najlepsze z obu światów (szerokość informacji i klarowność skupienia).

Warto również zauważyć, że w miarę jak systemy AI zyskują większe okna kontekstowe (zdolność do czytania większej ilości tekstu na raz), proste wrzucanie większej ilości danych do podpowiedzi nie jest srebrną kulą. Większy kontekst nie oznacza automatycznie lepszego zrozumienia. To badanie pokazuje, że nawet jeśli AI może technicznie przeczytać 50 stron na raz, dostarczanie mu 50 stron mieszanej jakości informacji może nie dać dobrego wyniku. Model nadal korzysta z wyselekcjonowanych, istotnych treści do pracy, zamiast nie rozróżnialnego zrzutu. W rzeczywistości inteligentne pobieranie może stać się jeszcze bardziej kluczowe w erze olbrzymich okien kontekstowych – aby upewnić się, że dodatkowa pojemność jest wykorzystywana do cennych informacji, a nie szumu.

Wyniki z „Więcej dokumentów, ta sama długość” (odpowiednio zatytułowanego artykułu) zachęcają do ponownego zbadania naszych założeń w badaniach AI. Czasem dostarczanie AI wszystkich danych, których posiadamy, nie jest tak skuteczne, jak się wydaje. Poprzez skupienie się na najistotniejszych kawałkach informacji, nie tylko poprawiamy dokładność odpowiedzi generowanych przez AI, ale także sprawiamy, że systemy stają się bardziej wydajne i łatwiejsze do zaufania. To sprzeczne z intuicją lekcja, ale z ekscytującymi konsekwencjami: przyszłe systemy RAG mogą być zarówno mądrzejsze, jak i lżejsze, poprzez staranne wybranie mniejszej liczby, lepszych dokumentów do pobrania, co nie tylko poprawia dokładność odpowiedzi AI, ale także czyni systemy bardziej wydajnymi i łatwiejszymi do zaufania. Jest to sprzeczne z intuicją lekcja, ale z ekscytującymi konsekwencjami: przyszłe systemy RAG mogą być zarówno mądrzejsze, jak i lżejsze, poprzez staranne wybranie mniejszej liczby, lepszych dokumentów do pobrania.