Менше документів, кращі відповіді: чому отримання меншої кількості документів може покращити відповіді штучного інтелекту

Покращення генерації за допомогою пошукових запитів (RAG) – це підхід до створення систем штучного інтелекту, який поєднує мовну модель з зовнішнім джерелом знань. У простих термінах, штучний інтелект спочатку шукає відповідні документи (наприклад, статті чи веб-сторінки), пов’язані з запитом користувача, а потім використовує ці документи для генерації більш точної відповіді. Цей метод був відзначений за те, що він допомагає бüyük мовним моделям (LLM) залишатися фактичними та зменшувати галюцинації, ґрунтуючись свої відповіді на реальних даних.

Інтуїтивно, можна подумати, що чим більше документів штучний інтелект отримує, тим краще інформована буде його відповідь. Однак недавні дослідження показують несподіваний поворот: коли мова йде про підживлення інформації штучного інтелекту, іноді менше – це більше.

Менше документів, кращі відповіді

Нове дослідження вчених з Єврейського університету в Єрусалимі вивчило, як кількість документів, наданих системі RAG, впливає на її продуктивність. Насамперед, вони зберегли загальну кількість тексту постійною – тобто, якщо менше документів було надано, ці документи були трохи розширені, щоб заповнити ту ж саму довжину, що й багато документів. Таким чином, будь-які відмінності у продуктивності могли бути віднесені до кількості документів, а не просто до коротшої довжини вхідних даних.

Вчені використовували набір даних для відповідей на питання (MuSiQue) з тривіальними питаннями, кожне з яких спочатку було поєднано з 20 вікіпедійними абзацами (з яких тільки кілька фактично містили відповідь, а решта були дистракторами). Відсікаючи кількість документів з 20 до лише 2-4 дійсно відповідних – і доповнюючи їх трохи додатковим контекстом, щоб зберегти постійну довжину – вони створили сценарії, в яких штучний інтелект мав менше матеріалів для розгляду, але все ж таки приблизно ту ж саму загальну кількість слів для прочитання.

Результати були вражаючими. У більшості випадків моделі штучного інтелекту відповідали більш точно, коли їм надавали менше документів, а не повний набір. Продуктивність покращилася значно – в деяких випадках на 10% у точності (бал за F1) тоді, коли система використовувала лише кілька документів, що підтримують відповідь, замість великої колекції. Цей контрінтуїтивний підйом був спостережений у кількох різних відкритих мовних моделях, включаючи варіанти моделі Llama від Meta та інші, що свідчить про те, що цей феномен не пов’язаний з однією моделлю штучного інтелекту.

Одна модель (Qwen-2) була помітним винятком, який обробляв кілька документів без зниження балу, але майже всі протестовані моделі працювали краще з меншою кількістю документів загалом. Іншими словами, додавання додаткових джерел інформації за межами ключових відповідних документів фактично погіршувало їхню продуктивність частіше, ніж покращувало.

Джерело: Levy et al.

Чому це така несподіванка? Зазвичай системи RAG розробляються під припущенням, що отримання більшої кількості інформації може тільки допомогти штучному інтелекту – адже якщо відповідь не міститься у перших декількох документах, вона може бути у десятому чи двадцятому.

Це дослідження перевернуло цей сценарій, демонструючи, що безрозбірне додавання додаткових документів може мати негативні наслідки. Навіть коли загальна довжина тексту була збережена постійною, проста присутність багатьох різних документів (кожен з яких мав свій контекст і особливості) зробила завдання відповіді на питання більш складним для штучного інтелекту. Здається, що після певної точки кожен додатковий документ вводив більше шуму, ніж сигналу, плутаючи модель і погіршуючи її здатність витягнути правильну відповідь.

Чому менше може бути більше в RAG

Цей результат “менше – це більше” стає зрозумілішим, якщо ми розглянемо, як моделі штучного інтелекту обробляють інформацію. Коли штучний інтелект отримує лише найбільш відповідні документи, контекст, який він бачить, є зосередженим і вільним від дистракцій, подібно до студента, якому було надано лише правильні сторінки для вивчення.

У дослідженні моделі працювали значно краще, коли їм надавали лише підтримуючі документи, з неважливим матеріалом видаленим. Залишений контекст не тільки був коротшим, але й чистішим – він містив факти, які безпосередньо вказували на відповідь і нічого іншого. З меншою кількістю документів для розгляду модель могла приділити свою повну увагу відповідному інформації, роблячи її менш схильною до відволікання чи плутанини.

З іншого боку, коли було отримано багато документів, штучний інтелект мав просіювати суміш відповідної та неважливої інформації. Часто ці додаткові документи були “подібними, але не пов’язаними” – вони могли поділити тему чи ключові слова з запитом, але не містити відповідь. Такий контент може ввести модель в оману. Штучний інтелект міг марно витратити зусилля, намагаючись з’єднати точки між документами, які не фактично ведуть до правильної відповіді, або гірше, він міг об’єднати інформацію з кількох джерел неправильно. Це збільшує ризик галюцинацій – випадків, коли штучний інтелект генерує відповідь, яка звучить правдоподібно, але не ґрунтується на жодному джерелі.

У суті, надання штучному інтелекту занадто багатьох документів може розбавити корисну інформацію та ввести конфліктні деталі, роблячи його складніше для штучного інтелекту визначити, що є правдою.

Цікаво, що дослідники виявили, що якщо додаткові документи були очевидно неважливими (наприклад, випадкові не пов’язані тексти), моделі були кращі у ігноруванні їх. Реальна проблема виникає з дистракційними даними, які виглядають відповідними: коли всі отримані тексти стосуються подібних тем, штучний інтелект припускає, що він повинен використовувати всі вони, і він може боротися з тим, щоб визначити, які деталі дійсно важливі. Це відповідає спостереженню дослідження, що випадкові дистрактори викликали менше плутанини, ніж реалістичні дистрактори у вхідних даних. Штучний інтелект може фільтрувати явний нісенітниця, але тонко не пов’язану інформацію – це хитра пастка – вона проникає під виглядом відповідності та зриває відповідь. Обмежуючи кількість документів лише до тих, які дійсно необхідні, ми уникнемо створення цих пасток з самого початку.

Є також практична вигода: отримання та обробка меншої кількості документів знижує обчислювальне навантаження на систему RAG. Кожен документ, який отримується, повинен бути проаналізований (вбудований, прочитаний та розглянутий моделлю), що використовує час та обчислювальні ресурси. Видалення зайвих документів робить систему більш ефективною – вона може знайти відповіді швидше та за нижчу ціну. У сценаріях, коли точність покращилася завдяки фокусуванню на меншій кількості джерел, ми отримуємо виграш-виграш: кращі відповіді та більш лаконічний, ефективний процес.

Джерело: Levy et al.

Переоценка RAG: майбутні напрямки

Ці нові дані про те, що якість часто переважує кількість у пошукових запитах, мають важливі наслідки для майбутнього систем штучного інтелекту, які залежать від зовнішніх знань. Це свідчить про те, що розробники систем RAG повинні надавати пріоритет розумному фільтруванню та ранжуванню документів над їхньою кількістю. Замість отримання 100 можливих пасажів та сподівання, що відповідь буде похована десь там, може бути мудріше отримати лише кілька найбільш відповідних документів.

Автори дослідження підкреслюють необхідність для методів пошукових запитів “знайти баланс між відповідністю та різноманітністю” у інформації, яку вони надають моделі. Іншими словами, ми хочемо забезпечити достатню кількість інформації з теми, щоб відповісти на питання, але не так багато, щоб основні факти були заглушені морем зайвого тексту.

У майбутньому дослідники, ймовірно, будуть вивчати техніки, які допоможуть моделям штучного інтелекту краще обробляти кілька документів. Одним із підходів є розвиток кращих систем пошукових запитів або перерахунків, які можуть визначити, які документи дійсно додávají цінність, а які лише вводять конфлікт. Інший підхід полягає у поліпшенні самих мовних моделей: якщо одна модель (наприклад, Qwen-2) змогла впоратися з багатьма документами без втрати точності, вивчення того, як вона була навчена чи структурована, могло б надати підказки для поліпшення інших моделей. Можливо, майбутні великі мовні моделі будуть включати механізми для визнання того, коли два джерела говорять одну й ту ж річ (або суперечать одна одній) та зосереджуватися відповідно. Метою було б дозволити моделям використовувати багату різноманітність джерел без потрапляння у плутанину – ефективно отримуючи найкраще з обох світів (ширину інформації та чіткість фокусу).

Також варто зазначити, що оскільки системи штучного інтелекту отримують більші вікна контексту (здатність читати більше тексту одночасно), просто виливання ще більше даних у запит не є срібною кулею. Більше контексту не означає автоматично кращого розуміння. Це дослідження показує, що навіть якщо штучний інтелект може технічно прочитати 50 сторінок одночасно, надання йому 50 сторінок інформації змішаної якості може не дати хорошого результату. Модель все ж таки виграє від того, що працює з відібраним, відповідним контентом, а не з безрозбірним виливанням. Насправді, розумне отримання інформації може стати ще більш важливим у епоху гігантських вікон контексту – для забезпечення того, що додаткова місткість використовується для цінних знань, а не шуму.

Висновки з дослідження «Більше документів, та ж сама довжина» (підходяще назва статті) заохочують до переоцінки наших припущень у дослідженнях штучного інтелекту. Іноді надання штучному інтелекту всіх даних, які ми маємо, не так ефективно, як ми думаємо. Зосереджуючись на найбільш відповідних частинах інформації, ми не тільки покращуємо точність відповідей штучного інтелекту, але й робимо системи більш ефективними та легшими для довіри. Це контрінтуїтивний урок, але з цікавими наслідками: майбутні системи RAG можуть бути одночасно розумнішими та лаконічнішими, обережно вибираючи менше, але кращі документи для отримання.