Найкращі моделі штучного інтелекту губляться у довгих документах

Нове дослідження від дослідників з LMU Munich, Мюнхенського центру машинного навчання та Adobe (ADBE ) Research виявило слабкість у моделях мови штучного інтелекту: вони мають труднощі з розумінням довгих документів способами, які можуть вас здивувати. Результати дослідження показують, що навіть найрозвітліші моделі штучного інтелекту мають труднощі з підключенням інформації, коли вони не можуть покладатися на просте співпадіння слів.

Прихована проблема зі здатністю штучного інтелекту до читання

Постарайтеся знайти певну деталь у довгій науковій роботі. Ви можете проскролити її, створюючи розумові зв’язки між різними розділами, щоб зібрати потрібну інформацію. Багато моделей штучного інтелекту, як виявилося, працюють зовсім інакше. Замість цього вони часто сильно покладаються на знаходження точних співпадінь слів, подібно до використання Ctrl+F на вашому комп’ютері.

Дослідницька команда розробила новий бенчмарк під назвою NOLIMA (No Literal Matching), щоб протестувати різні моделі штучного інтелекту. Результати показали, що коли моделі штучного інтелекту працюють з текстами довше 2000 слів, їхня продуктивність падає суттєво. До моменту, коли вони досягають 32000 слів – приблизно довжини короткої книги – більшість моделей працюють лише на половину своєї звичайної здатності. Це включало тестування великих моделей, таких як GPT-4o, Gemini 1.5 Pro, і Llama 3.3 70B.

Розгляньте медичного дослідника, який використовує штучний інтелект для аналізу медичних записів пацієнтів, або юридичну команду, яка використовує штучний інтелект для перегляду документів справи. Якщо штучний інтелект пропускає важливі зв’язки через те, що відповідна інформація використовує інші слова, ніж пошукова запит, наслідки можуть бути суттєвими.

Чому співпадіння слів недостатньо

Поточні моделі штучного інтелекту обробляють текст за допомогою чогось на зразок механізму уваги. Ця система допомагає штучному інтелекту зосередитися на різних частинах тексту, щоб зрозуміти зв’язки між словами та ідеями. Коли робота відбувається з короткими текстами, це працює досить добре. Однак дослідження показує, що цей механізм ставиться перевантаженим, коли тексти стають довшими, особливо коли він не може покладатися на точні співпадіння слів.

Тест NOLIMA показав цю обмеженість, запитуючи у моделей штучного інтелекту питання, на які відповіді вимагали розуміння контексту, а не знаходження співпадінь слів. Результати були переконливі. Хоча моделі працювали добре з короткими текстами, їхня здатність створювати ці зв’язки суттєво падала, коли довжина тексту збільшувалася. Навіть спеціалізовані моделі, призначені для завдань зі rozumінням, набирали менше 50% точності при роботі з довгими документами.

Без опори на співпадіння слів моделі штучного інтелекту мали труднощі з:

• Зв’язуванням пов’язаних концепцій, які використовують різні терміни
• Проведенням багатокрокових шляхів rozumіння
• Знаходженням відповідної інформації, коли вона з’являється після ключового контексту
• Ігноруванням вводючих у оману співпадінь слів у неважливих розділах

Цифри розповідають історію

Результати дослідження малюють яскраву картину того, як моделі штучного інтелекту працюють з довгими текстами. GPT-4o показав найкращу продуктивність, зберігаючи ефективність до приблизно 8000 токенів (приблизно 6000 слів). Однак навіть цей найкращий виконавець показав суттєвий спад продуктивності з довшими текстами. Більшість інших моделей, включаючи Gemini 1.5 Pro і Llama 3.3 70B, пережили різкий спад продуктивності між 2000 і 8000 токенів.

Спад продуктивності став ще більш вираженим, коли завдання вимагали багатокрокового rozumіння. Наприклад, якщо моделі потрібно було зробити два логічні зв’язки – наприклад, зрозуміти, що персонаж жив поблизу певної пам’ятки, і що пам’ятка знаходиться в певному місті – успішність суттєво падала. Дослідження показало, що такий багатокроковий процес rozumіння став особливо складним у текстах понад 16000 токенів, навіть при використанні технік, призначених для покращення rozumіння, таких як Chain-of-Thought prompting.

Що робить ці результати особливо помітними, так це те, що вони викликають сумніви щодо заяв про здатність моделей штучного інтелекту обробляти довгі контексти. Хоча багато моделей рекламують підтримку розширених контекстних вікон, бенчмарк NOLIMA показує, що ефективне розуміння падає значно раніше досягнення цих теоретичних меж.

Джерело: Modarressi et al.

Коли штучний інтелект втрачає ліс серед дерев

Ці обмеженості мають суттєві наслідки для того, як ми використовуємо штучний інтелект у реальних застосуваннях. Розгляньте юридичну систему штучного інтелекту, яка шукає у законі. Вона може пропустити відповідні прецеденти просто тому, що вони використовують інші терміни, ніж пошукова запит. Система може замість цього зосередитися на менш відповідних справах, які просто мають спільні слова з пошуковими термінами.

Вплив на пошук і аналіз документів особливо занепокоює. Поточні системи штучного інтелекту часто покладаються на техніку під назвою Retrieval-Augmented Generation (RAG). Навіть коли ці системи успішно отримують документ, який містить потрібну інформацію, штучний інтелект може не визнати її актуальність, якщо формулювання відрізняється від запиту. Замість цього штучний інтелект може схилитися до менш відповідних документів, які мають поверхневі подібності з пошуковими термінами.

Для користувачів штучного інтелекту ці результати підказують кілька важливих міркувань:

По-перше, коротші запити і документи, ймовірно, дадуть більш надійні результати. Коли робота відбувається з довгими текстами, розділення їх на менші, зосереджені сегменти може допомогти зберегти продуктивність штучного інтелекту.

По-друге, користувачі повинні бути особливо обережними, коли просять штучний інтелект зробити зв’язки між різними частинами довгого документа. Дослідження показує, що моделі штучного інтелекту мають найбільші труднощі, коли їм потрібно скласти інформацію з різних секцій, особливо коли зв’язок не очевидний через спільну лексику.

По-третє, ці обмеженості підкреслюють продовжуючу важливість людської нагляду. Хоча штучний інтелект може бути потужним інструментом для обробки та аналізу тексту, його не слід вважати повною заміною людського аналізу складних документів. Людська здатність зберігати контекст і створювати концептуальні зв’язки через довгі тексти залишається вищою за поточні можливості штучного інтелекту.

Результати служать нагадуванням про те, що попри швидкий розвиток технологій штучного інтелекту, ці системи все ще обробляють інформацію зовсім інакше, ніж люди. Розуміння цих обмеженостей є важливим для ефективного використання інструментів штучного інтелекту та знання того, коли людська оцінка залишається суттєвою.

Що далі?

Розуміння обмеженостей поточних моделей штучного інтелекту щодо обробки довгих текстів відкриває важливі питання про майбутнє розвитку штучного інтелекту. Дослідження, яке стояло за бенчмарком NOLIMA, показало, що наші поточні підходи до обробки тексту штучним інтелекту можуть потребувати суттєвого доопрацювання, особливо у тому, як моделі обробляють інформацію через довші пасажі.

Поточні рішення показали лише частковий успіх. Промптинг ланцюга думок, який спонукає моделі штучного інтелекту розбивати свій розум на кроки, дещо покращує продуктивність. Наприклад, при використанні цієї техніки Llama 3.3 70B показала кращу здатність обробляти довгі контексти. Однак цей підхід все ще не достатній при роботі з текстами понад 16000 токенів, вказуючи на те, що нам потрібні більш фундаментальні рішення.

Механізм уваги, який утворює основу того, як поточні моделі штучного інтелекту обробляють текст, потребує переосмислення. Це можна порівняти з спробою вести розмову в переповненій кімнаті – чим довша розмова, тим складніше слідкувати за всіма важливими моментами, які були згадані раніше. Наші поточні моделі штучного інтелекту стикаються з аналогічною проблемою, але у значно більшому масштабі.

Оглядаючи майбутнє, дослідники досліджують кілька перспективних напрямків. Один із підходів полягає у розробці нових способів організації та пріоритезації інформації в довгих текстах, виходячи за рамки простого співпадіння слів до розуміння глибших концептуальних зв’язків. Це може працювати подібно до того, як люди створюють розумові карти інформації, зв’язуючи ідеї на основі їхнього значення, а не тільки спільної лексики.

Інший напрямок розвитку зосереджується на покращенні того, як моделі штучного інтелекту обробляють те, що дослідники називають “латентними стрибками” – логічними кроками, необхідними для зв’язку різних частин інформації. Поточні моделі мають труднощі з цими зв’язками, особливо в довгих текстах, але нові архітектури можуть допомогти закрити цю прогалину.

Для тих, хто працює з інструментами штучного інтелекту сьогодні, ці результати підказують кілька практичних підходів:

Розгляньте розділення довгих документів на значимі сегменти при роботі з інструментами штучного інтелекту. Це допоможе створити логічні розділи, які зберігають важливий контекст. Наприклад, якщо ви аналізуєте наукову роботу, ви можете зберегти розділи методології та результатів разом, оскільки вони часто містять пов’язану інформацію.

Коли ви просите штучний інтелект проаналізувати довгі тексти, будьте конкретними щодо зв’язків, які ви хочете, щоб він створив. Замість того, щоб ставити широкі питання, спрямовуйте штучний інтелект до конкретних відносин, які вас цікавлять. Це допоможе компенсувати поточні обмеженості моделі у створенні цих зв’язків самостійно.

Можливо, найважливіше – зберігати реалістичні очікування щодо можливостей штучного інтелекту з довгими текстами. Хоча ці інструменти можуть бути надзвичайно корисними для багатьох завдань, їх не слід вважати повною заміною людського аналізу складних документів. Людська здатність зберігати контекст і створювати концептуальні зв’язки через довгі тексти залишається вищою за поточні можливості штучного інтелекту.

Шлях вперед для розвитку штучного інтелекту в цій області є як складним, так і цікавим. Коли ми краще розуміємо ці обмеженості, ми можемо працювати над системами штучного інтелекту, які真正но розуміють довгі тексти, а не просто обробляють їх. До того часу використання інструментів штучного інтелекту ефективно означає роботу з його поточними обмеженостями, одночасно цінуючи його сильні сторони.