Чому великі мовні моделі забувають середину: розкриття прихованої сліпої плями штучного інтелекту

Оскільки великі мовні моделі (LLM) широко використовуються для завдань, таких як підсумкування документів, юридичний аналіз та оцінка медичної історії, важливо визнати обмеження цих моделей. Хоча загальні проблеми, такі як галюцинації та упередженість, добре відомі, дослідники недавно виявили іншу значну помилку: при обробці довгих текстів LLM схильні зберігати інформацію на початку та в кінці, але часто забувають середину.

Ця проблема, яку називають “загубленою в середині” феноменом, може серйозно вплинути на продуктивність цих моделей у реальних застосуваннях. Наприклад, якщо штучний інтелект доручено підсумкувати довгий юридичний документ, пропущені критичні деталі з середини можуть привести до вводять в оману або неповних підсумків. У медичних умовах пропуск інформації з середини історії хвороби пацієнта може призвести до неточних рекомендацій. Поняття, чому це відбувається, залишається складним завданням для дослідників, які намагаються створити безпечніші та більш надійні штучні інтелекти. Однак недавнє дослідження дає деякі з найясніших відповідей, розкриваючи, що ця проблема глибоко корениться в архітектурі цих моделей.

Проблема “загубленої в середині”

Феномен “загубленої в середині” відноситься до схильності LLM надавати менше уваги інформації в середині довгих вхідних послідовностей. Це схоже на те, як люди часто краще пам’ятають перші та останні елементи списку, ніж ті, що знаходяться в середині. Ця когнітивна упередженість у людей часто називається ефектом первинності та свіжості. Для LLM це означає, що вони працюють краще, коли ключова інформація знаходиться на початку або в кінці тексту, але борються, коли вона знаходиться в середині. Це призводить до “U-подібної” кривої продуктивності, де точність висока на початку, значно знижується в середині, а потім знову підвищується в кінці.

Ця проблема не є лише теоретичною. Її спостерігали у широкому спектрі завдань, від питання-відповіді до підсумкування документів. Наприклад, якщо ви запитаєте LLM питання, де відповідь знаходиться в перших кількох абзацах довгого статті, воно, ймовірно, відповість правильно. Те саме стосується ситуації, коли відповідь знаходиться в останніх кількох абзацах. Але якщо критична інформація знаходиться десь в середині, точність моделі різко знижується. Це серйозна обмеження, оскільки це означає, що ми не можемо повністю довіряти цим моделям завданнями, які вимагають розуміння довгого та складного контексту. Це також робить їх вразливими до маніпуляцій. Хтось міг би навмисно розмістити вводять в оману інформацію на початку або в кінці документа, щоб вплинути на вивід штучного інтелекту.

Архітектура LLM

Щоб зрозуміти, чому LLM забувають середину, нам потрібно розглянути, як вони побудовані. Сучасні LLM засновані на архітектурі, яка називається Transformer. Transformer був проривом у сфері штучного інтелекту, оскільки він ввів механізм, який називається самоувага. Самоувага дозволяє моделі оцінювати важливість різних слів у вхідному тексті під час обробки будь-якого даного слова. Наприклад, під час обробки речення “Кіт сидів на килимку” механізм самоуваги міг би дізнатися, що “кіт” і “сидів” мають високу взаємозв’язок. Це дозволяє моделі будувати значно багатше розуміння відносин між словами, ніж попередні архітектури могли.

Іншим ключовим компонентом є позиційне кодування. Оскільки механізм самоуваги сам по собі не має вродженої відчуття порядку слів, позиційні кодування додаються до вхідних даних, щоб надати моделі інформацію про позицію кожного слова в послідовності. Без цього модель бачила б вхідний текст просто як “мішок слів” без структури. Ці два компоненти, самоувага та позиційне кодування, працюють разом, щоб зробити LLM більш ефективними. Однак нове дослідження показує, що спосіб їх взаємодії також є джерелом цієї прихованої сліпої плями.

Як виникає позиційна упередженість

Недавнє дослідження використовує хитрий підхід, щоб пояснити цей феномен. Воно моделює потік інформації всередині Transformer як граф, де кожне слово є вузлом, а зв’язки уваги є ребрами. Це дозволяє дослідникам математично відстежувати, як інформація з різних позицій обробляється через багато шарів моделі.

Вони виявили два основних висновки. По-перше, використання каузального маскування у багатьох LLM створює вроджену упередженість до початку послідовності. Кавзальне маскування – це техніка, яка забезпечує те, що під час генерації слова модель може звертатися лише до слів, які передували йому, а не після. Це важливо для завдань, таких як генерація тексту. Однак через багато шарів це створює складний ефект. Перші кілька слів у тексті обробляються знову і знову, і їхні представлення стають все більш впливовими. Натомість слова в середині завжди дивляться назад на цей вже добре встановлений контекст, і їхня власна унікальна внесок може бути заглушена.

По-друге, дослідники розглянули, як позиційні кодування взаємодіють з цим кавзальним маскуванням. Сучасні LLM часто використовують відносне позиційне кодування, яке фокусується на відстані між словами, а не на їх абсолютній позиції. Це допомагає моделі узагальнювати тексти різної довжини. Хоча це здається хорошою ідеєю, воно створює конкуруючий тиск. Кавзальне маскування спрямовує увагу моделі на початок, тоді як відносне позиційне кодування заохочує її фокусуватися на найближчому локальному контексті будь-якого даного слова. Результатом цього протистояння є те, що модель звертає найбільшу увагу на самий початок тексту та на безпосередній локальний контекст будь-якого даного слова. Інформація, яка знаходиться далеко та не на початку, тобто в середині, отримує найменшу увагу.

Ширші наслідки

Феномен “загубленої в середині” має значні наслідки для застосунків, які залежать від обробки довгих текстів. Дослідження показує, що проблема не є просто випадковим ефектом, а фундаментальною наслідком того, як ми проектували ці моделі. Це означає, що просто тренування їх на більшій кількості даних навряд чи вирішить проблему. Замість цього нам можемо потрібно переосмислити деякі основні архітектурні принципи Transformer.

Для користувачів та розробників штучного інтелекту це критичне попередження. Ми повинні бути обізнані про це обмеження при проектуванні застосунків, які залежать від LLM. Для завдань, які включають довгі документи, нам можемо потрібно розробити стратегії для пом’якшення цієї упередженості. Це могло б включати розбивку документа на менші частини або створення моделей, які спеціально спрямовують увагу моделі на різні частини тексту. Це також підкреслює важливість ретельного тестування. Ми не можемо припускати, що LLM, який працює добре з короткими текстами, буде надійним, коли стикається з довшими, більш складними вхідними даними.

Основне

Розробка штучного інтелекту завжди фокусувалася на визначенні обмежень та знаходженні способів їх подолання. Проблема “загубленої в середині” – це значна вада великих мовних моделей, де вони схильні пропускати інформацію в середині довгих текстових послідовностей. Ця проблема виникає з упередженостей у архітектурі Transformer, зокрема з взаємодією між кавзальним маскуванням та відносним позиційним кодуванням. Хоча LLM працюють добре з інформацією на початку та в кінці тексту, вони борються, коли важлива інформація знаходиться в середині. Це обмеження може знижувати точність LLM у завданнях, таких як підсумкування документів та питання-відповідь, що може мати серйозні наслідки у галузях, таких як право та медицина. Розробники та дослідники повинні вирішити цю проблему, щоб покращити надійність LLM у практичних застосуваннях. ils are placed in the middle. This limitation can reduce the accuracy of LLMs in tasks like document summarization and question answering, which can have serious implications in fields like law and medicine. Developers and researchers must resolve this issue to improve the reliability of LLMs in practical applications.