3 способи збереження свіжості застарілих фактів у великих мовних моделях

Великі мовні моделі (LLM) типу GPT3, ChatGPT і BARD зараз у центрі уваги. Кожен має свою думку про те, як ці інструменти хороші чи погані для суспільства, і що вони означають для майбутнього штучного інтелекту. Google отримав багато критики за свою нову модель BARD, яка неправильно відповіла на складне питання (трохи). Коли її запитали: “Які нові відкриття з космічного телескопа Джеймса Вебба можна розповісти моєму 9-річному синові?” – чат-бот дав три відповіді, з яких 2 були правильними, а 1 – неправильною. Неправильна відповідь була така, що перше зображення екзопланети було зроблено JWST, що було неправильно. Отже, модель мала неправильний факт, збережений у своїй базі знань. Для того щоб великі мовні моделі були ефективними, нам потрібно знайти спосіб оновити ці факти або доповнити їх новими знаннями.

Давайте спочатку розглянемо, як факти зберігаються всередині великої мовної моделі (LLM). Великі мовні моделі не зберігають інформацію та факти традиційним способом, як бази даних або файли. Натомість вони були навчені на величезних обсягах текстових даних і вивчили закономірності та відносини в цих даних. Це дозволяє їм генерувати відповіді, подібні до людських, на запитання, але вони не мають конкретного місця для зберігання вивченої інформації. Коли модель відповідає на питання, вона використовує свій досвід для генерації відповіді на основі вхідних даних. Інформація та знання, які має мовна модель, є результатом закономірностей, які вона вивчила в даних, на яких була навчена, а не результатом явного зберігання в пам’яті моделі. Архітектура Transformers, на якій базуються більшість сучасних LLM, має внутрішнє кодування фактів, яке використовується для відповіді на запитання, задане в промпті.

Отже, якщо факти всередині внутрішньої пам’яті LLM застаріли або неправильні, потрібно надати нову інформацію через промпт. Промпт – це текст, надісланий до LLM з запитом і підтримуючими доказами, які можуть бути новими або виправленими фактами. Ось 3 способи підходу до цього.

1. Один зі способів виправлення закодованих фактів LLM – це надання нових фактів, що стосуються контексту, за допомогою зовнішньої бази знань. Ця база знань може бути API-запитами для отримання відповідної інформації або пошуком у базі даних SQL, No-SQL або векторній базі даних. Більш просунуте знання можна витягнути з графу знань, який зберігає дані та відносини між ними. В залежності від інформації, яку користувач запитує, відповідну контекстну інформацію можна отримати та надати як додаткові факти LLM. Ці факти також можуть бути відформатовані для того, щоб вони виглядали як приклади навчання для поліпшення процесу навчання. Наприклад, можна передати набір пар питань і відповідей, щоб модель могла вивчити, як давати відповіді.

2. Більш інноваційний (і більш дорогий) спосіб доповнення LLM – це фактичне тонке налаштування за допомогою навчальних даних. Натомість ніж запитувати базу знань для отримання конкретних фактів для додавання, ми будемо створювати навчальний набір даних, вибірково використовуючи базу знань. За допомогою методів наглядового навчання, таких як тонке налаштування, ми могли б створити нову версію LLM, навчену на цьому додатковому знанні. Цей процес зазвичай дорогий і може коштувати кілька тисяч доларів для створення та підтримки тонко налаштованої моделі в OpenAI. При цьому очікується, що вартість буде зменшуватися з часом.

3. Інший варіант – використання методів, таких як навчання з підкріпленням (RL), для навчання агента з людською оцінкою та вивчення політики для відповідей на запитання. Цей метод був дуже ефективним у створенні моделей з меншим обсягом, які добре працюють на конкретних завданнях. Наприклад, знаменитий ChatGPT, випущений OpenAI, був навчений на поєднанні наглядового навчання та RL з людською оцінкою.

У підсумку, це дуже швидко розвивається галузь, у яку хочуть увійти всі великі компанії, щоб показати свою перевагу. Ми скоро побачимо великі інструменти LLM у більшості галузей, таких як роздрібна торгівля, охорона здоров’я та банківська справа, які можуть відповідати на запитання людською мовою, розуміючи нюанси мови. Ці інструменти LLM, інтегровані з корпоративними даними, можуть оптимізувати доступ та надавати правильні дані правильним людям у правильний час.