Переборювання галюцинацій LLM за допомогою генерації, доповненої пошуком (RAG)

Моделі великої мови (LLM) революціонізують спосіб обробки та генерації мови, але вони не досконалі. Як і люди можуть бачити форми в хмарах або обличчя на місяці, LLM також можуть “галюцинувати”, створюючи інформацію, яка не є точною. Це явище, відоме як галюцинації LLM, становить зростаючу проблему, оскільки використання LLM розширюється.

Помилки можуть плутати користувачів, а в деяких випадках навіть привести до юридичних проблем для компаній. Наприклад, у 2023 році ветеран ВПС Джεφфрі Баттл (відомий як Професор аерокосмічної промисловості) подав до суду на Microsoft, коли він виявив, що пошук Bing, що працює на основі ChatGPT, іноді надає фактично неточну і шкідливу інформацію про його ім’я. Пошукова система плутає його з засудженим злочинцем Джεφфрі Леоном Баттлом.

Щоб подолати галюцинації, генерація, доповнена пошуком (RAG) виникла як перспективне рішення. Вона включає знання з зовнішніх баз даних для підвищення точності та достовірності результатів LLM. Давайте розглянемо, як RAG робить LLM більш точними та надійними. Ми також обговоримо, чи може RAG ефективно протидіяти проблемі галюцинацій LLM.

Розуміння галюцинацій LLM: причини та приклади

LLM, включаючи відомі моделі, такі як ChatGPT, ChatGLM та Claude, тренуються на великих текстових наборах даних, але не є імунними до генерації фактично неправильних виходів, явище, яке називається “галюцинаціями”. Галюцинації відбуваються, оскільки LLM тренуються для створення значимих відповідей на основі мовних правил, незалежно від їх фактичної точності.

Дослідження Tidio виявило, що, хоча 72% користувачів вважають LLM надійними, 75% отримали неправильну інформацію від штучного інтелекту щонайменше один раз. Навіть найперспективніші моделі LLM, такі як GPT-3.5 і GPT-4, іноді можуть генерувати неточну або безглузду інформацію.

Ось короткий огляд поширених типів галюцинацій LLM:

Поширені типи галюцинацій штучного інтелекту:

1. Злиття джерел: Це відбувається, коли модель об’єднує деталі з різних джерел, що призводить до суперечностей або навіть вигаданих джерел.
2. Фактичні помилки: LLM можуть генерувати вміст з неточною фактичною основою, особливо враховуючи внутрішні неточності інтернету
3. Безглузда інформація: LLM передбачає наступне слово на основі ймовірності. Це може призвести до граматично правильного, але безглуздого тексту, що вводить користувачів в оману щодо авторитету вмісту.

Минулого року два юристи могли бути покарані за посилання на шість неіснуючих справ у своїх юридичних документах, обмануті інформацією, згенерованою ChatGPT. Цей приклад підкреслює важливість критичного підходу до вмісту, згенерованого LLM, підкреслюючи необхідність верифікації для забезпечення надійності. Хоча його творчий потенціал приносить користь застосуванням, таким як розповідання історій, він створює проблеми для завдань, які вимагають суворого дотримання фактів, таких як проведення академічних досліджень, написання медичних та фінансових аналізів та надання юридичних порад.

Дослідження рішення для галюцинацій LLM: як працює генерація, доповнена пошуком (RAG)

У 2020 році дослідники LLM ввели техніку під назвою генерація, доповнена пошуком (RAG), щоб пом’якшити галюцинації LLM, інтегруючи знання з зовнішніх баз даних. На відміну від традиційних LLM, які покладаються лише на свої попередньо натреновані знання, моделі LLM на основі RAG генерують фактично точні відповіді, динамічно витягуючи відповідну інформацію з зовнішньої бази даних перед відповіддю на питання або генерацією тексту.

Розбивка процесу RAG:

Кроки процесу RAG: Джерело

Крок 1: Пошук

Система шукає певну базу знань для інформації, пов’язаної з запитом користувача. Наприклад, якщо хтось питає про останнього переможця чемпіонату світу з футболу, вона шукає найбільш актуальну інформацію про футбол.

Крок 2: Доповнення

Оригінальний запит потім доповнюється інформацією, знайденою. Використовуючи приклад футболу, запит “Хто виграв чемпіонат світу з футболу?” оновлюється конкретними деталями, такими як “Аргентина виграла чемпіонат світу з футболу.”

Крок 3: Генерація

З доповненим запитом LLM генерує детальну та точну відповідь. У нашому випадку вона створить відповідь на основі доповненої інформації про те, що Аргентина виграла чемпіонат світу.

Цей метод допомагає зменшити неточності та забезпечує, щоб відповіді LLM були більш надійними та ґрунтувалися на точних даних.

Переваги та недоліки RAG у зменшенні галюцинацій

RAG показала перспективи у зменшенні галюцинацій, виправляючи процес генерації. Цей механізм дозволяє моделям RAG надавати більш точну, актуальну та контекстно-відповідну інформацію.

Звичайно, обговорення генерації, доповненої пошуком (RAG), у більш широкому сенсі дозволяє глибше зрозуміти її переваги та обмеження в різних реалізаціях.

Переваги RAG:

• Кращий пошук інформації: RAG швидко знаходить точну інформацію з великих джерел даних.
• Покращений вміст: Вона створює чіткий, добре підібраний вміст для того, що потрібно користувачам.
• Гнучке використання: Користувачі можуть налаштувати RAG для своїх конкретних вимог, таких як використання власних джерел даних, підвищення ефективності.

Виклики RAG:

• Потрібна конкретна інформація: Точно зрозуміти контекст запиту для надання відповідної та точної інформації може бути складним.
• Масштабованість: Розширення моделі для обробки великих наборів даних та запитів при збереженні продуктивності є складним.
• Постійне оновлення: Автоматичне оновлення бази знань останньою інформацією є ресурсоємким.

Дослідження альтернатив RAG

Окрім RAG, тут є кілька інших перспективних методів, які дозволяють дослідникам LLM зменшити галюцинації:

• G-EVAL: Перевірка точності згенерованого вмісту з довіреним набором даних для підвищення надійності.
• SelfCheckGPT: Автоматично перевіряє та виправляє свої помилки для підтримання точності та узгодженості виходів.
• Інженерія запитів: Допомагає користувачам проектувати точні вхідні запити для направлення моделей до точних та відповідних відповідей.
• Файн-тюнінг: Налаштовує модель для наборів даних, специфічних для завдання, для покращення результатів у конкретній галузі.
• LoRA (Низькорангове адаптування): Цей метод змінює невелику частину параметрів моделі для адаптації до завдання, підвищуючи ефективність.

Дослідження RAG та її альтернатив підкреслює динамічний та багатовимірний підхід до покращення точності та надійності LLM. По мірі нашого розвитку, постійна інновація у технологіях, таких як RAG, є важливою для вирішення вбудованих проблем галюцинацій LLM.

Щоб бути в курсі останніх розробок у сфері штучного інтелекту та машинного навчання, включаючи глибокі аналізи та новини, відвідайте unite.ai.