Преодоление галлюцинаций LLM с помощью Retrieval Augmented Generation (RAG)

Большие языковые модели (LLM) революционизируют то, как мы обрабатываем и генерируем язык, но они не идеальны. Как и люди могут видеть формы в облаках или лица на луне, LLM также могут “галлюцинировать”, создавая информацию, которая не является точной. Это явление, известное как галлюцинации LLM, представляет собой растущую проблему, поскольку использование LLM расширяется.

Ошибки могут сбить с толку пользователей и, в некоторых случаях, даже привести к юридическим проблемам для компаний. Например, в 2023 году ветеран ВВС Джеффри Бэттл (известный как The Aerospace Professor) подал в суд на Microsoft (MSFT ), когда он обнаружил, что поисковая система Bing, работающая на основе ChatGPT, иногда предоставляет фактически неточную и вредную информацию при поиске его имени. Поисковая система путает его с осужденным преступником Джеффри Леоном Бэттлом.

Чтобы решить проблему галлюцинаций, Retrieval-Augmented Generation (RAG) появился как перспективное решение. Он включает знания из внешних баз данных для повышения точности и достоверности результатов LLM. Давайте рассмотрим, как RAG делает LLM более точными и надежными. Мы также обсудим, может ли RAG эффективно противостоять проблеме галлюцинаций LLM.

Понимание галлюцинаций LLM: причины и примеры

LLM, включая известные модели như ChatGPT, ChatGLM и Claude, обучены на обширных текстовых наборах данных, но не являются иммунными к производству фактически неточных выводов, явление, называемое “галлюцинациями”. Галлюцинации происходят, потому что LLM обучены создавать осмысленные ответы на основе лежащих в основе языковых правил, независимо от их фактической точности.

Исследование Tidio показало, что, хотя 72% пользователей считают LLM надежными, 75% получили неверную информацию от ИИ хотя бы один раз. Даже самые перспективные модели LLM, такие как GPT-3.5 и GPT-4, могут иногда производить неточную или бессмысленную информацию.

Вот краткий обзор распространенных типов галлюцинаций LLM:

Общие типы галлюцинаций ИИ:

1. Слияние источников: Это происходит, когда модель объединяет детали из различных источников, что приводит к противоречиям или даже вымышленным источникам.
2. Фактические ошибки: LLM могут генерировать контент с неточной фактической основой, особенно учитывая внутренние неточности интернета.
3. Бессмысленная информация: LLM прогнозируют следующее слово на основе вероятности. Это может привести к грамматически правильному, но бессмысленному тексту, вводящему пользователей в заблуждение относительно авторитета контента.

В прошлом году два адвоката столкнулись с возможными санкциями за ссылку на шесть несуществующих дел в своих юридических документах, введенных в заблуждение информацией, сгенерированной ChatGPT. Этот пример подчеркивает важность критического подхода к контенту, сгенерированному LLM, подчеркивая необходимость проверки для обеспечения надежности. Хотя его творческий потенциал полезен для таких приложений, как рассказывание историй, он представляет проблемы для задач, требующих строгого соблюдения фактов, таких как проведение академических исследований, написание медицинских и финансовых анализов, а также предоставление юридических консультаций.

Изучение решения для галлюцинаций LLM: как работает Retrieval Augmented Generation (RAG)

В 2020 году исследователи LLM представили технику под названием Retrieval-Augmented Generation (RAG) для смягчения галлюцинаций LLM, интегрируя знания из внешних баз данных. В отличие от традиционных LLM, которые полагаются исключительно на свои предварительно обученные знания, модели LLM на основе RAG генерируют фактически точные ответы, динамически извлекая соответствующую информацию из внешней базы данных перед ответом на вопросы или генерацией текста.

Разбор процесса RAG:

Этапы процесса RAG: Источник

Этап 1: Извлечение

Система ищет в конкретной базе знаний информацию, связанную с запросом пользователя. Например, если кто-то спрашивает о последнем победителе чемпионата мира по футболу, она ищет наиболее актуальную информацию о футболе.

Этап 2: Расширение

Оригинальный запрос затем расширяется с помощью найденной информации. Используя пример с футболом, запрос “Кто выиграл чемпионат мира по футболу?” обновляется конкретными деталями, такими как “Аргентина выиграла чемпионат мира по футболу.”

Этап 3: Генерация

С расширенным запросом LLM генерирует подробный и точный ответ. В нашем случае он создаст ответ на основе расширенной информации об Аргентине, выигравшей чемпионат мира.

Этот метод помогает уменьшить неточности и гарантирует, что ответы LLM более надежны и основаны на точных данных.

Преимущества и недостатки RAG в снижении галлюцинаций

RAG показал свою эффективность в снижении галлюцинаций, исправляя процесс генерации. Этот механизм позволяет моделям RAG предоставлять более точную, актуальную и контекстно-релевантную информацию.

Конечно, обсуждение Retrieval Augmented Generation (RAG) в более общем смысле позволяет глубже понять его преимущества и ограничения в различных реализациях.

Преимущества RAG:

• Лучший поиск информации: RAG быстро находит точную информацию из больших источников данных.
• Улучшенный контент: Он создает четкий и хорошо подобранный контент для того, что нужно пользователям.
• Гибкое использование: Пользователи могут настроить RAG в соответствии со своими конкретными требованиями, такими как использование собственных источников данных, повышая эффективность.

Проблемы RAG:

• Требует конкретных данных: Точно понимать контекст запроса, чтобы предоставить релевантную и точную информацию, может быть сложно.
• Масштабируемость: Расширение модели для обработки больших наборов данных и запросов, сохраняя при этом производительность, является сложной задачей.
• Постоянное обновление: Автоматическое обновление базы знаний с последней информацией является ресурсоемким процессом.

Изучение альтернатив RAG

Помимо RAG, есть несколько других перспективных методов, которые позволяют исследователям LLM снижать галлюцинации:

• G-EVAL: Проверяет точность сгенерированного контента с доверенным набором данных, повышая надежность.
• SelfCheckGPT: Автоматически проверяет и исправляет свои собственные ошибки, чтобы поддерживать точность и последовательность.
• Инженерия подсказок: Помогает пользователям проектировать точные входные подсказки, чтобы направлять модели к точным и релевантным ответам.
• Настройка: Настраивает модель для конкретных задач и наборов данных для улучшения производительности в конкретной области.
• LoRA (Низкоранговая адаптация): Этот метод изменяет небольшую часть параметров модели для адаптации к конкретной задаче, повышая эффективность.

Изучение RAG и его альтернатив подчеркивает динамичный и многогранный подход к улучшению точности и надежности LLM. По мере продвижения постоянные инновации в технологиях, таких как RAG, являются необходимыми для решения внутренних проблем галлюцинаций LLM.

Чтобы быть в курсе последних разработок в области ИИ и машинного обучения, включая глубокие анализы и новости, посетите unite.ai.