Преодоление галлюцинаций LLM с помощью генерации, дополненной поиском (RAG)

Большие языковые модели (LLM) революционизируют то, как мы обрабатываем и генерируем язык, но они не идеальны. Как и люди могут видеть формы в облаках или лица на луне, LLM также могут “галлюцинировать”, создавая информацию, которая не точна. Это явление, известное как галлюцинации LLM, представляет собой растущую проблему, поскольку использование LLM расширяется.

Ошибки могут сбить с толку пользователей и, в некоторых случаях, даже привести к юридическим проблемам для компаний. Например, в 2023 году ветеран ВВС Джеффри Баттл (известный как Профессор аэрокосмической промышленности) подал в суд на Microsoft, когда он обнаружил, что поисковая система Bing, работающая на основе ChatGPT, иногда предоставляет фактически неточную и вредную информацию при поиске его имени. Поисковая система путает его с осужденным преступником Джеффри Леоном Баттлом.

Чтобы решить проблему галлюцинаций, генерация, дополненная поиском (RAG) появилась как перспективное решение. Она включает знания из внешних баз данных для повышения точности и достоверности результатов LLM. Давайте рассмотрим, как RAG делает LLM более точными и надежными. Мы также обсудим, может ли RAG эффективно противостоять проблеме галлюцинаций LLM.

Понимание галлюцинаций LLM: причины и примеры

LLM, включая известные модели как ChatGPT, ChatGLM и Claude, обучены на обширных текстовых наборах данных, но не застрахованы от создания фактически неправильных выходных данных, явления, называемого “галлюцинациями”. Галлюцинации происходят, потому что LLM обучены создавать осмысленные ответы на основе лежащих в основе языковых правил, независимо от их фактической точности.

Исследование Tidio показало, что, хотя 72% пользователей считают LLM надежными, 75% получали неправильную информацию от ИИ хотя бы раз. Даже самые перспективные модели LLM, такие как GPT-3.5 и GPT-4, иногда могут производить неточную или бессмысленную информацию.

Вот краткий обзор распространенных типов галлюцинаций LLM:

Распространенные типы галлюцинаций ИИ:

1. Слияние источников: Это происходит, когда модель объединяет детали из различных источников, что приводит к противоречиям или даже фабрикованным источникам.
2. Фактические ошибки: LLM могут генерировать контент с неточной фактической основой, особенно учитывая врожденную неточность интернета.
3. Бессмысленная информация: LLM прогнозируют следующее слово на основе вероятности. Это может привести к грамматически правильному, но бессмысленному тексту, вводящему пользователей в заблуждение относительно авторитета контента.

В прошлом году два юриста столкнулись с возможными санкциями за ссылку на шесть несуществующих дел в своих юридических документах, введенных в заблуждение информацией, сгенерированной ChatGPT. Этот пример подчеркивает важность критического подхода к контенту, сгенерированному LLM, подчеркивая необходимость верификации для обеспечения надежности. Хотя его творческий потенциал полезен для таких приложений, как рассказывание историй, он представляет проблемы для задач, требующих строгого соблюдения фактов, таких как проведение академических исследований, написание медицинских и финансовых аналитических отчетов и предоставление юридических консультаций.

Изучение решения для галлюцинаций LLM: как работает генерация, дополненная поиском (RAG)

В 2020 году исследователи LLM представили технику, называемую генерацией, дополненной поиском (RAG), для смягчения галлюцинаций LLM, включая знания из внешних источников данных. В отличие от традиционных LLM, которые полагаются только на свои предварительно обученные знания, модели LLM на основе RAG генерируют фактически точные ответы, динамически извлекая соответствующую информацию из внешней базы данных перед ответом на вопросы или генерацией текста.

Разбивка процесса RAG:

Этапы процесса RAG: Источник

Этап 1: Поиск

Система ищет конкретную базу знаний для информации, связанной с запросом пользователя. Например, если кто-то спрашивает о последнем победителе чемпионата мира по футболу, она ищет наиболее актуальную информацию о футболе.

Этап 2: Дополнение

Оригинальный запрос затем дополняется найденной информацией. Используя пример с футболом, запрос “Кто выиграл чемпионат мира по футболу?” дополняется конкретными деталями, такими как “Аргентина выиграла чемпионат мира по футболу”.

Этап 3: Генерация

С обогащенным запросом LLM генерирует подробный и точный ответ. В нашем случае она создаст ответ на основе дополненной информации о победе Аргентины в чемпионате мира.

Этот метод помогает уменьшить неточности и обеспечивает, что ответы LLM более надежны и основаны на точных данных.

Преимущества и недостатки RAG в снижении галлюцинаций

RAG показала перспективы в снижении галлюцинаций, исправляя процесс генерации. Этот механизм позволяет моделям RAG предоставлять более точную, актуальную и контекстно-релевантную информацию.

Конечно, обсуждение генерации, дополненной поиском (RAG), в более общем смысле позволяет получить более широкое понимание ее преимуществ и ограничений в различных реализациях.

Преимущества RAG:

• Лучший поиск информации: RAG быстро находит точную информацию из больших источников данных.
• Улучшенный контент: Она создает четкий, хорошо подобранный контент для того, что нужно пользователям.
• Гибкое использование: Пользователи могут настроить RAG под свои конкретные требования, такие как использование своих собственных источников данных, повышая эффективность.

Проблемы RAG:

• Требует конкретных данных: Точно понимать контекст запроса, чтобы предоставить релевантную и точную информацию, может быть трудно.
• Масштабируемость: Расширение модели для обработки больших наборов данных и запросов, сохраняя при этом производительность, является трудной задачей.
• Постоянное обновление: Автоматическое обновление базы знаний с последней информацией является ресурсоемким.

Изучение альтернатив RAG

Помимо RAG, есть несколько других перспективных методов, которые позволяют исследователям LLM снижать галлюцинации:

• G-EVAL: Проверяет точность сгенерированного контента с доверенным набором данных, повышая надежность.
• SelfCheckGPT: Автоматически проверяет и исправляет свои собственные ошибки, чтобы поддерживать точность и последовательность выходных данных.
• Инженерия подсказок: Помогает пользователям проектировать точные входные подсказки, чтобы направлять модели к точным и релевантным ответам.
• Настройка: Настраивает модель для конкретных задач и наборов данных для улучшения домен-специфической производительности.
• LoRA (Низкоранговая адаптация): Этот метод изменяет небольшую часть параметров модели для адаптации к конкретной задаче, повышая эффективность.

Изучение RAG и ее альтернатив подчеркивает динамичный и многогранный подход к улучшению точности и надежности LLM. По мере нашего продвижения непрерывные инновации в технологиях, таких как RAG, имеют решающее значение для решения внутренних проблем галлюцинаций LLM.

Чтобы быть в курсе последних разработок в области ИИ и машинного обучения, включая глубокие анализы и новости, посетите unite.ai.