Преодоление галлюцинаций LLM с помощью поисковой дополненной генерации (RAG)

Большие языковые модели (LLM) революционизируют то, как мы обрабатываем и воспроизводим язык, но они несовершенны. Подобно тому, как люди могут видеть фигуры в облаках или лица на Луне, LLM также могут «галлюцинировать», создавая неточную информацию. Это явление, известное как LLM-галлюцинации, вызывает растущую озабоченность по мере расширения использования программ LLM.

Ошибки могут сбить с толку пользователей, а в некоторых случаях даже привести к юридическим проблемам для компаний. Например, в 2023 году ветеран ВВС Джеффри Баттл (известный как Профессор аэрокосмической отрасли) подал иск против Microsoft когда он обнаружил, что поиск Bing от Microsoft на основе ChatGPT иногда дает фактически неточную и компрометирующую информацию при поиске по его имени. Поисковая система путает его с осужденным уголовником Джеффри Леоном Баттлом.

Чтобы справиться с галлюцинациями, Поисково-дополненная генерация (RAG) стала многообещающим решением. Оно использует данные из внешних баз данных для повышения точности результатов и достоверности результатов LLM. Давайте подробнее рассмотрим, как RAG делает LLM более точными и надёжными. Мы также обсудим, может ли RAG эффективно бороться с галлюцинациями у LLM.

Понимание галлюцинаций LLM: причины и примеры

LLM, включая такие известные модели, как ChatGPT, ЧатGLM и Клод, обучаются на обширных текстовых наборах данных, но не застрахованы от выдачи фактически неверных результатов — явления, называемого «галлюцинациями». Галлюцинации возникают, потому что LLM обучаются создавать осмысленные ответы на основе базовых языковых правил, независимо от их фактической точности.

A исследование Тидио обнаружили, что, хотя 72% пользователей считают LLM надежными, 75% хотя бы один раз получали неверную информацию от ИИ. Даже самые многообещающие модели LLM, такие как GPT-3.5 и GPT-4, иногда могут создавать неточный или бессмысленный контент.

Вот краткий обзор распространенных типов галлюцинаций LLM:

Распространенные типы галлюцинаций ИИ:

1. Исходное объединение: Это происходит, когда модель объединяет детали из разных источников, что приводит к противоречиям или даже к сфабрикованным источникам.
2. Фактические ошибки: Степень магистра права может быть связана с созданием контента, основанного на неточных фактах, особенно учитывая присущую Интернету неточность.
3. Бессмысленная информация: LLM предсказывают следующее слово, основываясь на вероятности. Это может привести к грамматически правильному, но бессмысленному тексту, вводя пользователей в заблуждение относительно достоверности контента.

В прошлом годуДва юриста столкнулись с возможными санкциями за упоминание шести несуществующих дел в своих юридических документах, введенных в заблуждение информацией, сгенерированной ChatGPT. Этот пример подчеркивает важность критического подхода к контенту, созданному LLM, подчеркивая необходимость проверки для обеспечения надежности. Хотя его творческий потенциал приносит пользу таким приложениям, как рассказывание историй, он создает проблемы для задач, требующих строгого соблюдения фактов, таких как проведение научных исследований, написание отчетов о медицинском и финансовом анализе и предоставление юридических консультаций.

Поиск решения проблемы галлюцинаций LLM: как работает технология дополненной генерации (RAG)

В 2020 году Исследователи LLM представил технику под названием Извлечение дополненной генерации (RAG) для смягчения галлюцинаций LLM за счет интеграции внешнего источника данных. В отличие от традиционных LLM, которые полагаются исключительно на предварительно полученные знания, модели LLM на основе RAG генерируют фактически точные ответы путем динамического извлечения соответствующей информации из внешней базы данных перед ответом на вопросы или генерацией текста.

Структура процесса RAG:

Этапы процесса RAG: Источник

Шаг 1: Получение

Система ищет в конкретной базе знаний информацию, связанную с запросом пользователя. Например, если кто-то спрашивает о последнем победителе чемпионата мира по футболу, система ищет наиболее релевантную информацию о футболе.

Шаг 2: Увеличение

Затем исходный запрос дополняется найденной информацией. На примере футбола запрос «Кто выиграл чемпионат мира по футболу?» обновляется конкретными деталями, такими как «Аргентина выиграла чемпионат мира по футболу».

Шаг 3: Генерация

Благодаря расширенному запросу LLM генерирует подробный и точный ответ. В нашем случае ответ будет основан на дополненной информации о победе Аргентины на чемпионате мира.

Этот метод помогает уменьшить неточности и обеспечивает большую надежность ответов LLM, основанных на точных данных.

Плюсы и минусы RAG в уменьшении галлюцинаций

RAG показала себя многообещающе в уменьшении галлюцинаций путем исправления процесса генерации. Этот механизм позволяет моделям RAG предоставлять более точную, актуальную и контекстуально соответствующую информацию.

Конечно, обсуждение извлеченной дополненной генерации (RAG) в более общем смысле позволяет более широко понять ее преимущества и ограничения в различных реализациях.

Преимущества РАГ:

• Улучшенный поиск информации: RAG быстро находит точную информацию из больших источников данных.
• Улучшенный контент: Он создает четкий, хорошо подобранный контент для того, что нужно пользователям.
• Гибкое использование: Пользователи могут настроить RAG в соответствии со своими конкретными требованиями, например, используя собственные источники данных, что повышает эффективность.

Проблемы РАГ:

• Требуются конкретные данные: Точное понимание контекста запроса для предоставления актуальной и точной информации может быть затруднено.
• Масштабируемость. Расширить модель для обработки больших наборов данных и запросов при сохранении производительности сложно.
• Постоянное обновление: Автоматическое обновление набора данных знаний новейшей информацией требует больших ресурсов.

Изучение альтернатив RAG

Помимо RAG, есть еще несколько многообещающих методов, позволяющих исследователям LLM уменьшить галлюцинации:

• G-EVAL: Проверяет точность сгенерированного контента с помощью проверенного набора данных, повышая надежность.
• СамопроверкаGPT: Автоматически проверяет и исправляет собственные ошибки, обеспечивая точность и согласованность результатов.
• Быстрая инженерия: Помогает пользователям разрабатывать точные подсказки для ввода, которые помогают моделям получать точные и релевантные ответы.
• Тонкая настройка: Настраивает модель на наборы данных для конкретных задач для повышения производительности в конкретной области.
• ЛоРА (Адаптация низкого ранга): Этот метод изменяет небольшую часть параметров модели для адаптации к конкретной задаче, повышая эффективность.

Исследование RAG и его альтернатив подчеркивает динамичный и многогранный подход к повышению точности и надежности LLM. По мере нашего продвижения, постоянные инновации в таких технологиях, как RAG, необходимы для решения проблем, присущих галлюцинациям LLM.

Чтобы быть в курсе последних разработок в области искусственного интеллекта и машинного обучения, включая углубленный анализ и новости, посетите unite.ai.