Являются ли RAG решениями проблемы галлюцинаций ИИ?

ИИ, по своей конструкции, имеет “свой собственный ум”. Одним из недостатков этого является то, что модели генеративного ИИ иногда выдают ложную информацию в явлении, называемом “галлюцинациями ИИ”, одним из самых ранних примеров которого было, когда судья Нью-Йорка отчитал адвокатов за использование юридического документа, написанного с помощью ChatGPT, который ссылался на несуществующие судебные дела. Более недавно были случаи, когда ИИ-генерируемые поисковые системы советовали пользователям употреблять камни для здоровья или использовать нетоксичный клей для того, чтобы помочь сыру прилипнуть к пицце.

По мере того, как GenAI становится все более повсеместным, важно, чтобы пользователи признали, что галлюцинации являются, на данный момент, неизбежным аспектом решений GenAI. Основанные на больших языковых моделях (LLM), эти решения часто основаны на огромных объемах разнообразных источников, которые, скорее всего, содержат хотя бы некоторую неточную или устаревшую информацию – эти выдуманные ответы составляют между 3% и 10% ответов ИИ-чатботов на запросы пользователей. В свете “черного ящика” ИИ – в котором людям чрезвычайно трудно изучить, как именно ИИ генерирует свои результаты, – эти галлюцинации могут быть почти невозможными для разработчиков отследить и понять.

Неизбежные или нет, галлюцинации ИИ разочаровывают в лучшем случае, опасны и неэтичны в худшем.

В различных секторах, включая здравоохранение, финансы и общественную безопасность, последствия галлюцинаций включают все, от распространения дезинформации и компрометации конфиденциальных данных до даже опасных для жизни промахов. Если галлюцинации продолжат оставаться без контроля, благополучие пользователей и доверие к системам ИИ будут поставлены под угрозу.

Таким образом, важно, чтобы хранители этой мощной технологии признали и устранили риски галлюцинаций ИИ, чтобы обеспечить достоверность сгенерированных LLM выводов.

RAG как отправная точка для решения галлюцинаций

Одним из методов, который выдвинулся на первый план в смягчении галлюцинаций, является усиленная генерация с помощью извлечения, или RAG. Это решение повышает надежность LLM за счет интеграции внешних хранилищ информации – извлекая соответствующую информацию из доверенного базы данных, выбранного в зависимости от характера запроса, – чтобы обеспечить более надежные ответы на конкретные запросы.

Некоторые эксперты отрасли полагают, что RAG может самостоятельно решить проблему галлюцинаций. Однако интегрированные базы данных RAG все еще могут содержать устаревшие данные, которые могут генерировать ложную или вводящую в заблуждение информацию. В определенных случаях интеграция внешних данных через RAG может даже увеличить вероятность галлюцинаций в больших языковых моделях: если модель ИИ чрезмерно полагается на устаревшую базу данных, которую она воспринимает как полностью актуальную, степень галлюцинаций может стать еще более серьезной.

Охранники ИИ – мост между пробелами RAG

Как вы можете видеть, RAG действительно обещает смягчить галлюцинации ИИ. Однако отрасли и бизнес, обращающиеся к этим решениям, также должны понять их внутренние ограничения. Действительно, когда RAG используется в сочетании с другими методами, есть дополнительные методологии, которые должны быть использованы при решении проблем галлюцинаций LLM.

Например, бизнес может использовать реальные охранники ИИ охранники, чтобы защитить ответы LLM и смягчить галлюцинации ИИ. Охранники действуют как сеть, которая проверяет все выходные данные LLM на фабрикацию, непристойность или неуместный контент до того, как они достигнут пользователей. Этот проактивный подход среднего уровня обеспечивает надежность и актуальность извлечения в системах RAG, в конечном итоге повышая доверие среди пользователей и гарантируя безопасные взаимодействия, соответствующие бренду компании.

Альтернативно, существует подход “инженерии подсказок”, который требует от инженера изменить мастер-подсказку. Добавляя предопределенные ограничения к допустимым подсказкам – другими словами, контролируя не только то, откуда LLM получает информацию, но и то, как пользователи просят ее о ответах, – инженерные подсказки могут направлять LLM к более надежным результатам. Основной недостаток этого подхода заключается в том, что такая инженерия подсказок может быть невероятно трудоемкой задачей для программистов, которые часто уже испытывают нехватку времени и ресурсов.

Подход “тонкой настройки” включает в себя обучение LLM на специализированных наборах данных для улучшения производительности и смягчения риска галлюцинаций. Этот метод обучает задачеспецифичные LLM для извлечения информации из конкретных доверенных доменов, улучшая точность и надежность выходных данных.

Также важно учитывать влияние длины входных данных на производительность рассуждений LLM – действительно, многие пользователи склонны думать, что чем более обширны и параметризированы их подсказки, тем более точными будут выходные данные. Однако одно недавнее исследование показало, что точность выходных данных LLM на самом деле уменьшается по мере увеличения длины входных данных. Следовательно, увеличение количества руководств, назначенных любой данной подсказке, не гарантирует последовательной надежности при генерации надежных приложений генеративного ИИ.

Это явление, известное как перегрузка подсказок, подчеркивает внутренние риски слишком сложных конструкций подсказок – чем более широкой является формулировка подсказки, тем больше дверей открывается для неточной информации и галлюцинаций, когда LLM пытается выполнить каждый параметр.

Инженерия подсказок требует постоянных обновлений и тонкой настройки и все еще борется с предотвращением галлюцинаций или бессмысленных ответов эффективно. Охранники, с другой стороны, не создают дополнительный риск фабрикованных выходных данных, что делает их привлекательным вариантом для защиты ИИ. В отличие от инженерии подсказок, охранники предлагают всестороннее решение в реальном времени, которое гарантирует, что генеративный ИИ будет создавать выходные данные только в пределах предопределенных границ.

Хотя это не является решением само по себе, обратная связь пользователей также может помочь смягчить галлюцинации с помощью действий, таких как голосование и снижение оценок, которые помогают усовершенствовать модели, повысить точность выходных данных и снизить риск галлюцинаций.

Самостоятельно решения RAG требуют обширных экспериментов, чтобы достичь точных результатов. Но когда они используются в сочетании с тонкой настройкой, инженерией подсказок и охранниками, они могут предложить более целевые и эффективные решения для решения галлюцинаций. Изучение этих дополнительных стратегий продолжит улучшать смягчение галлюцинаций в LLM, способствуя разработке более надежных и заслуживающих доверия моделей в различных приложениях.

RAG не является решением проблемы галлюцинаций ИИ

Решения RAG добавляют огромную ценность LLM, обогащая их внешними знаниями. Но с учетом того, что еще так много неизвестного о генеративном ИИ, галлюцинации остаются внутренним вызовом. Ключ к борьбе с ними лежит не в попытках устранить их, а скорее в смягчении их влияния с помощью комбинации стратегических охранников, процессов проверки и тонко настроенных подсказок.

Чем больше мы можем доверять тому, что говорит нам GenAI, тем более эффективно и результативно мы сможем использовать его мощный потенциал.