Являются ли RAG решением проблемы галлюцинаций искусственного интеллекта?

ИИ по замыслу имеет «собственный разум». Одним из недостатков этого является то, что модели генеративного ИИ иногда фальсифицируют информацию в виде феномена, называемого «галлюцинации ИИ», один из первых примеров которого оказался в центре внимания, когда судья из Нью-Йорка выговор юристов за использование написанного ChatGPT юридического заключения со ссылками на несуществующие судебные дела. Совсем недавно были случаи, когда поисковые системы, созданные ИИ, предлагали пользователям потреблять камни для пользы для здоровья или использовать нетоксичные клей чтобы сыр прилип к пицце.

Поскольку GenAI становится все более повсеместным, его последователям важно осознавать, что на данный момент галлюцинации являются неизбежный аспект решений GenAI. Эти решения, построенные на больших языковых моделях (LLM), часто основаны на огромном количестве разрозненных источников, которые могут содержать по крайней мере некоторую неточную или устаревшую информацию – эти сфабрикованные ответы составляют между 3% и 10% ответов, генерируемых чат-ботом с искусственным интеллектом, на запросы пользователей. В свете ИИ «черный ящик«Природа – в которой нам, людям, чрезвычайно трудно понять, как именно ИИ генерирует свои результаты – разработчикам практически невозможно отследить и понять эти галлюцинации.

Неизбежны они или нет, галлюцинации ИИ в лучшем случае разочаровывают, в худшем — опасны и неэтичны.

Во многих секторах, включая здравоохранение, финансы и общественную безопасность, последствия галлюцинаций включают в себя все: от распространения дезинформации и компрометации конфиденциальных данных до даже опасных для жизни происшествий. Если галлюцинации и дальше останутся без контроля, благополучие пользователей и доверие общества к системам ИИ окажутся под угрозой.

Таким образом, крайне важно, чтобы управляющие этой мощной технологией осознавали и устраняли риски галлюцинаций ИИ, чтобы обеспечить достоверность результатов, генерируемых LLM.

ТТРЯКИ как отправная точка в решении галлюцинаций

Одним из методов, который вышел на первый план в уменьшении галлюцинаций, является генерация с расширенным поиском, или ТРЯПКА. Это решение повышает надежность LLM за счет интеграции внешних хранилищ информации – извлечения соответствующей информации из доверенной базы данных, выбранной в соответствии с характером запроса – для обеспечения более надежных ответов на конкретные запросы.

Некоторые отрасли эксперты предположили, что только RAG может решить проблему галлюцинаций. Однако базы данных, интегрированные с RAG, по-прежнему могут содержать устаревшие данные, которые могут генерировать ложную или вводящую в заблуждение информацию. В некоторых случаях интеграция внешних данных через RAG может даже увеличить вероятность галлюцинаций в больших языковых моделях: если модель ИИ непропорционально полагается на устаревшую базу данных, воспринимает Поскольку данные полностью обновлены, степень галлюцинаций может стать еще более серьезной.

AI Guardrails – устранение пробелов RAG

Как видите, RAG действительно обещают уменьшить галлюцинации ИИ. Однако отрасли и предприятия, обращающиеся к этим решениям, должны также понимать присущие им ограничения. Действительно, при использовании в тандеме с RAGs существуют дополнительные методы, которые следует использовать при лечении галлюцинаций LLM.

Например, предприятия могут использовать ИИ в реальном времени. защитное ограждение для обеспечения ответов LLM и смягчения галлюцинаций ИИ. Guardrails действует как сеть, которая проверяет все результаты LLM на наличие сфабрикованного, непристойного или не относящегося к теме контента, прежде чем он достигнет пользователей. Этот упреждающий подход промежуточного программного обеспечения обеспечивает надежность и актуальность поиска в системах RAG, что в конечном итоге повышает доверие среди пользователей и обеспечивает безопасное взаимодействие, соответствующее бренду компании.

В качестве альтернативы существует подход «быстрого проектирования», который требует от инженера изменения главного приглашения серверной части. Добавляя заранее определенные ограничения к приемлемым подсказкам (другими словами, отслеживая не только то, откуда LLM получает информацию, но и то, как пользователи запрашивают у него ответы), разработанные подсказки могут направить LLM к более надежным результатам. Основным недостатком этого подхода является то, что этот тип оперативного проектирования может оказаться невероятно трудоемкой задачей для программистов, у которых часто уже не хватает времени и ресурсов.

Подход «тонкой настройки» предполагает обучение LLM на специализированных наборах данных для улучшить производительность и снизить риск галлюцинаций. Этот метод обучает LLM, специализирующихся на конкретных задачах, извлекать данные из конкретных, надежных доменов, повышая точность и надежность результатов.

Также важно учитывать влияние длины входных данных на эффективность рассуждений LLM — действительно, многие пользователи склонны думать, что чем более обширным и заполненным параметрами является их подсказка, тем более точными будут выходные данные. Однако один Недавнее исследование выяснилось, что точность результатов LLM на самом деле уменьшается по мере увеличения входной длины. Следовательно, увеличение количества указаний, назначенных для любого заданного запроса, не гарантирует постоянной надежности при создании надежных генеративных приложений ИИ.

Это явление, известное как перегрузка подсказок, подчеркивает риски, присущие слишком сложным конструкциям подсказок: чем шире формулируется подсказка, тем больше дверей открывается для неточной информации и галлюцинаций, поскольку LLM пытается выполнить каждый параметр.

Быстрый инжиниринг требует постоянных обновлений и тонкой настройки и до сих пор не может эффективно предотвратить галлюцинации или бессмысленные реакции. С другой стороны, ограждения не создают дополнительного риска, связанного с сфабрикованными результатами, что делает их привлекательным вариантом для защиты ИИ. В отличие от оперативного проектирования, Guardrails предлагает комплексное решение в режиме реального времени, которое гарантирует, что генеративный ИИ будет создавать результаты только в пределах заранее определенных границ.

Хотя это и не является решением само по себе, отзывы пользователей также могут помочь смягчить галлюцинации с помощью таких действий, как «за» и «против», которые помогают уточнить модели, повысить точность результатов и снизить риск галлюцинаций.

Сами по себе решения RAG требуют обширных экспериментов для достижения точных результатов. Но в сочетании с точной настройкой, быстрым проектированием и ограждениями они могут предложить более целенаправленные и эффективные решения для борьбы с галлюцинациями. Изучение этих дополнительных стратегий будет продолжать улучшать смягчение галлюцинаций в LLM, помогая в разработке более надежных и заслуживающих доверия моделей для различных приложений.

RAG не являются решением галлюцинаций ИИ

Решения RAG приносят огромную пользу LLM, обогащая их внешними знаниями. Но поскольку о генеративном ИИ еще так много неизвестно, галлюцинации остаются неотъемлемой проблемой. Ключ к борьбе с ними заключается не в попытках их устранить, а, скорее, в смягчении их влияния с помощью сочетания стратегических ограждений, процессов проверки и точно настроенных подсказок.

Чем больше мы сможем доверять тому, что говорит нам GenAI, тем эффективнее и результативнее мы сможем использовать его мощный потенциал.