Являются ли RAGs решением проблемы зрительных обманов ИИ?

ИИ, по своей конструкции, имеет “свой собственный ум”. Одним из недостатков этого является то, что генеративные модели ИИ время от времени фабрикуют информацию в явлении, называемом “зрительными обманами ИИ”, одним из первых примеров которого стал случай, когда судья Нью-Йорка отчитал юристов за использование юридического документа, написанного с помощью ChatGPT, который ссылался на несуществующие судебные дела. Более недавно были случаи, когда ИИ-генерируемые поисковые системы советовали пользователям употреблять камни для здоровья или использовать нетоксичный клей, чтобы помочь сыру прилипнуть к пицце.

По мере того, как GenAI становится все более повсеместным, важно, чтобы те, кто его принимает, признали, что зрительные обманы являются, на данный момент, неизбежным аспектом решений GenAI. Основанные на больших языковых моделях (LLM), эти решения часто информируются огромными объемами разнообразных источников, которые, скорее всего, содержат хотя бы некоторую неточную или устаревшую информацию – эти фабрикованные ответы составляют от 3% до 10% ответов ИИ-чатботов на запросы пользователей. В свете “чёрного ящика” ИИ – в котором, как людям, нам чрезвычайно трудно изучить, как именно ИИ генерирует свои результаты, – эти зрительные обманы могут быть почти невозможными для разработчиков отслеживать и понимать.

Неизбежные или нет, зрительные обманы ИИ являются раздражающими в лучшем случае, опасными и неэтичными в худшем случае.

В различных секторах, включая здравоохранение, финансы и общественную безопасность, последствия зрительных обманов включают все, от распространения дезинформации и компрометации конфиденциальных данных до даже опасных для жизни промахов. Если зрительные обманы продолжат оставаться без внимания, благополучие пользователей и доверие общества к системам ИИ будут поставлены под угрозу.

Таким образом, важно, чтобы хранители этой мощной технологии признали и устранили риски зрительных обманов ИИ, чтобы обеспечить достоверность выходных данных, сгенерированных LLM.

RAGs как отправная точка для решения зрительных обманов

Одним из методов, который выдвинулся на первый план в смягчении зрительных обманов, является усиленная генерация, или RAG. Это решение повышает надежность LLM за счет интеграции внешних хранилищ информации – извлекая соответствующую информацию из доверенного базы данных, выбранного в соответствии с характером запроса, – чтобы обеспечить более надежные ответы на конкретные запросы.

Некоторые эксперты отрасли полагают, что RAG alone может решить зрительные обманы. Но базы данных, интегрированные с RAG, все еще могут содержать устаревшие данные, которые могут генерировать ложную или вводящую в заблуждение информацию. В определенных случаях интеграция внешних данных через RAG может даже увеличить вероятность зрительных обманов в больших языковых моделях: если модель ИИ чрезмерно полагается на устаревшую базу данных, которую она воспринимает как полностью актуальную, степень зрительных обманов может стать еще более серьезной.

Охранники ИИ – мост между разрывами RAG

Как вы можете видеть, RAGs действительно держат обещание смягчения зрительных обманов ИИ. Однако отрасли и предприятия, обращающиеся к этим решениям, также должны понять их внутренние ограничения. Действительно, когда RAG используется в тандеме с другими методами, есть дополнительные методологии, которые должны быть использованы при решении зрительных обманов LLM.

Например, предприятия могут использовать реальные охранники ИИ охранники, чтобы обеспечить выходные данные LLM и смягчить зрительные обманы ИИ. Охранники действуют как сеть, которая проверяет все выходные данные LLM на фабрикованный, непристойный или неуместный контент до того, как он достигнет пользователей. Этот проактивный подход middleware обеспечивает надежность и актуальность извлечения в системах RAG, в конечном итоге повышая доверие среди пользователей и обеспечивая безопасные взаимодействия, соответствующие бренду компании.

Альтернативно, существует подход “инженерия запросов”, который требует от инженера изменить мастер-запрос бэкэнда. Добавляя предопределенные ограничения к допустимым запросам – другими словами, контролируя не только, откуда LLM получает информацию, но и как пользователи просят ее о ответах, – инженерные запросы могут направлять LLM к более надежным результатам. Основной недостаток этого подхода заключается в том, что этот тип инженерии запросов может быть чрезвычайно трудоемкой задачей для программистов, которые часто уже испытывают нехватку времени и ресурсов.

Подход “тонкая настройка” включает в себя обучение LLM на специализированных наборах данных для улучшения производительности и смягчения риска зрительных обманов. Этот метод обучает задачи-специализированные LLM, чтобы извлекать информацию из конкретных, доверенных доменов, улучшая точность и надежность выходных данных.

Также важно учитывать влияние длины входных данных на производительность рассуждений LLM – действительно, многие пользователи склонны думать, что чем более обширный и заполненный параметрами их запрос, тем более точными будут выходные данные. Однако одно недавнее исследование показало, что точность выходных данных LLM на самом деле уменьшается, когда длина входных данных увеличивается. Следовательно, увеличение количества руководств, назначенных любому данному запросу, не гарантирует последовательную надежность при генерации надежных генеративных приложений ИИ.

Это явление, известное как перегрузка запроса, подчеркивает внутренние риски слишком сложных конструкций запросов – чем более широко сформулирован запрос, тем больше дверей открывается для неточной информации и зрительных обманов, когда LLM спешит выполнить каждый параметр.

Инженерия запросов требует постоянных обновлений и тонкой настройки и все еще борется с предотвращением зрительных обманов или бессмысленных ответов эффективно. Охранники, с другой стороны, не создадут дополнительный риск фабрикованных выходных данных, что делает их привлекательным вариантом для защиты ИИ. В отличие от инженерии запросов, охранники предлагают всеобъемлющее решение в реальном времени, которое гарантирует, что генеративный ИИ будет создавать выходные данные только в пределах предопределенных границ.

Хотя не решение само по себе, обратная связь пользователя также может помочь смягчить зрительные обманы с помощью действий, таких как голосования и оценки, помогающие уточнить модели, повысить точность выходных данных и снизить риск зрительных обманов.

Самостоятельно RAG-решения требуют обширных экспериментов, чтобы достичь точных результатов. Но когда они объединены с тонкой настройкой, инженерией запросов и охранниками, они могут предложить более целевые и эффективные решения для решения зрительных обманов. Изучение этих дополнительных стратегий будет продолжать улучшать смягчение зрительных обманов в LLM, способствуя разработке более надежных и заслуживающих доверия моделей в различных приложениях.

RAGs не являются решением зрительных обманов ИИ

RAG-решения добавляют огромную ценность LLM, обогащая их внешними знаниями. Но пока еще так много неизвестного о генеративном ИИ, зрительные обманы остаются внутренним вызовом. Ключ к борьбе с ними лежит не в попытках устранить их, а rather в смягчении их влияния с помощью комбинации стратегических охранников, процессов проверки и тонко настроенных запросов.

Чем больше мы можем доверять тому, что говорит нам GenAI, тем более эффективно и результативно мы сможем использовать его мощный потенциал.