Что такое галлюцинации в моделях обработки естественного языка (LLM)? Причины, этические проблемы и предотвращение

Модели обработки естественного языка (LLM) – это системы искусственного интеллекта, способные анализировать и генерировать текст, похожий на человеческий. Однако они имеют проблему – LLM галлюцинируют, то есть выдумывают информацию. Галлюцинации LLM вызывают беспокойство у исследователей, поскольку если исследователи не могут контролировать результаты моделей, они не могут создавать критические системы для обслуживания человечества. Более подробно об этом позже.

Обычно LLM используют огромные объемы тренировочных данных и сложные алгоритмы обучения для генерации реалистичных выходных данных. В некоторых случаях используется обучение в контексте для тренировки этих моделей с помощью только нескольких примеров. LLM становятся все более популярными в различных областях применения, начиная от машинного перевода, анализа настроений, виртуальной помощи AI, аннотации изображений, обработки естественного языка и т. д.

Несмотря на передовой характер LLM, они все еще склонны к предвзятостям, ошибкам и галлюцинациям. Ян Лекун, текущий главный ученый AI в Meta, недавно упомянул центральную ошибку в LLM, вызывающую галлюцинации: “Модели обработки естественного языка не имеют представления о лежащей в основе реальности, которую описывает язык. Эти системы генерируют текст, который звучит нормально, грамматически и семантически, но у них нет какой-либо объективной цели, кроме как удовлетворять статистической последовательности с подсказкой”.

Галлюцинации в LLM

Изображение Gerd Altmann с Pixabay

Галлюцинации означают генерацию моделями выходных данных, которые являются синтаксически и семантически правильными, но не связаны с реальностью и основаны на ложных предположениях. Галлюцинация – одна из основных этических проблем LLM, и она может иметь вредные последствия, поскольку пользователи без достаточных знаний в области начинают чрезмерно полагаться на эти все более убедительные модели языка.

Определенная степень галлюцинации неизбежна во всех автoreгрессивных LLM. Например, модель может приписать поддельную цитату знаменитости, которая никогда не была произнесена. Они могут утверждать что-то о конкретной теме, что является фактически неверным, или цитировать несуществующие источники в исследовательских работах, тем самым распространяя дезинформацию.

Однако получение AI-моделей для галлюцинации не всегда имеет негативные последствия. Например, новое исследование показывает, что ученые обнаруживают ‘новые белки с неограниченным набором свойств’ с помощью галлюцинирующих LLM.

Что вызывает галлюцинации в LLM?

LLM могут галлюцинировать из-за различных факторов, начиная от ошибок переобучения в кодировании и декодировании до предвзятости тренировочных данных.

Переобучение

Изображение janjf93 с Pixabay

Переобучение – это проблема, когда модель AI слишком хорошо подходит к тренировочным данным, но не может полностью представить весь диапазон входных данных, с которыми она может столкнуться, т. е. она не может обобщить свою прогностическую силу на новые, не виденные данные. Переобучение может привести к тому, что модель будет производить галлюцинированное содержимое.

Ошибки кодирования и декодирования

Изображение geralt с Pixabay

Если есть ошибки в кодировании и декодировании текста и его последующих представлений, это также может вызвать генерацию моделями бессмысленного и ошибочного содержимого.

Предвзятость тренировочных данных

Изображение Quince Creative с Pixabay

Другим фактором является наличие определенных предвзятостей в тренировочных данных, которые могут вызвать генерацию моделями результатов, представляющих эти предвзятости, а не фактическую природу данных. Это похоже на отсутствие разнообразия в тренировочных данных, что ограничивает способность модели обобщать на новые данные.

Сложная структура LLM делает довольно сложным для исследователей и практиков выявить, интерпретировать и исправить лежащие в основе причины галлюцинаций.

Этические проблемы галлюцинаций LLM

LLM могут увековечивать и усиливать вредные предвзятости через галлюцинации и могут, в свою очередь, негативно влиять на пользователей и иметь вредные социальные последствия. Некоторые из этих наиболее важных этических проблем перечислены ниже:

Дискриминационное и токсичное содержимое

Изображение ar130405 с Pixabay

Поскольку тренировочные данные LLM часто полны социокультурных стереотипов из-за врожденных предвзятостей и отсутствия разнообразия, LLM могут производить и укреплять эти вредные идеи против неблагополучных групп в обществе.

Они могут генерировать это дискриминационное и ненавистное содержимое на основе расы, пола, религии, этнической принадлежности и т. д.

Проблемы конфиденциальности

Изображение JanBaby с Pixabay

LLM обучаются на огромном корпусе тренировочных данных, который часто включает личную информацию людей. Были случаи, когда такие модели нарушили конфиденциальность людей. Они могут раскрыть конкретную информацию, такую как номера социального страхования, домашние адреса, номера мобильных телефонов и медицинские данные.

Дезинформация и дезинформация

Изображение geralt с Pixabay

Модели языка могут производить содержимое, похожее на человеческое, которое кажется точным, но на самом деле является ложным и не поддерживается эмпирическими данными. Это может быть случайным, что приводит к дезинформации, или может иметь злонамеренную цель распространить дезинформацию. Если это не будет остановлено, это может создать негативные социально-культурные-экономические-политические тенденции.

Предотвращение галлюцинаций LLM

Изображение athree23 с Pixabay

Исследователи и практики принимают различные подходы для решения проблемы галлюцинаций в LLM. Это включает в себя улучшение разнообразия тренировочных данных, устранение врожденных предвзятостей, использование лучших методов регуляризации и применение противостоящего обучения и обучения с подкреплением, среди прочего:

• Разработка лучших методов регуляризации является ключом к решению проблемы галлюцинаций. Они помогают предотвратить переобучение и другие проблемы, которые вызывают галлюцинации.
• Увеличение данных может уменьшить частоту галлюцинаций, как показало исследовательское исследование. Увеличение данных включает в себя увеличение тренировочного набора путем добавления случайного токена где-либо в предложении. Это удваивает размер тренировочного набора и приводит к уменьшению частоты галлюцинаций.
• OpenAI и Google’s DeepMind разработали метод, называемый обучением с подкреплением и человеческой обратной связью (RLHF), для решения проблемы галлюцинаций в ChatGPT. Это включает в себя человеческого оценщика, который регулярно проверяет ответы модели и выбирает наиболее подходящие для подсказок пользователя. Эта обратная связь затем используется для корректировки поведения модели. Илья Сутскевер, главный ученый OpenAI, недавно упомянул, что этот подход может потенциально решить проблему галлюцинаций в ChatGPT: “Я довольно надеюсь, что, просто улучшив этот последующий шаг обучения с человеческой обратной связью, мы сможем научить ее не галлюцинировать”.
• Определение галлюцинированного содержимого для использования в качестве примера для будущей тренировки также является методом, используемым для решения проблемы галлюцинаций. Новая техника в этом отношении обнаруживает галлюцинации на уровне токена и предсказывает, является ли каждый токен в выходных данных галлюцинированным. Она также включает в себя метод для несупervised обучения детекторов галлюцинаций.

Обнаружение галлюцинаций на уровне токена

Проще говоря, галлюцинации LLM – это растущая проблема. И несмотря на усилия, еще много работы предстоит сделать, чтобы решить эту проблему. Сложность этих моделей означает, что довольно сложно правильно выявить и исправить лежащие в основе причины галлюцинаций.

Однако с продолжением исследований и разработок возможно смягчить галлюцинации в LLM и уменьшить их этические последствия.

Если вы хотите узнать больше о LLM и предотвращающих техниках, разрабатываемых для исправления галлюцинаций LLM, посетите unite.ai, чтобы расширить свои знания.