Искусственный интеллект
Что такое галлюцинации LLM? Причины, этические проблемы и предотвращение
Большие языковые модели (LLM) – это системы искусственного интеллекта, способные анализировать и генерировать текст, похожий на человеческий. Но у них есть проблема – LLM галлюцинируют, то есть выдумывают информацию. Галлюцинации LLM заставили исследователей беспокоиться о прогрессе в этой области, потому что если исследователи не могут контролировать результаты моделей, они не могут создавать критические системы для обслуживания человечества. Об этом позже.
Обычно LLM используют огромные объемы обучающих данных и сложные алгоритмы обучения для генерации реалистичных выходов. В некоторых случаях используется обучение в контексте, чтобы обучать эти модели только на几个 примерах. LLM становятся все более популярными в различных областях применения, начиная от машинного перевода, анализа настроений, виртуальной помощи ИИ, аннотации изображений, обработки естественного языка и т. д.
Несмотря на передовой характер LLM, они все еще склонны к предубеждениям, ошибкам и галлюцинациям. Ян Лекун, текущий главный ученый ИИ в Meta, недавно упомянул центральную ошибку в LLM, которая вызывает галлюцинации: “Большие языковые модели не имеют представления о лежащей в основе реальности, которую описывает язык. Эти системы генерируют текст, который звучит хорошо, грамматически и семантически, но они не имеют какой-либо объективной цели, кроме удовлетворения статистической последовательности с подсказкой”.
Галлюцинации в LLM
Изображение от Gerd Altmann на Pixabay
Галлюцинации означают, что модель генерирует выходы, которые синтаксически и семантически правильны, но не связаны с реальностью и основаны на ложных предположениях. Галлюцинация – одна из основных этических проблем LLM, и она может иметь вредные последствия, когда пользователи без достаточных знаний в области начинают слишком сильно полагаться на эти все более убедительные языковые модели.
Определенная степень галлюцинации неизбежна во всех автoreгрессивных LLM. Например, модель может приписать фальшивую цитату знаменитости, которую никогда не говорили. Они могут утверждать что-то о конкретной теме, что является фактически неверным, или цитировать несуществующие источники в исследовательских работах, тем самым распространяя дезинформацию.
Однако получение ИИ-моделей для галлюцинации не всегда имеет негативные последствия. Например, новое исследование показывает, что ученые открывают ‘новые белки с неограниченным рядом свойств’ через галлюцинирующие LLM.
Что вызывает галлюцинации LLM?
LLM могут галлюцинировать из-за различных факторов, начиная от ошибок переобучения в кодировании и декодировании до предубеждений в обучении.
Переобучение
Изображение от janjf93 на Pixabay
Переобучение – это проблема, когда модель ИИ слишком хорошо подходит к обучающим данным, но не может полностью представить весь диапазон входных данных, с которыми она может столкнуться, т. е. она не может обобщить свою прогностическую силу на новые, не виденные данные. Переобучение может привести к тому, что модель производит галлюцинирующий контент.
Ошибки кодирования и декодирования
Изображение от geralt на Pixabay
Если есть ошибки в кодировании и декодировании текста и его последующего представления, это также может вызвать у модели генерировать бессмысленный и ошибочный выход.
Предубеждения в обучении
Изображение от Quince Creative на Pixabay
Другим фактором является наличие определенных предубеждений в обучающих данных, которые могут вызвать у модели результаты, представляющие эти предубеждения, а не фактическую природу данных. Это похоже на отсутствие разнообразия в обучающих данных, что ограничивает способность модели обобщать на новые данные.
Сложная структура LLM делает довольно сложным для исследователей ИИ и практиков определить, интерпретировать и исправить лежащие в основе причины галлюцинаций.
Этические проблемы галлюцинаций LLM
LLM могут увековечивать и усиливать вредные предубеждения через галлюцинации и могут, в свою очередь, негативно повлиять на пользователей и иметь вредные социальные последствия. Некоторые из этих наиболее важных этических проблем перечислены ниже:
Дискриминационный и токсичный контент
Изображение от ar130405 на Pixabay
Поскольку обучающие данные LLM часто полны социокультурных стереотипов из-за внутренних предубеждений и отсутствия разнообразия. LLM могут, таким образом, производить и укреплять эти вредные идеи против неблагополучных групп в обществе.
Они могут генерировать этот дискриминационный и ненавистный контент на основе расы, пола, религии, этнической принадлежности и т. д.
Проблемы конфиденциальности
Изображение от JanBaby на Pixabay
LLM обучаются на огромном обучающем корпусе, который часто включает личную информацию людей. Были случаи, когда такие модели нарушили конфиденциальность людей. Они могут раскрыть конкретную информацию, такую как номера социального страхования, домашние адреса, номера телефонов и медицинские детали.
Дезинформация и дезинформация
Изображение от geralt на Pixabay
Языковые модели могут производить контент, похожий на человеческий, который кажется точным, но на самом деле является ложным и не подтверждается эмпирическими данными. Это может быть случайным, что приводит к дезинформации, или может иметь злонамеренное намерение, чтобы намеренно распространять дезинформацию. Если это остается без внимания, оно может создать негативные социально-культурно-экономические тенденции.
Предотвращение галлюцинаций LLM
Изображение от athree23 на Pixabay
Исследователи и практики используют различные подходы для решения проблемы галлюцинаций в LLM. Это включает улучшение разнообразия обучающих данных, устранение внутренних предубеждений, использование лучших методов регуляризации и применение противостоящего обучения и обучения с подкреплением, среди прочего:
- Разработка лучших методов регуляризации является ключом к решению галлюцинаций. Они помогают предотвратить переобучение и другие проблемы, которые вызывают галлюцинации.
- Увеличение данных может уменьшить частоту галлюцинаций, как показало исследование. Увеличение данных включает добавление случайного токена в любом месте предложения. Это удваивает размер обучающего набора и вызывает уменьшение частоты галлюцинаций.
- OpenAI и Google’s DeepMind разработали метод, называемый обучением с подкреплением и обратной связью человека (RLHF), чтобы решить проблему галлюцинации ChatGPT. Он включает человека-оценщика, который часто проверяет ответы модели и выбирает наиболее подходящие для подсказок пользователя. Эта обратная связь затем используется для корректировки поведения модели. Илья Сутскевер, главный ученый OpenAI, недавно упомянул, что этот подход может потенциально решить галлюцинации в ChatGPT: “Я довольно надеюсь, что просто улучшив этот последующий шаг обучения с подкреплением от обратной связи человека, мы можем научить ее не галлюцинировать”.
- Определение галлюцинированного контента для использования в качестве примера для будущего обучения также является методом, используемым для решения галлюцинаций. Новая методика в этом отношении обнаруживает галлюцинации на уровне токена и предсказывает, является ли каждый токен в выходе галлюцинацией. Она также включает метод для ненадзорного обучения детекторов галлюцинаций.
Просто говоря, галлюцинации LLM – это растущая проблема. И несмотря на усилия, еще много работы предстоит сделать, чтобы решить эту проблему. Сложность этих моделей означает, что обычно довольно сложно правильно определить и исправить лежащие в основе причины галлюцинаций.
Однако с продолжением исследований и разработок возможно смягчить галлюцинации в LLM и уменьшить их этические последствия.
Если вы хотите узнать больше о LLM и методах предотвращения, разрабатываемых для исправления галлюцинаций LLM, посетите unite.ai, чтобы расширить свои знания.
