Искусственный интеллект
Что такое LLM-галлюцинации? Причины, этическая проблема и профилактика
Большие языковые модели (LLM) — это системы искусственного интеллекта, способные анализировать и генерировать человекоподобный текст. Но у них есть проблема – LLM галлюцинируют, т. е. выдумывают. Галлюцинации LLM заставили исследователей беспокоиться о прогрессе в этой области, потому что, если исследователи не могут контролировать результаты моделей, они не могут создавать критически важные системы для служения человечеству. Подробнее об этом позже.
Как правило, LLM используют огромное количество обучающих данных и сложные алгоритмы обучения для получения реалистичных результатов. В некоторых случаях, используется контекстное обучение для обучения этих моделей, используя только несколько примеров. LLM становятся все более популярными в различных областях применения, начиная от машинного перевода, анализа настроений, помощи виртуального ИИ, аннотирования изображений и т. обработки естественного языка, и т.д.
Несмотря на передовой характер LLM, они по-прежнему склонны к предубеждениям, ошибкам и галлюцинациям. Янн ЛеКун, нынешний главный научный сотрудник компании Meta, недавно упомянул о центральный недостаток LLM, вызывающий галлюцинации: «Большие языковые модели не имеют представления о глубинной реальности, которую описывает язык. Эти системы генерируют текст, который звучит красиво, грамматически и семантически правильно, но у них нет никакой другой цели, кроме как обеспечить статистическую согласованность с подсказкой».
Галлюцинации у LLM
Изображение на Герд Альтманн с сайта Pixabay
Галлюцинации относятся к модели, генерирующей выходные данные, которые синтаксически и семантически правильны, но не связаны с реальностью и основаны на ложных предположениях. Галлюцинация является одним из основные этические проблемы LLM, и это может иметь пагубные последствия, поскольку пользователи без достаточных знаний предметной области начинают чрезмерно полагаться на эти все более убедительные языковые модели.
Определенная степень галлюцинаций неизбежна для всех авторегрессивных LLM. Например, модель может приписать знаменитости фальшивую цитату, которую никогда не произносили. Они могут утверждать что-то по конкретной теме, что является фактически неверным, или ссылаться на несуществующие источники в научных статьях, распространяя таким образом дезинформацию.
Однако галлюцинации моделей ИИ не всегда имеют неблагоприятные последствия. Например, новое исследование предполагает Ученые открывают «новые белки с неограниченным набором свойств» с помощью галлюцинирующих LLM.
Что вызывает галлюцинации LLM?
LLM могут галлюцинировать из-за различных факторов, начиная от ошибок переобучения при кодировании и декодировании и заканчивая предвзятостью обучения.
переобучения
Изображение на janjf93 с сайта Pixabay
Переоснащение — это проблема, когда модель ИИ слишком хорошо соответствует обучающим данным. Тем не менее, он не может полностью представить весь диапазон входных данных, с которыми может столкнуться, т.е. он не может обобщить свою предсказательную силу к новым, невидимым данным. Переобучение может привести к тому, что модель будет создавать галлюцинации.
Ошибки кодирования и декодирования
Изображение на Геральт с сайта Pixabay
Если в кодировании и декодировании текста и его последующих представлениях есть ошибки, это также может привести к тому, что модель будет генерировать бессмысленные и ошибочные выходные данные.
Тренировочный уклон
Изображение на Айва Креатив с сайта Pixabay
Другим фактором является наличие определённых смещений в обучающих данных, что может привести к тому, что модель будет выдавать результаты, отражающие эти смещения, а не реальную природу данных. Это аналогично отсутствию разнообразия в обучающих данных, которое ограничивает способность модели к обобщению на новые данные.
Сложная структура LLM затрудняет для исследователей и практиков ИИ выявление, интерпретацию и исправление этих основных причин галлюцинаций.
Этические проблемы галлюцинаций LLM
LLM могут увековечивать и усиливать вредные предубеждения через галлюцинации и, в свою очередь, могут негативно влиять на пользователей и иметь пагубные социальные последствия. Некоторые из этих наиболее важных этических соображений перечислены ниже:
Дискриминационный и токсичный контент
Изображение на ar130405 с сайта Pixabay
Поскольку данные обучения LLM часто полны социокультурных стереотипов из-за врожденных предубеждений и отсутствия разнообразия. LLM могут, таким образом, производить и укреплять эти вредные идеи против обездоленных слоев общества.
Они могут создавать этот дискриминирующий и ненавистный контент на основе расы, пола, религии, этнической принадлежности и т. д.
Вопросы конфиденциальности
Изображение на ЯнБэби с сайта Pixabay
LLM обучаются на массивном учебном корпусе, который часто включает личную информацию отдельных лиц. Были случаи, когда такие модели нарушил частную жизнь людей. Они могут передавать определенную информацию, такую как номера социального страхования, домашние адреса, номера мобильных телефонов и медицинские данные.
Дезинформация и дезинформация
Изображение на Геральт с сайта Pixabay
Языковые модели могут создавать человеческое содержание, которое кажется точным, но на самом деле является ложным и не подтверждается эмпирическими данными. Это может быть случайным, что приведет к дезинформации, или за этим может стоять злой умысел для сознательного распространения дезинформации. Если это не остановить, это может создать неблагоприятные социальные, культурные, экономические и политические тенденции.
Предотвращение галлюцинаций LLM
Изображение на Athree23 с сайта Pixabay
Исследователи и практики применяют различные подходы к решению проблемы галлюцинаций у LLM. К ним относятся улучшение разнообразия обучающих данных, устранение врожденных предубеждений, использование более совершенных методов регуляризации, а также использование состязательного обучения и обучения с подкреплением, среди прочего:
- Разработка лучших методов регуляризации лежит в основе борьбы с галлюцинациями. Они помогают предотвратить переоснащение и другие проблемы, вызывающие галлюцинации.
- Аугментация данных может снизить частоту галлюцинаций, о чем свидетельствует исследование. Увеличение данных включает в себя увеличение обучающего набора путем добавления случайного токена в любом месте предложения. Он удваивает размер обучающей выборки и вызывает снижение частоты галлюцинаций.
- OpenAI и DeepMind от Google разработали технологию под названием обучение с подкреплением с обратной связью от человека (RLHF) для решения проблемы галлюцинаций в ChatGPT. В ней участвует человек-оценщик, который регулярно анализирует ответы модели и выбирает наиболее подходящие для подсказок пользователя. Эта обратная связь затем используется для корректировки поведения модели. Илья Суцкевер, главный научный сотрудник OpenAI, недавно отметил, что этот подход может потенциально разрешать галлюцинации в ChatGPT: «Я очень надеюсь, что, просто улучшив это последующее обучение с подкреплением на этапе обратной связи с человеком, мы сможем научить его не галлюцинировать»..
- Выявление содержания галлюцинаций для использования в качестве примера для будущего обучения также является методом, используемым для борьбы с галлюцинациями. А новая техника в этом отношении обнаруживает галлюцинации на уровне токена и предсказывает, является ли каждый токен на выходе галлюцинацией. Он также включает метод неконтролируемого обучения детекторов галлюцинаций.
Проще говоря, галлюцинации, связанные с LLM, вызывают растущую обеспокоенность. И, несмотря на все усилия, для решения этой проблемы ещё многое предстоит сделать. Сложность этих моделей означает, что, как правило, сложно правильно определить и устранить истинные причины галлюцинаций.
Однако при продолжении исследований и разработок можно уменьшить галлюцинации у LLM и уменьшить их этические последствия.
Если вы хотите узнать больше о LLM и профилактических методах, разрабатываемых для исправления галлюцинаций LLM, ознакомьтесь с объединить.ай чтобы расширить свои знания.
