Искусственный интеллект
Что такое LLM-галлюцинации? Причины, этическая проблема и профилактика
Большие языковые модели (LLM) — это системы искусственного интеллекта, способные анализировать и генерировать человекоподобный текст. Но у них есть проблема – LLM галлюцинируют, т. е. выдумывают. Галлюцинации LLM заставили исследователей беспокоиться о прогрессе в этой области, потому что, если исследователи не могут контролировать результаты моделей, они не могут создавать критически важные системы для служения человечеству. Подробнее об этом позже.
Как правило, LLM используют огромное количество обучающих данных и сложные алгоритмы обучения для получения реалистичных результатов. В некоторых случаях, используется контекстное обучение для обучения этих моделей, используя только несколько примеров. LLM становятся все более популярными в различных областях применения, начиная от машинного перевода, анализа настроений, помощи виртуального ИИ, аннотирования изображений и т. обработки естественного языка, и т.д.
Несмотря на передовой характер LLM, они по-прежнему склонны к предубеждениям, ошибкам и галлюцинациям. Янн ЛеКун, нынешний главный научный сотрудник компании Meta, недавно упомянул о центральный недостаток LLM, вызывающий галлюцинации: «Большие языковые модели не имеют представления о лежащей в основе реальности, которую описывает язык. Эти системы генерируют текст, который хорошо звучит с точки зрения грамматики и семантики, но на самом деле у них нет какой-либо цели, кроме статистической согласованности с подсказкой».
Галлюцинации у LLM
Изображение на Герд Альтманн с сайта Pixabay
Галлюцинации относятся к модели, генерирующей выходные данные, которые синтаксически и семантически правильны, но не связаны с реальностью и основаны на ложных предположениях. Галлюцинация является одним из основные этические проблемы LLM, и это может иметь пагубные последствия, поскольку пользователи без достаточных знаний предметной области начинают чрезмерно полагаться на эти все более убедительные языковые модели.
Определенная степень галлюцинаций неизбежна для всех авторегрессивных LLM. Например, модель может приписать знаменитости фальшивую цитату, которую никогда не произносили. Они могут утверждать что-то по конкретной теме, что является фактически неверным, или ссылаться на несуществующие источники в научных статьях, распространяя таким образом дезинформацию.
Однако галлюцинации моделей ИИ не всегда имеют неблагоприятные последствия. Например, новое исследование предполагает ученые откапывают «новые белки с неограниченным набором свойств» с помощью галлюцинирующих LLM.
Что вызывает галлюцинации LLM?
LLM могут галлюцинировать из-за различных факторов, начиная от ошибок переобучения при кодировании и декодировании и заканчивая предвзятостью обучения.
переобучения
Изображение на janjf93 с сайта Pixabay
Переоснащение — это проблема, когда модель ИИ слишком хорошо соответствует обучающим данным. Тем не менее, он не может полностью представить весь диапазон входных данных, с которыми может столкнуться, т.е. он не может обобщить свою предсказательную силу к новым, невидимым данным. Переобучение может привести к тому, что модель будет создавать галлюцинации.
Ошибки кодирования и декодирования
Изображение на Геральт с сайта Pixabay
Если в кодировании и декодировании текста и его последующих представлениях есть ошибки, это также может привести к тому, что модель будет генерировать бессмысленные и ошибочные выходные данные.
Тренировочный уклон
Изображение на Айва Креатив с сайта Pixabay
Другим фактором является наличие определенных погрешностей в обучающих данных, из-за которых модель может давать результаты, отражающие эти погрешности, а не фактический характер данных. Это похоже на отсутствие разнообразия в обучающих данных, что ограничивает способность модели обобщать новые данные.
Сложная структура LLM затрудняет для исследователей и практиков ИИ выявление, интерпретацию и исправление этих основных причин галлюцинаций.
Этические проблемы галлюцинаций LLM
LLM могут увековечивать и усиливать вредные предубеждения через галлюцинации и, в свою очередь, могут негативно влиять на пользователей и иметь пагубные социальные последствия. Некоторые из этих наиболее важных этических соображений перечислены ниже:
Дискриминационный и токсичный контент
Изображение на ar130405 с сайта Pixabay
Поскольку данные обучения LLM часто полны социокультурных стереотипов из-за врожденных предубеждений и отсутствия разнообразия. LLM могут, таким образом, производить и укреплять эти вредные идеи против обездоленных слоев общества.
Они могут создавать этот дискриминирующий и ненавистный контент на основе расы, пола, религии, этнической принадлежности и т. д.
Вопросы конфиденциальности
Изображение на ЯнБэби с сайта Pixabay
LLM обучаются на массивном учебном корпусе, который часто включает личную информацию отдельных лиц. Были случаи, когда такие модели нарушил частную жизнь людей. Они могут передавать определенную информацию, такую как номера социального страхования, домашние адреса, номера мобильных телефонов и медицинские данные.
Дезинформация и дезинформация
Изображение на Геральт с сайта Pixabay
Языковые модели могут создавать человеческое содержание, которое кажется точным, но на самом деле является ложным и не подтверждается эмпирическими данными. Это может быть случайным, что приведет к дезинформации, или за этим может стоять злой умысел для сознательного распространения дезинформации. Если это не остановить, это может создать неблагоприятные социальные, культурные, экономические и политические тенденции.
Предотвращение галлюцинаций LLM
Изображение на Athree23 с сайта Pixabay
Исследователи и практики применяют различные подходы к решению проблемы галлюцинаций у LLM. К ним относятся улучшение разнообразия обучающих данных, устранение врожденных предубеждений, использование более совершенных методов регуляризации, а также использование состязательного обучения и обучения с подкреплением, среди прочего:
- Разработка лучших методов регуляризации лежит в основе борьбы с галлюцинациями. Они помогают предотвратить переоснащение и другие проблемы, вызывающие галлюцинации.
- Аугментация данных может снизить частоту галлюцинаций, о чем свидетельствует исследование. Увеличение данных включает в себя увеличение обучающего набора путем добавления случайного токена в любом месте предложения. Он удваивает размер обучающей выборки и вызывает снижение частоты галлюцинаций.
- OpenAI и DeepMind от Google разработали технику под названием обучение с подкреплением с обратной связью от человека (RLHF) для решения проблемы галлюцинаций ChatGPT. В нем участвует человек-оценщик, который часто просматривает ответы модели и выбирает наиболее подходящие для запросов пользователя. Затем эта обратная связь используется для корректировки поведения модели. Илья Суцкевер, главный научный сотрудник OpenAI, недавно упомянул, что этот подход может потенциально разрешать галлюцинации в ChatGPT: «Я очень надеюсь, что, просто улучшив это последующее обучение с подкреплением на этапе обратной связи с человеком, мы сможем научить его не галлюцинировать»..
- Выявление содержания галлюцинаций для использования в качестве примера для будущего обучения также является методом, используемым для борьбы с галлюцинациями. А новая техника в этом отношении обнаруживает галлюцинации на уровне токена и предсказывает, является ли каждый токен на выходе галлюцинацией. Он также включает метод неконтролируемого обучения детекторов галлюцинаций.
Проще говоря, галлюцинации LLM вызывают растущую озабоченность. И, несмотря на усилия, предстоит еще много работы для решения проблемы. Сложность этих моделей означает, что обычно сложно правильно определить и устранить неотъемлемые причины галлюцинаций.
Однако при продолжении исследований и разработок можно уменьшить галлюцинации у LLM и уменьшить их этические последствия.
Если вы хотите узнать больше о LLM и профилактических методах, разрабатываемых для исправления галлюцинаций LLM, ознакомьтесь с объединить.ай чтобы расширить свои знания.
