Що таке галюцинації LLM? Причини, етичні проблеми та профілактика

Великі мовні моделі (LLM) – це системи штучного інтелекту, здатні аналізувати та генерувати текст, подібний до людського. Але в них є проблема – LLM галюцинують, тобто вигадують щось. Галюцинації LLM викликають занепокоєння серед дослідників щодо прогресу в цій галузі, оскільки якщо дослідники не можуть контролювати результати моделей, то вони не можуть створювати критичні системи для служіння людству. Про це пізніше.

Загалом, LLM використовують величезні об’єми тренувальних даних та складні алгоритми навчання для генерації реалістичних виходів. У деяких випадках використовується навчання в контексті для тренування цих моделей лише на декілька прикладів. LLM стають все популярнішими в різних галузях застосування, починаючи від машинного перекладу, аналізу настроїв, віртуальної допомоги AI, анотації зображень, обробки природної мови тощо.

Незважаючи на передові можливості LLM, вони все ще схильні до упереджень, помилок та галюцинацій. Ян Лекун, теперішній головний науковець AI в Meta, недавно згадав про центральний дефект LLM, який викликає галюцинації: “Великі мовні моделі не мають уявлення про основну реальність, яку описує мова. Ці системи генерують текст, який звучить добре, граматично та семантично, але вони не мають жодної мети, окрім задоволення статистичної узгодженості з підказкою”.

Галюцинації в LLM

Зображення від Gerd Altmann з Pixabay

Галюцинації означають генерацію моделлю виходів, які синтаксично та семантично правильні, але не пов’язані з реальністю та засновані на помилкових припущеннях. Галюцинація – одна з основних етичних проблем LLM, і вона може мати шкідливі наслідки, оскільки користувачі без достатніх знань у галузі починають надмірно покладатися на ці дедалі переконливі моделі мови.

Певний рівень галюцинацій неминучий у всіх автoregresивних LLM. Наприклад, модель може приписати фальшиву цитату знаменитості, якої ніколи не було сказано. Вони можуть стверджувати щось про певну тему, яка є фактично неправильною, або цитувати неіснуючі джерела в наукових роботах, таким чином поширюючи дезінформацію.

Однак, отримання моделей AI для галюцинацій не завжди має негативні наслідки. Наприклад, нове дослідження свідчить, що вчені відкривають “нові білки з безліччю властивостей” за допомогою галюцинуючих LLM.

Що викликає галюцинації LLM?

LLM можуть галюцинувати через різні фактори, починаючи від помилок перепідготовки та кодування/декодування до тренувальної упередженості.

Перепідготовка

Зображення від janjf93 з Pixabay

Перепідготовка – це проблема, коли модель AI надто добре підходить до тренувальних даних, але не може повністю представити весь діапазон входів, з якими вона може зустрітися, тобто вона не може узагальнити свою передбачувальну силу до нових, невидимих даних. Перепідготовка може привести до генерації моделлю галюцинованого контенту.

Помилки кодування та декодування

Зображення від geralt з Pixabay

Якщо є помилки при кодуванні та декодуванні тексту та його подальших представлень, це також може викликати генерацію моделлю безглуздих та помилкових виходів.

Тренувальна упередженість

Зображення від Quince Creative з Pixabay

Іншим фактором є наявність певних упереджень у тренувальних даних, які можуть викликати генерацію моделлю результатів, що представляють ці упередження, а не фактичну природу даних. Це подібно до відсутності різноманітності у тренувальних даних, яка обмежує здатність моделі узагальнювати до нових даних.

Складна структура LLM робить досить складним для дослідників та практиків ідентифікувати, інтерпретувати та виправляти ці основні причини галюцинацій.

Етичні проблеми галюцинацій LLM

LLM можуть поширювати та посилювати шкідливі упередження через галюцинації та можуть мати негативні наслідки для користувачів та мати шкідливі соціальні наслідки. Деякі з цих найбільш важливих етичних проблем перелічені нижче:

Дискримінаційний та токсичний контент

Зображення від ar130405 з Pixabay

Оскільки тренувальні дані LLM часто повні соціокультурних стереотипів через вбудовані упередження та відсутність різноманітності. LLM можуть, таким чином, генерувати та посилювати ці шкідливі ідеї проти незахищених груп у суспільстві.

Вони можуть генерувати дискримінаційний та ненависний контент на основі раси, статі, релігії, етнічної приналежності тощо.

Проблеми конфіденційності

Зображення від JanBaby з Pixabay

LLM тренуються на величезних тренувальних корпусах, які часто включають особисту інформацію осіб. Були випадки, коли такі моделі порушували конфіденційність людей. Вони можуть витікати конкретну інформацію, таку як номери соціального страхування, домашні адреси, номери телефонів та медичні дані.

Дезінформація та дезінформація

Зображення від geralt з Pixabay

Моделі мови можуть генерувати контент, подібний до людського, який здається точним, але насправді є помилковим та не підтримується емпіричними доказами. Це може бути випадковим, що призводить до дезінформації, або воно може мати зловмисну мету поширення дезінформації. Якщо це залишається без контролю, це може створити шкідливі соціально-культурно-економічні тенденції.

Профілактика галюцинацій LLM

Зображення від athree23 з Pixabay

Дослідники та практики застосовують різні підходи для вирішення проблеми галюцинацій у LLM. До них належать покращення різноманітності тренувальних даних, усунення вбудованих упереджень, використання кращих технік регуляризації та застосування адверсарного тренування та підкріплення навчання, серед інших:

• Розробка кращих технік регуляризації є основою для боротьби з галюцинаціями. Вони допомагають запобігати перепідготовці та іншим проблемам, які викликають галюцинації.
• Повышення даних може зменшити частоту галюцинацій, як свідчить дослідження. Повышення даних включає в себе підвищення тренувальної вибірки шляхом додавання випадкового токена будь-де в реченні. Це подвоює розмір тренувальної вибірки та призводить до зменшення частоти галюцинацій.
• OpenAI та Google’s DeepMind розробили техніку, звану підкріпленням навчання з людською відгуком (RLHF), для вирішення проблеми галюцинацій у ChatGPT. Це включає в себе людську оцінювачку, яка часто переглядає відповіді моделі та вибирає найвідповідніші для підказок користувача. Ця відгук використовується для调整 поведінки моделі. Ілля Суцкевер, головний науковець OpenAI, недавно згадав, що цей підхід може потенційно вирішити галюцинації у ChatGPT: “Я досить сподіваюсь, що просто поліпшивши подальше підкріплення навчання з людською відгуком, ми можемо навчити її не галюцинувати”.
• Ідентифікація галюцинованого контенту для використання як прикладу для майбутнього тренування також є методом для боротьби з галюцинаціями. Нова техніка в цьому відношенні виявляє галюцинації на рівні токенів та передбачає, чи є кожен токен у виході галюцинованим. Вона також включає метод для несупервізованого навчання детекторів галюцинацій.

Виявлення галюцинацій на рівні токенів

Просто кажучи, галюцинації LLM – це зростаюча проблема. І尽管 зусилля, ще багато роботи потрібно зробити для вирішення цієї проблеми. Складність цих моделей робить досить складним правильно ідентифікувати та виправляти основні причини галюцинацій.

Однак, з продовжуючими дослідженнями та розробками, можливо пом’якшити галюцинації у LLM та зменшити їх етичні наслідки.

Якщо ви хочете дізнатися більше про LLM та профілактичні техніки, що розробляються для вирішення галюцинацій LLM, відвідайте unite.ai, щоб розширити свої знання.