Що таке галюцинації LLM: причини, етичні проблеми та запобігання

Багатомовні моделі мови (LLM) – це системи штучного інтелекту, здатні аналізувати та генерувати текст, подібний до людського. Однак вони мають одну проблему – LLM галюцинують, тобто вигадують речі. Галюцинації LLM викликають занепокоєння серед дослідників щодо прогресу в цій галузі, оскільки якщо дослідники не можуть контролювати результати моделей, то вони не можуть створювати критичні системи для служіння людству. Про це пізніше.

Загалом, LLM використовують величезні обсяги тренувальних даних та складні алгоритми навчання для генерації реалістичних виходів. У деяких випадках використовується навчання в контексті для тренування цих моделей лише на декілька прикладів. LLM стають все більш популярними в різних галузях застосування, починаючи від машинного перекладу, аналізу настрою, віртуальної допомоги AI, анотації зображень, обробки природної мови тощо.

Незважаючи на передові можливості LLM, вони все ще схильні до упереджень, помилок та галюцинацій. Ян Лекун, чинний головний науковець AI у Meta, недавно згадав про центральну проблему LLM, яка викликає галюцинації: “Багатомовні моделі мови не мають уявлення про реальність, яку описує мова. Ці системи генерують текст, який звучить добре, граматично та семантично, але вони не мають жодної мети, окрім задоволення статистичної узгодженості з запитом”.

Галюцинації в LLM

Зображення від Gerd Altmann з Pixabay

Галюцинації означають генерацію моделлю виходів, які синтаксично та семантично правильні, але відірвані від реальності та засновані на помилкових припущеннях. Галюцинація – одна з основних етичних проблем LLM, і вона може мати шкідливі наслідки, оскільки користувачі без достатньої предметної інформації починають надмірно довіряти цим усе більш переконливим мовним моделям.

Певний рівень галюцинацій є неминучим у всіх автoregresивних LLM. Наприклад, модель може приписати фальшиву цитату знаменитості, якої ніколи не було сказано. Вони можуть стверджувати щось про певну тему, що є фактично неправильним, або посилатися на неіснуючі джерела в дослідницьких роботах, таким чином поширюючи дезінформацію.

Однак отримання моделей AI для галюцинацій не завжди має негативні наслідки. Наприклад, нове дослідження показало, що вчені відкривають “нові білки з необмеженим рядом властивостей” за допомогою галюцинуючих LLM.

Чому відбуваються галюцинації в LLM?

LLM можуть галюцинувати через різні фактори, починаючи від помилок надмірної підгонки під час кодування та декодування до упередженості тренувальних даних.

Надмірна підгонка

Зображення від janjf93 з Pixabay

Надмірна підгонка – це проблема, коли модель AI надто добре підходить під тренувальні дані, але не може повністю представити весь діапазон входів, з якими вона може зустрітися, тобто вона не може узагальнити свою передбачувальну силу для нових, невиданих даних. Надмірна підгонка може привести до генерації моделлю галюцинуючого вмісту.

Помилки кодування та декодування

Зображення від geralt з Pixabay

Якщо є помилки під час кодування та декодування тексту та його подальших представлень, це також може викликати генерацію моделлю безглуздого та помилкового виходу.

Упередженість тренувальних даних

Зображення від Quince Creative з Pixabay

Іншим фактором є наявність певних упереджень у тренувальних даних, які можуть викликати генерацію моделлю результатів, що представляють ці упередження, а не фактичну природу даних. Це подібно до відсутності різноманітності у тренувальних даних, яка обмежує здатність моделі узагальнювати для нових даних.

Складна структура LLM робить досить складним для дослідників та практиків ідентифікацію, інтерпретацію та виправлення цих основних причин галюцинацій.

Етичні проблеми галюцинацій LLM

LLM можуть поширювати та посилювати шкідливі упередження через галюцинації та можуть мати негативний вплив на користувачів та мати шкідливі соціальні наслідки. Деякі з цих найбільш важливих етичних проблем перелічені нижче:

Дискримінаційна та токсична інформація

Зображення від ar130405 з Pixabay

Оскільки тренувальні дані LLM часто містять соціокультурні стереотипи через вбудовані упередження та відсутність різноманітності, LLM можуть генерувати та посилювати ці шкідливі ідеї щодо недостиглих груп у суспільстві.

Вони можуть генерувати дискримінаційну та ненависну інформацію на основі раси, статі, релігії, етнічної приналежності тощо.

Проблеми конфіденційності

Зображення від JanBaby з Pixabay

LLM тренуються на величезному тренувальному корпусі, який часто містить особисту інформацію окремих осіб. Були випадки, коли такі моделі порушували конфіденційність людей. Вони можуть витікати конкретну інформацію, таку як номери соціального страхування, домашні адреси, номери телефонів та медичні дані.

Дезінформація та дезінформація

Зображення від geralt з Pixabay

Мовні моделі можуть генерувати вміст, подібний до людського, який здається точним, але насправді є помилковим та не підтримується емпіричними даними. Це може бути випадковим, що призводить до дезінформації, або мати зловмисну мету поширення дезінформації. Якщо це залишається без контролю, це може створити шкідливі соціокультурні, економічні та політичні тенденції.

Запобігання галюцинаціям LLM

Зображення від athree23 з Pixabay

Дослідники та практики застосовують різні підходи для вирішення проблеми галюцинацій у LLM. До них належать покращення різноманітності тренувальних даних, усунення вбудованих упереджень, використання кращих методів регуляризації та застосування тренування з суперником та підкріпленням, серед інших:

• Розробка кращих методів регуляризації є основою для вирішення галюцинацій. Вони допомагають запобігти надмірній підгонці та іншим проблемам, які викликають галюцинації.
• Повышення даних може зменшити частоту галюцинацій, як свідчить дослідження. Повышення даних включає в себе додавання випадкового токену будь-де в реченні. Це подвоює розмір тренувального набору та зменшує частоту галюцинацій.
• OpenAI та Google DeepMind розробили техніку під назвою навчання з підкріпленням та людською оцінкою (RLHF) для вирішення проблеми галюцинацій у ChatGPT. Це включає в себе людську оцінювачку, яка часто переглядає відповіді моделі та вибирає найбільш підходящі для запитів користувача. Ця оцінка потім використовується для调整 поведінки моделі. Ілля Суцкевер, головний науковець OpenAI, недавно зазначив, що цей підхід може потенційно вирішити галюцинації у ChatGPT: “Я досить сподіваюся, що просто покращуючи наступний етап навчання з підкріпленням та людською оцінкою, ми можемо навчити її не галюцинувати”.
• Ідентифікація галюцинуючого вмісту для використання як прикладу для майбутнього навчання також є методом для вирішення галюцинацій. Нова техніка виявляє галюцинації на рівні токенів та передбачає, чи є кожен токен у виході галюцинуючим. Вона також включає метод для несупервізійного навчання детекторів галюцинацій.

Виявлення галюцинацій на рівні токенів

Просто кажучи, галюцинації LLM є зростаючою проблемою. І хоча проводяться зусилля, ще багато роботи потрібно зробити для вирішення цієї проблеми. Складність цих моделей робить досить складним ідентифікацію та виправлення основних причин галюцинацій.

Однак з подальшими дослідженнями та розробками можливо пом’якшити галюцинації у LLM та зменшити їх етичні наслідки.

Якщо ви хочете дізнатися більше про LLM та профілактичні техніки, які розробляються для вирішення галюцинацій LLM, відвідайте сайт unite.ai, щоб розширити свої знання.