Що таке галюцинації LLM? Причини, етичні проблеми та профілактика

Великі мовні моделі (LLM) — це системи штучного інтелекту, здатні аналізувати та генерувати текст, схожий на людину. Але у них є проблема – LLM галюцинують, тобто вигадують речі. Галюцинації LLM змусили дослідників занепокоїтися прогресом у цій галузі, тому що якщо дослідники не можуть контролювати результати моделей, вони не можуть створювати критично важливі системи для служіння людству. Про це пізніше.

Як правило, магістратури використовують величезну кількість навчальних даних і складні алгоритми навчання для отримання реалістичних результатів. В деяких випадках, використовується навчання в контексті щоб навчити ці моделі, використовуючи лише кілька прикладів. LLMs стають все більш популярними в різних сферах застосування, починаючи від машинного перекладу, аналізу настроїв, віртуальної допомоги AI, анотації зображень, обробка природного мови, І т.д.

Незважаючи на передовий характер LLMs, вони все ще схильні до упереджень, помилок і галюцинацій. Янн ЛеКун, нинішній головний науковий співробітник Meta, нещодавно згадав про центральна вада в LLM, що викликає галюцинації: «Великі мовні моделі не мають уявлення про основну реальність, яку описує мова. Ці системи генерують текст, який звучить добре, граматично та семантично, але вони насправді не мають жодної мети, окрім простого задоволення статистичної узгодженості з підказкою».

Галюцинації в LLM

Зображення на Герд Альтман від Pixabay

Галюцинації стосуються моделі, що генерує результати, які є синтаксично та семантично правильними, але не пов’язані з реальністю та базуються на хибних припущеннях. Галюцинація є одним із основні етичні проблеми LLM, і це може мати шкідливі наслідки, оскільки користувачі без належного знання домену починають надмірно покладатися на ці все більш переконливі мовні моделі.

Певний ступінь галюцинації є неминучим для всіх авторегресійних LLM. Наприклад, модель може приписати фальшиву цитату знаменитості, яка ніколи не була сказана. Вони можуть стверджувати щось щодо певної теми, що є фактично невірним, або цитувати неіснуючі джерела в наукових статтях, поширюючи таким чином дезінформацію.

Однак спонукання моделей ШІ до галюцинацій не завжди має негативні наслідки. Наприклад, a припускає нове дослідження вчені розкопують «нові білки з необмеженим набором властивостей» за допомогою галюцинацій LLM.

Що викликає галюцинації LLM?

LLMs можуть галюцинувати через різні чинники, починаючи від помилок переобладнання в кодуванні та декодуванні і закінчуючи упередженістю навчання.

Переобладнання

Зображення на janjf93 від Pixabay

Переобладнання — це проблема, коли модель штучного інтелекту надто добре відповідає навчальним даним. Тим не менш, він не може повністю представити весь діапазон вхідних даних, з якими він може зіткнутися, тобто йому не вдається узагальнити свою прогностичну силу до нових, невідомих даних. Переобладнання може призвести до того, що модель створює галюцинований контент.

Помилки кодування та декодування

Зображення на Геральт від Pixabay

Якщо є помилки в кодуванні та декодуванні тексту та його подальших представлень, це також може призвести до того, що модель генеруватиме безглузді та помилкові виходи.

Упередженість навчання

Зображення на Айва Креатив від Pixabay

Іншим фактором є наявність певних упереджень у навчальних даних, через що модель може давати результати, які відображають ці упередження, а не фактичний характер даних. Це схоже на відсутність різноманітності в навчальних даних, що обмежує здатність моделі узагальнювати нові дані.

Завдяки складній структурі LLM для дослідників і практиків штучного інтелекту досить складно визначити, інтерпретувати та виправити ці основні причини галюцинацій.

Етичні проблеми галюцинацій LLM

LLMs можуть увічнити та посилити шкідливі упередження через галюцинації та можуть, у свою чергу, негативно вплинути на користувачів і мати згубні соціальні наслідки. Деякі з цих найбільш важливих етичних проблем перераховані нижче:

Дискримінаційний і токсичний вміст

Зображення на ar130405 від Pixabay

Оскільки дані навчання LLM часто повні соціокультурних стереотипів через властиві упередження та відсутність різноманітності. LLM можуть, таким чином, створюють і зміцнюють ці шкідливі ідеї проти знедолених груп суспільства.

Вони можуть створювати цей дискримінаційний і ворожий контент на основі раси, статі, релігії, етнічного походження тощо.

Питання конфіденційності

Зображення на JanBaby від Pixabay

LLM навчаються на масивному навчальному корпусі, який часто включає особисту інформацію окремих людей. Були випадки, коли такі моделі були порушили приватне життя людей. Вони можуть витікати певну інформацію, таку як номери соціального страхування, домашні адреси, номери мобільних телефонів і медичні дані.

Дезінформація та дезінформація

Зображення на Геральт від Pixabay

Мовні моделі можуть створювати людський контент, який виглядає точним, але насправді є хибним і не підтверджується емпіричними доказами. Це може бути випадково, що призведе до дезінформації, або за цим може стояти злий намір свідомо поширювати дезінформацію. Якщо це не контролювати, це може створити несприятливі соціально-культурні, економічні та політичні тенденції.

Запобігання галюцинаціям LLM

Зображення на 23 від Pixabay

Дослідники та практики застосовують різні підходи до вирішення проблеми галюцинацій у магістратури. До них належать покращення різноманітності навчальних даних, усунення властивих упереджень, використання кращих методів регуляризації та використання змагального навчання та навчання з підкріпленням, серед іншого:

• Розробка кращих методів регулярізації є основою боротьби з галюцинаціями. Вони допомагають запобігти переобладнанню та іншим проблемам, які викликають галюцинації.
• Збільшення даних може зменшити частоту галюцинацій, про що свідчить а дослідження. Розширення даних передбачає розширення навчального набору шляхом додавання випадкової лексеми в будь-якому місці пропозиції. Це подвоює розмір навчального набору і спричиняє зниження частоти галюцинацій.
• OpenAI і DeepMind від Google розробили техніку під назвою навчання з підкріпленням із зворотним зв'язком людини (RLHF), щоб вирішити проблему галюцинацій ChatGPT. Це залучає людину-оцінювача, яка часто переглядає відповіді моделі та вибирає найбільш відповідні підказки користувача. Цей зворотний зв'язок потім використовується для коригування поведінки моделі. Ілля Суцкевер, головний науковий співробітник OpenAI, нещодавно зазначив, що цей підхід може потенційно усунути галюцинації в ChatGPT: «Я дуже сподіваюся, що, просто вдосконаливши це подальше навчання підкріплення за допомогою зворотного зв’язку людини, ми зможемо навчити його не галюцинувати».
• Ідентифікація галюцинаційного контенту для використання як прикладу для майбутнього навчання також є методом боротьби з галюцинаціями. А нова техніка у зв'язку з цим виявляє галюцинації на рівні маркерів і передбачає, чи є галюцинаціями кожен маркер у вихідних даних. Він також включає метод неконтрольованого навчання детекторів галюцинацій.

Виявлення галюцинацій на рівні маркерів

Простіше кажучи, галюцинації LLM викликають дедалі більше занепокоєння. І незважаючи на зусилля, для вирішення проблеми ще потрібно зробити багато роботи. Складність цих моделей означає, що загалом складно правильно визначити та усунути природні причини галюцинацій.

Однак при продовженні досліджень і розробок можливо пом’якшити галюцинації в LLM і зменшити їх етичні наслідки.

Якщо ви хочете дізнатися більше про LLMs і профілактичні методи, які розробляються для усунення галюцинацій LLMs, перегляньте unite.ai щоб розширити свої знання.