Запобігання «галюцинаціям» у GPT-3 та інших складних моделях мови

Визначальною ознакою «фейкових новин» є те, що вони часто представляють помилкові дані в контексті фактично правильної інформації, з неправдивими даними, які набувають авторитету завдяки певному літературному осмосу – це турбує демонстрація сили півправд.

Складні генеративні моделі обробки природної мови (NLP), такі як GPT-3, також мають тенденцію до «галюцинації» такого типу децептивного даних. Частково це відбувається через те, що мовні моделі потребують можливості перефразувати та підсумувати довгі та часто лабіринтові тексти, без архітектурних обмежень, які могли б визначити, закрити та «запечатати» події та факти, щоб вони були захищені від процесу семантичної реконструкції.

Отже, факти не є священними для моделі NLP; вони можуть легко опинитися у контексті «семантичних лего-кубиків», особливо коли складна граматика чи арканна джерельна матеріал робить важким розрізнення окремих сутностей від мовної структури.

Спостереження того, як тортурно сформульована джерельна матеріал може плутати складні мовні моделі, такі як GPT-3. Джерело: Paraphrase Generation Using Deep Reinforcement Learning

Ця проблема виходить за межі текстових моделей машинного навчання у дослідження комп’ютерного зору, особливо в галузях, які використовують семантичну дискримінацію для ідентифікації чи опису об’єктів.

Галюцинація та неточна «косметична» інтерпретація також впливає на дослідження комп’ютерного зору.

У випадку з GPT-3, модель може стати розчарованою повторними запитами на тему, яку вона вже розглянула якнайкраще. У найкращому випадку вона визнає поразку:

Мій недавній експеримент з базовим двигуном Davinci в GPT-3. Модель правильно відповідає на перший запит, але розчаровується, коли її запитують вдруге. Оскільки вона зберігає короткочасну пам’ять про попередню відповідь та сприймає повторний запит як відхилення попередньої відповіді, вона визнає поразку. Джерело: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci та DaVinci Instruct (Beta) працюють краще в цьому відношенні, ніж інші моделі GPT-3, доступні через API. Тут модель Curie дає неправильну відповідь, тоді як модель Babbage впевнено розширює неправильну відповідь:

Речення, яких ніколи не говорив Ейнштейн

Коли запитувати двигун GPT-3 DaVinci Instruct (який зараз здається найбільш здатним) про знамените речення Ейнштейна «Бог не грає в кості з всесвітом», DaVinci Instruct не може знайти це речення та вигадує невідоме речення, а потім галюцинує ще три відносно правдоподібні та повністю вигадані речення (від Ейнштейна чи будь-кого іншого) у відповідь на подібні запити:

GPT-3 генерує чотири правдоподібні речення Ейнштейна, жодне з яких не дає жодних результатів у повному текстовому інтернет-пошуку, хоча деякі спрацьовують інші (справжні) речення Ейнштейна на тему «уяви».

Якщо б GPT-3 постійно давав неправильні цитати, було б легше програмно відкидати ці галюцинації. Однак, чим більше цитата поширена та знаменита, тим більш ймовірно, що GPT-3 правильно знайде цитату:

GPT-3, здається, знаходить правильні цитати, коли вони добре представлені у вкладених даних.

Інша проблема може виникнути, коли історія сесії GPT-3 переходить до нового питання:

Ейнштейн, ймовірно, був би шокований, якщо б це речення було йому приписано. Цитата здається безглуздою галюцинацією реального афоризму Вінстона Черчилля афоризму. Попереднє питання у сесії GPT-3 стосувалося Черчилля (не Ейнштейна), і GPT-3, здається, помилково використовував цей токен сесії, щоб інформувати відповідь.

Подолання галюцинацій економічно

Галюцинація є помітною перешкодою для прийняття складних моделей NLP як інструментів дослідження – тим більше, оскільки вихідні дані цих двигунів сильно абстраговані від джерельної матеріалу, який їх сформував, так що встановлення достовірності цитат та фактів стає проблематичним.

Отже, однією з поточних загальних дослідницьких завдань у сфері NLP є встановлення засобу ідентифікації галюцинованих текстів без потреби вигадувати цілком нові моделі NLP, які б включали, визначали та автентифікували факти як окремі сутності (це довгострокова, окрема мета у ряді ширших галузей комп’ютерних досліджень).

Ідентифікація та генерація галюцинованого контенту

Нова співпраця між Університетом Карнегі-Меллона та Facebook AI Research пропонує новий підхід до проблеми галюцинацій, формулюючи метод ідентифікації галюцинованих даних та використання синтетичних галюцинованих текстів для створення набору даних, який можна використовувати як базовий для майбутніх фільтрів та механізмів, які можуть стати частиною архітектури моделей NLP.

Джерело: https://arxiv.org/pdf/2011.02593.pdf

На вищому зображенні джерельна матеріал була розділена на слово за слово, з міткою «0», призначеною правильним словам, та міткою «1», призначеною галюцинованим словам. Нижче ми бачимо приклад галюцинованого виходу, пов’язаного з вхідною інформацією, але доповненої неавтентичними даними.

Система використовує попередньо навчений автокодувальник, який здатний відображати галюциновану строку назад до оригінального тексту, з якого була створена пошкоджена версія (подібно до моїх прикладів вище, де інтернет-пошуки показали походження помилкових цитат, але з програмним та автоматизованим семантичним методом). Зокрема, використовується автокодувальник BART компанії Facebook для генерації пошкоджених речень.

Призначення міток.

Процес відображення галюцинації назад до джерела, який неможливий у звичайному випадку моделей NLP, дозволяє відображати «відстань редагування» та забезпечує алгоритмічний підхід до ідентифікації галюцинованого контенту.

Дослідники виявили, що система добре узагальнює навіть тоді, коли немає доступу до джерельної матеріалу, яка була доступна під час навчання, що свідчить про те, що концептуальна модель є правильною та широко реплікованою.

Подолання переобучення

Для уникнення переобучення та отримання широко застосовуваної архітектури дослідники випадково видаляли токени з процесу та застосовували перефразування та інші шумові функції.

Машинний переклад (MT) також є частиною цього процесу обфускації, оскільки переклад тексту між мовами, ймовірно, збереже значення та ще більше запобіжить переобученню. Тому галюцинації перекладалися та ідентифікувалися для проекту білінгвальними мовцями у ручному шарі анотації.

Ініціатива досягла нових найкращих результатів у ряді стандартних тестів галузі та є першою, яка досягла прийнятних результатів за допомогою даних, що перевищують 10 мільйонів токенів.

Код проекту, названого Виявлення галюцинованого контенту в умовній генерації послідовностей, було опубліковано на GitHub, та дозволяє користувачам генерувати власні синтетичні дані з BART з будь-якого корпусу тексту. Також передбачено подальшу генерацію моделей виявлення галюцинацій.