Небезпеки використання цитат для автентифікації контенту NLG

Відгук Моделі генерації природної мови, такі як GPT-3, схильні до “галюцинації” матеріалу, який вони представляють у контексті фактичної інформації. У епоху, що надзвичайно турбується про зростання текстових фейкових новин, ці “задоволені” польоти уяви представляють собою екзистенційний бар’єр для розвитку автоматизованих систем письма та підсумовування, а також для майбутнього журналістики, керованої штучним інтелектом серед інших субсекторів обробки природної мови (NLP).

Центральна проблема полягає в тому, що моделі мови типу GPT виводять ключові функції та класи з дуже великих корпусів тренувальних текстів і вчаться використовувати ці функції як будівельні блоки мови майстерно та автентично, незалежно від точності згенерованого контенту, або навіть його прийнятності.

Системи NLG зараз залежать від верифікації фактів людьми одним із двох підходів: або моделі використовуються як генератори тексту, які негайно передаються людям для верифікації або редагування; або люди використовуються як дорогі фільтри для покращення якості наборів даних, призначених для інформування менш абстрактних і “креативних” моделей (які самі по собі залишаються важкими для довіри щодо фактичної точності і які вимагатимуть подальших шарів людського нагляду).

Старі новини та фейкові факти

Моделі генерації природної мови (NLG) здатні виробляти переконливі та правдоподібні висновки, оскільки вони вивчили семантичну архітектуру, а не більш абстрактно ассимілювали фактичну історію, науку, економіку чи будь-яку іншу тему, про яку їм доводиться висловлювати думку, які ефективно сплетені як “пасажири” у вихідних даних.

Фактична точність інформації, яку моделі NLG генерують, припускає, що вхідні дані, на яких вони тренуються, самі по собі надійні та актуальні, що представляє надзвичайну負антаж у плані попередньої обробки та подальшої людської верифікації – дорогий бар’єр, який сектор досліджень NLP зараз усуває з багатьох сторін.

Системи типу GPT-3 вимагають надзвичайної кількості часу та грошей для тренування, і, після тренування, їх важко оновлювати на тому, що можна вважати “ядерним” рівні. Хоча сесійні та локальні модифікації можуть збільшити корисність та точність реалізованих моделей, ці корисні вигоди важко, іноді неможливо передати до основної моделі без необхідності повної або часткової повторної тренування.

Через це важко створити треновані моделі мови, які можуть використовувати найновішу інформацію.

Треновані навіть до появи COVID, text-davinci-002 – ітерація GPT-3, яку її творець OpenAI вважає ‘найкращою’, – може обробляти 4000 токенів за запит, але нічого не знає про COVID-19 чи вторгнення Росії в Україну 2022 року (ці промпти та відповіді датуються 5 квітня 2022 року). Цікаво, що ‘невідомо’ є прийнятною відповіддю в обидвох випадках невдачі, але подальші промпти легко встановлюють, що GPT-3 нічого не знає про ці події. Джерело: https://beta.openai.com/playground

Тренована модель може доступитися лише до “правд”, які вона внутрішньо засвоїла під час тренування, і важко отримати точну і актуальну цитату за замовчуванням, коли спробувати змусити модель верифікувати свої заяви. Реальна небезпека отримання цитат з замовчувальної GPT-3 (наприклад) полягає в тому, що вона іноді виробляє правильні цитати, що призводить до хибної впевненості в цьому аспекті її можливостей:

Верхня частина: три точні цитати, отримані GPT-3 2021 року. Середня частина: GPT-3 не може процитувати одну з найвідоміших цитат Ейнштейна ("Бог не грає в кості з Всесвітом"), незважаючи на недвозначний промпт. Нижня частина: GPT-3 присвоює Ейнштейну скандальну та вигадану цитату, очевидно, як перевиливання з попередніх питань про Вінстона Черчілля в тій же сесії. Джерело: стаття автора 2021 року на сайті https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

У спробі вирішити цю загальну проблему в моделях NLG, Google’s DeepMind недавно запропонував GopherCite, модель з 280 мільярдами параметрів, яка здатна цитувати конкретні та точні свідчення на підтримку своїх згенерованих відповідей на промпти.

Три приклади GopherCite, які підтверджують свої твердження реальними цитатами. Джерело: https://arxiv.org/pdf/2203.11147.pdf

GopherCite використовує підкріплення навчання з людськими перевагами (RLHP), щоб тренувати моделі запитів, які можуть цитувати реальні цитати як свідчення. Цитати отримуються в режимі реального часу з多 джерел документів, отриманих з пошукових систем, або з конкретного документа, наданого користувачем.

Виконання GopherCite було виміряно шляхом людської оцінки відповідей моделі, які були визнані як “високої якості” 80% часу на наборі даних NaturalQuestions від Google, і 67% часу на наборі даних ELI5.

Цитування брехні

Однак, коли його протестували на бенчмарку TruthfulQA Оксфордського університету, відповіді GopherCite рідко оцінювалися як правдиві порівняно з людськими кураторами “правильними” відповідями.

Автори припускають, що це відбувається через те, що концепція “підтримуваних відповідей” не визначає об’єктивно саму правду, оскільки корисність джерел цитат може бути скомпрометована іншими факторами, такими як можливість того, що автор цитати сам “галюцинує” (тобто пише про вигадані світи, створює рекламний контент або іншу фантастиковану неавтентичну матеріал.

Приклади GopherCite, де правдоподібність не обов’язково дорівнює ‘правді’.

Ефективно, стає необхідним розрізняти “підтримувані” та “правдиві” у таких випадках. Людська культура зараз значно випереджає машинне навчання у використанні методологій та рамок, призначених для отримання об’єктивних визначень правди, і навіть там, рідкісний стан “важливої” правди здається спірним та маргінальним запереченням.

Проблема є рекурсивною у архітектурах NLG, які намагаються створити визначальні “підтверджувальні” механізми: людська консенсус підштовхується до служби як бенчмарк правди через аутсорсингові, AMT-стильні моделі, де людські оцінювачі (і ті інші люди, які посередницькі суперечки між ними) самі по собі часткові та упереджені.

Наприклад, початкові експерименти з GopherCite використовують модель “супер-рейтера”, щоб вибрати найкращих людей для оцінювання виходу моделі, вибравши лише тих рейтерів, які набрали не менше 85% порівняно з набором якості. В результаті було вибрано 113 супер-рейтерів для завдання.

Знімок екрана порівняльного додатку, який допоміг оцінити вихід GopherCite.

Аргументовано, це ідеальна картина невиграшної фрактальної погоні: набір якості, використаний для оцінювання оцінювачів, сам по собі є ще одним “людським визначеним” метрикою правди, як і набір TruthfulQA Оксфордського університету, проти якого GopherCite було визнано недостойним.

У плані підтримуваного та “автентифікованого” контенту все, що системи NLG можуть сподіватися синтезувати з тренування на людських даних, це людська розбіжність та різноманіття, яке самі по собі є невизначеною та нерозв’язаною проблемою. У нас є вроджена схильність цитувати джерела, які підтримують наші погляди, і говорити авторитетно та з переконаністю у випадках, коли наша інформація про джерело може бути застарілою, повністю неточною або інакше свідомо спотвореною іншими способами; і схильність розсіювати ці погляди безпосередньо у дикій природі, у масштабі та ефективності, незрівнянних в історії людства, прямо на шляху кадрових рамок, які годують нові кадрові рамки.

Отже, небезпека, пов’язана з розробкою систем NLG, що підтримуються цитатами, здається пов’язаною з непередбачуваною природою джерельного матеріалу. Будь-який механізм (такий як пряма цитата та цитати), який збільшує довіру користувача до виходу NLG, на поточному рівні мистецтва, небезпечно додає до автентичності, але не до достовірності виходу.

Такі техніки, ймовірно, будуть корисними, коли NLP нарешті відтворить “калейдоскопи” вигаданих творів Орвелла 1984; але вони представляють небезпечну погоню за об’єктивним аналізом документів, журналістикою, керованою штучним інтелектом, та іншими можливими “нехудожніми” застосуваннями машинного підсумовування та спонтанного чи керованого текстового покоління.

Перша публікація 5 квітня 2022 року. Оновлено 15:29 EET, щоб виправити термін.