Опасности использования цитат для аутентификации контента NLG

Мнение Модели генерации естественного языка, такие как GPT-3, склонны к “галлюцинациям” материала, который они представляют в контексте фактической информации. В эпоху, когда существует беспрецедентная обеспокоенность по поводу роста текстовых фейковых новостей, эти “желания угодить” полеты фантазии представляют собой существенную проблему для разработки автоматизированных систем письма и резюмирования, а также для будущего журналистики, основанной на ИИ, среди других подотраслей обработки естественного языка (NLP).

Центральной проблемой является то, что модели языка типа GPT получают ключевые функции и классы из очень больших корпусов обучающих текстов и учатся использовать эти функции как строительные блоки языка ловко и аутентично, независимо от точности сгенерированного контента или даже его приемлемости.

Системы NLG в настоящее время полагаются на человеческую верификацию фактов одним из двух подходов: либо модели используются в качестве генераторов текста, которые сразу же передаются человеческим пользователям для верификации или редактирования, либо люди используются в качестве дорогих фильтров для улучшения качества наборов данных, предназначенных для информирования менее абстрактных и “креативных” моделей (которые сами по себе неизбежно все еще трудно доверять в плане фактической точности и которые будут требовать дальнейших слоев человеческого надзора).

Старые новости и фейковые факты

Модели генерации естественного языка (NLG) способны производить убедительный и правдоподобный вывод, потому что они научились семантической архитектуре, а не более абстрактно ассимилировали фактическую историю, науку, экономику или любую другую тему, на которую они могут быть обязаны высказаться, которые эффективно сплетены как “пассажиры” в источниковых данных.

Фактическая точность информации, генерируемой моделями NLG, предполагает, что входные данные, на которых они обучаются, сами по себе надежны и актуальны, что представляет собой необычное бремя в плане предварительной обработки и дальнейшей человеческой верификации – дорогое препятствие, которое сектор исследований NLP в настоящее время решает на многих фронтах.

Системы типа GPT-3 требуют огромного количества времени и денег для обучения, и, как только они обучены, их трудно обновлять на том, что можно считать “ядро-уровнем”. Хотя сессионные и пользовательские локальные модификации могут увеличить полезность и точность реализованных моделей, эти полезные выгоды трудно передать основной модели без необходимости полной или частичной переобучения.

По этой причине трудно создать обученные языковые модели, которые могут использовать последнюю информацию.

Обученная до появления COVID, text-davinci-002 – итерация GPT-3, считающаяся ‘самой способной’ ее создателем OpenAI – может обработать 4000 токенов за запрос, но ничего не знает о COVID-19 или вторжении на Украину в 2022 году (эти подсказки и ответы датированы 5 апреля 2022 года). Интересно, что ‘неизвестно’ на самом деле является приемлемым ответом в обоих случаях неудач, но дальнейшие подсказки легко устанавливают, что GPT-3 ничего не знает об этих событиях. Источник: https://beta.openai.com/playground

Обученная модель может получить доступ только к “истинам”, которые она внутренне осознала во время обучения, и трудно получить точную и соответствующую цитату по умолчанию, когда пытаются получить от модели верификацию ее утверждений. Реальная опасность получения цитат из модели GPT-3 по умолчанию заключается в том, что она иногда производит правильные цитаты, что приводит к ложной уверенности в этом аспекте ее возможностей:

Верх, три точных цитаты, полученные моделью GPT-3 2021 года. Центр, GPT-3 не может процитировать одну из самых знаменитых цитат Эйнштейна ("Бог не играет в кости с Вселенной"), несмотря на не-криптическую подсказку. Низ, GPT-3 присваивает скандальную и вымышленную цитату Альберту Эйнштейну, видимо, из-за ранее заданных вопросов о Уинстоне Черчилле в той же сессии. Источник: статья автора 2021 года на https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Пытаясь решить эту общую проблему в моделях NLG, Google’s DeepMind недавно предложил GopherCite, модель с 280 миллиардами параметров, способную цитировать конкретные и точные доказательства в поддержку своих сгенерированных ответов на подсказки.

Три примера GopherCite, подтверждающие свои утверждения реальными цитатами. Источник: https://arxiv.org/pdf/2203.11147.pdf

GopherCite использует обучение с подкреплением на основе человеческих предпочтений (RLHP), чтобы обучить модели запросов, способных цитировать реальные цитаты в качестве доказательств. Цитаты извлекаются в режиме реального времени из нескольких источников документов, полученных из поисковых систем, или из конкретного документа, предоставленного пользователем.

Производительность GopherCite была измерена путем человеческой оценки ответов модели, которые были признаны “высококачественными” в 80% случаев на наборе данных NaturalQuestions от Google и в 67% случаев на наборе данных ELI5.

Цитируя ложь

Однако, когда GopherCite был протестирован на наборе данных TruthfulQA от Оксфордского университета, ответы модели были редко оценены как правдивые по сравнению с человеческими ответами.

Авторы предполагают, что это связано с тем, что концепция “поддержанных ответов” не объективно определяет истину сама по себе, поскольку полезность цитат источников может быть скомпрометирована другими факторами, такими как возможность того, что автор цитаты сам “галлюцинирует” (т.е. пишет о вымышленных мирах, производит рекламный контент или фантастическирует неаутентичный материал.

Случаи GopherCite, когда правдоподобие не обязательно означает ‘истину’.

По сути, становится необходимым различать “поддержанные” и “правдивые” в таких случаях. Человеческая культура в настоящее время намного опережает машинное обучение в плане использования методологий и рамок, предназначенных для получения объективных определений истины, и даже там, родное состояние “важной” истины, кажется, является спором и маргинальным отрицанием.

Проблема является рекурсивной в архитектурах NLG, которые стремятся разработать определительные “подтверждающие” механизмы: человеческий консенсус подвергается внешней оценке как эталон истины через аутсорсинговые модели типа AMT, где человеческие оценщики (и те другие люди, которые посредничают в спорах между ними) сами по себе предвзяты и предвзяты.

Например, первые эксперименты с GopherCite используют модель “супер-оценщика”, чтобы выбрать лучших человеческих субъектов для оценки вывода модели, выбирая только тех оценщиков, которые набрали не менее 85% по сравнению с набором обеспечения качества. Наконец, было выбрано 113 супер-оценщиков для этой задачи.

Скриншот приложения сравнения, используемого для оценки вывода GopherCite.

Справедливо сказать, что это идеальная картина непобедимой фрактальной погони: набор обеспечения качества, используемый для оценки оценщиков, сам по себе является еще одним “человечески определенным” метриком истины, как и набор TruthfulQA от Оксфордского университета, против которого GopherCite был признан неудовлетворительным.

В плане поддержанных и “аутентифицированных” контентов все, что системы NLG могут синтезировать из обучения на человеческих данных, – это человеческая разница и разнообразие, которое само по себе является плохо поставленной и нерешенной проблемой. У нас есть врожденная тенденция цитировать источники, которые поддерживают наши точки зрения, и говорить авторитетно и с убеждением в случаях, когда наша информация из источников может быть устаревшей, полностью неточной или намеренно неправильно представленной другими способами; и склонность распространять эти точки зрения напрямую в дикую природу, в масштабе и эффективности, не имеющем прецедентов в человеческой истории, прямо на пути каркасных рамок, которые питают новые системы NLG.

Следовательно, опасность, связанная с разработкой систем NLG, поддерживаемых цитатами, кажется связанной с непредсказуемой природой источниковых материалов. Любой механизм (например, прямая цитата и цитаты), который увеличивает доверие пользователей к выводу NLG, на текущем уровне техники добавляет опасно к аутентичности, но не к достоверности вывода.

Такие методы, вероятно, будут полезны, когда NLP, наконец, воссоздаст “калейдоскопы” вымышленного письма из “1984” Орвелла; но они представляют собой опасное преследование для объективного анализа документов, журналистики, основанной на ИИ, и других возможных “нехудожественных” применений машинного резюмирования и спонтанного или управляемого текстового поколения.

Опубликовано впервые 5 апреля 2022 года. Обновлено 15:29 по восточноевропейскому времени, чтобы исправить термин.