Управляемая ИИ система проверки предвзятости для новостных статей, доступная на Python

Исследователи из Канады, Индии, Китая и Австралии объединили усилия для создания свободно распространяемого пакета Python, который можно эффективно использовать для выявления и замены «недобросовестного языка» в новостных текстах.

Система под названием Дбиас, использует различные технологии машинного обучения и базы данных для разработки трехэтапного кругового рабочего процесса, который может улучшить предвзятый текст пока он не вернет непредвзятую или, по крайней мере, более нейтральную версию.

Ненормативная лексика в новостном фрагменте, обозначенном как «предвзятый», преобразуется Dbias в менее провокационный вариант. Источник: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Система представляет собой многоразовый и автономный конвейер, который может быть установлен через пип от Hugging Face и интегрированы в существующие проекты в качестве дополнительной сцены, надстройки или плагина.

В апреле аналогичная функциональность реализована в Google Docs. подвергся критике, не в последнюю очередь из-за отсутствия возможности редактирования. Dbias, с другой стороны, может быть более избирательно обучен любому своду новостей, который пожелает конечный пользователь, сохраняя при этом возможность разрабатывать индивидуальные рекомендации по обеспечению справедливости.

Ключевое отличие заключается в том, что конвейер Dbias предназначен для автоматического преобразования «нагруженного языка» (слов, добавляющих критический уровень фактическому общению) в нейтральный или прозаический язык, а не для постоянного обучения пользователя. По сути, конечный пользователь сам задаёт этические фильтры и соответствующим образом обучает систему; в подходе Google Docs система, можно сказать, обучает пользователя, но в одностороннем порядке.

Концептуальная архитектура рабочего процесса Dbias.

По мнению исследователей, Dbias — это первый по-настоящему настраиваемый пакет обнаружения смещения, в отличие от готовых проектов сборки, которые до сих пор характеризовали этот подсектор обработки естественного языка (NLP).

Команда Новый документ называется Подход к обеспечению справедливости в новостных статьях, и исходит от участников из Университета Торонто, Столичного университета Торонто, Управления экологическими ресурсами в Бангалоре, Академии наук DeepBlue в Китае и Университета Сиднея.

Способ доставки

Первый модуль в Dbias Обнаружение предвзятости, который использует ДистилБЕРТ пакет – высокооптимизированная версия довольно ресурсоемкого пакета Google БЕРТ. Для проекта DistilBERT был настроен на аннотацию Media Bias Annotation (МБИК) набор данных.

MBIC состоит из новостных статей из различных источников, включая Huffington Post, USA Today и MSNBC. Исследователи использовали расширенную версию набора данных.

Хотя исходные данные были аннотированы краудсорсинговыми работниками (метод, попал под огонь в конце 2021 года) исследователи новой статьи смогли выявить дополнительные немаркированные случаи предвзятости в наборе данных и добавили их вручную. Выявленные случаи предвзятости связаны с расой, образованием, этнической принадлежностью, языком, религией и полом.

Следующий модуль, Признание предвзятости, использует Признание названного лица (NER) для выделения предвзятых слов из входного текста. В документе говорится:

«Например, новость «Не верьте псевдонаучной шумихе о торнадо и изменении климата» была классифицирована как предвзятая предыдущим модулем обнаружения предвзятости, а модуль распознавания предвзятости теперь может идентифицировать термин «псевдонаучная шумиха» как предвзятое слово».

NER специально не предназначен для этой задачи, но использовался до для выявления предвзятости, особенно для Проект 2021 из Даремского университета в Великобритании.

На этом этапе исследователи использовали РОБЕРТа в сочетании с конвейером SpaCy English Transformer NER.

Следующий этап, Маскировка смещения, включает в себя новую множественную маску идентифицированных слов смещения, которая работает последовательно в случаях множественных идентифицированных слов смещения.

На третьем этапе предвзятости грубая риторика заменяется прагматичной. Обратите внимание, что «проговаривание» и «использование» приравниваются к одному и тому же действию, хотя первое считается насмешливым.

При необходимости обратная связь с этого этапа будет отправлена ​​обратно в начало конвейера для дальнейшей оценки до тех пор, пока не будет сгенерировано несколько подходящих альтернативных фраз или слов. На этом этапе используется моделирование маскированного языка (MLM) по линиям, установленным 2021 сотрудничество во главе с Facebook Research.

Обычно задача MLM маскирует 15% слов случайным образом, но рабочий процесс Dbias вместо этого говорит процессу принимать идентифицированные необъективные слова в качестве входных данных.

Архитектура была реализована и обучена в Google Colab Pro на NVIDIA P100 с 24 ГБ видеопамяти при размере пакета 16 с использованием всего двух меток (пристрастный и беспристрастный).

Tests

Исследователи протестировали Dbias в сравнении с пятью сопоставимыми подходами: LG-TFIDF с Логистическая регрессия и TfidfVectorizer (TFIDF) вложения слов; LG-ЭЛМО; MLP-ELMO (искусственная нейронная сеть с прямой связью, содержащая вложения ELMO); БЕРТ; и РОБЕРТа.

Для тестирования использовались следующие метрики: точность (ACC), прецизионность (PREC), полнота (Rec) и оценка F1. Поскольку исследователям не было известно ни об одной существующей системе, способной выполнить все три задачи в рамках одного конвейера, для конкурирующих фреймворков было сделано исключение, и оценивались только основные задачи Dbias — обнаружение и распознавание предубеждений.

Результаты испытаний Dbias.

Dbias удалось превзойти результаты всех конкурирующих фреймворков, в том числе тех, которые требуют больше вычислительной мощности.

В документе говорится:

«Результат также показывает, что глубокие нейронные встраивания в целом могут превзойти традиционные методы встраивания (например, TFIDF) в задаче классификации смещения. Об этом свидетельствует более высокая производительность встраивания глубоких нейронных сетей (например, ELMO) по сравнению с векторизацией TFIDF при использовании с LG.

«Вероятно, это связано с тем, что глубокое нейронное встраивание позволяет лучше улавливать контекст слов в тексте в разных контекстах. Глубокое нейронное встраивание и методы глубокого нейронного встраивания (MLP, BERT, RoBERTa) также работают лучше, чем традиционный метод машинного обучения (LG)».

Исследователи также отмечают, что методы на основе Transformer превосходят конкурирующие методы в обнаружении предвзятости.

Дополнительный тест включал сравнение между Dbias и различными вариантами SpaCy Core Web, включая core-sm (маленький), core-md (средний) и core-lg (большой). Dbias смог возглавить правление и в этих испытаниях:

Исследователи приходят к выводу, что задачи распознавания предвзятости обычно показывают лучшую точность в более крупных и дорогих моделях из-за, как они предполагают, большего количества параметров и точек данных. Они также отмечают, что эффективность будущей работы в этой области будет зависеть от больших усилий по аннотированию высококачественных наборов данных.

Лес и деревья

Будем надеяться, что такой проект детального распознавания предвзятости в конечном итоге будет включен в структуры поиска предвзятости, которые смогут занять менее близорукую точку зрения и принять во внимание, что выбор освещать какую-либо конкретную историю сам по себе является актом предвзятости, который потенциально обусловлен чем-то большим, чем просто сообщенная статистика просмотров.

Впервые опубликовано 14 июля 2022 г.