Інструмент перевірки упередженості, керований ІІ, для статей новин, доступний на Python

Дослідники з Канади, Індії, Китаю та Австралії співпрацювали над створенням безкоштовного пакету Python, який можна ефективно використовувати для виявлення та заміни «несправедливої мови» в копіях новин.

Система, озаглавлена Dbias, використовує різні технології машинного навчання та бази даних для розробки триступеневого циклічного робочого процесу, який може доопрацювати упереджене текст до тих пір, поки не поверне незаангажовану, або хоча б більш нейтральну версію.

Завантажена мова в новинному фрагменті визначається як «упереджена» і перетворюється на менш провокаційну версію за допомогою Dbias. Джерело: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Система представляє собою багаторазовий та самодостатній конвеєр, який можна встановити через Pip з Hugging Face та інтегрувати до існуючих проєктів як додатковий етап, доповнення або плагін.

У квітні подібна функціональність, реалізована в Google Docs піддалася критиці, зокрема через відсутність можливості редагування. Dbias, з іншого боку, можна більш вибірково тренувати на будь-якому корпусі новин, який бажає кінцевий користувач, зберігаючи можливість розробляти індивідуальні керівництва щодо справедливості.

Критична різниця полягає в тому, що конвеєр Dbias призначений для автоматичного перетворення «завантаженої мови» (слів, які додають критичний шар до фактичного спілкування) на нейтральну або просту мову, а не для навчання користувача на постійній основі. По суті, кінцевий користувач визначить етичні фільтри та тренуватиме систему відповідно; у підході Google Docs система – можна сказати – тренує користувача в односторонньому порядку.

Концептуальна архітектура конвеєра Dbias.

Згідно з дослідниками, Dbias є першою справді конфігуровною пакетом виявлення упередженості, на відміну від проєктів збірки, які характеризували цю підсферу обробки природної мови (NLP) до цього часу.

Нова робота під назвою Підхід до забезпечення справедливості в статтях новин, надходить від учасників Університету Торонто, Торонтського метрополітенського університету, Управління екологічних ресурсів в Бангалорі, Академії наук DeepBlue в Китаї та Університету Сіднея.

Метод

Перший модуль у Dbias — Виявлення упередженості, який використовує пакет DistilBERT — високоефективну версію досить ресурсоємної BERT від Google. Для проєкту DistilBERT був доопрацьований на наборі даних Медіа-Біас-Анотація (MBIC).

MBIC складається зі статей новин з різних джерел мас-медіа, включаючи The Huffington Post, USA Today та MSNBC. Дослідники використали розширений варіант набору даних.

Хоча первинні дані були анотовані працівниками-кровами (метод, який піддався критиці наприкінці 2021 року), дослідники нової роботи змогли визначити додаткові неанотовані випадки упередженості в наборі даних та додати їх вручну. Виявлені випадки упередженості були пов’язані з расою, освітою, етнічністю, мовою, релігією та статтю.

Наступний модуль, Розпізнавання упередженості, використовує Розпізнавання іменованих сутностей (NER), щоб індивідуалізувати упереджені слова з вхідного тексту. У роботі зазначається:

‘Наприклад, новина “Не купуйте псевдонаукову ажіотаж навколо торнадо та зміни клімату” була класифікована як упереджена попереднім модулем виявлення упередженості, а модуль розпізнавання упередженості тепер може ідентифікувати термін “псевдонаукова ажіотаж” як упереджене слово.’

NER не призначений конкретно для цієї задачі, але раніше використовувався для ідентифікації упередженості, зокрема для проєкту 2021 року з Університету Дарема у Великій Британії.

Для цього етапу дослідники використали RoBERTa у поєднанні з конвеєром NER SpaCy English Transformer.

Наступний етап, Маскування упередженості, включає в себе новий багаторазовий масок для ідентифікованих упереджених слів, який працює послідовно у випадках кількох ідентифікованих упереджених слів.

Завантажена мова замінюється на прагматичну мову на третьому етапі Dbias. Відзначте, що «мувінг» і «юзінг» еквівалентні одній і тій же дії, хоча перша вважається зневажливою.

За необхідності, зворотний зв’язок з цього етапу буде направлений на початок конвеєра для подальшої оцінки до тих пір, поки не буде сгенеровано певна кількість прийнятних альтернативних фраз або слів. Цей етап використовує Модель маскування мови (MLM) згідно з лініями, встановленими співпрацею 2021 року, очоленою Facebook Research.

Зазвичай завдання MLM маскує 15% слів випадково, але конвеєр Dbias вказує процесу використовувати ідентифіковані упереджені слова як вхідні дані.

Архітектуру було реалізовано та треновано на Google Colab Pro на NVIDIA P100 з 24 ГБ відеопам’яті при розмірі партії 16, використовуючи лише два мітки (упереджене та неупереджене).

Тести

Дослідники протестували Dbias проти п’яти порівняльних підходів: LG-TFIDF з логістичною регресією та TfidfVectorizer (TFIDF) вбудовування слів; LG-ELMO; MLP-ELMO (фідфорвардна штучна нейронна мережа, що містить вбудовування ELMO); BERT; та RoBERTa.

Метрики, використані для тестів, були точністю (ACC), точністю (PREC), відгуком (Rec) та оцінкою F1. Оскільки дослідники не мали жодної інформації про будь-яку існуючу систему, яка могла б виконувати всі три завдання в одному конвеєрі, було зроблено виняток для конкуруючих框, оцінюючи лише основні завдання Dbias — виявлення та розпізнавання упередженості.

Результати випробувань Dbias.

Dbias успішно перевершив результати всіх конкуруючих框, включаючи ті, які мають більший відбиток обробки

У роботі зазначається:

‘Результат також показує, що глибокі нейронні вбудовування загалом можуть перевершити традиційні методи вбудовування (наприклад, TFIDF) у задачі класифікації упередженості. Це видно з кращої продуктивності глибоких нейронних вбудовувань (наприклад, ELMO) у порівнянні з векторизацією TFIDF при використанні з LG. ‘

‘Це, ймовірно, пояснюється тим, що глибокі нейронні вбудовування можуть краще захоплювати контекст слів у тексті в різних контекстах. Глибокі нейронні вбудовування та глибокі нейронні методи (MLP, BERT, RoBERTa) також виконують краще, ніж традиційний метод машинного навчання (LG).’

Дослідники також відзначають, що методи, засновані на трансформерах, перевершують конкуруючі методи у виявленні упередженості.

Додатковий тест включав порівняння між Dbias та різними варіантами SpaCy Core Web, включаючи core-sm (маленький), core-md (середній) та core-lg (великий). Dbias також очолив таблицю в цих випробуваннях:

Дослідники роблять висновок, спостерігаючи, що завдання розпізнавання упередженості загалом показують кращу точність у більших і дорожчих моделях, через — як вони припускають — збільшену кількість параметрів та даних. Вони також відзначають, що ефективність майбутньої роботи в цій галузі буде залежати від більших зусиль щодо анотації високоякісних наборів даних.

Ліс та дерева

Надіємось, що такий проект виявлення упередженості з високим рівнем деталізації в кінцевому підсумку буде інтегрований до рамок, що шукають упередженість, які能够 розглядати менш міопічний погляд та враховувати той факт, що вибір будь-якої конкретної історії сам по собі є актом упередженості, який потенційно керується більшим, ніж просто звітні статистичні дані про перегляди.

Перша публікація 14 липня 2022 року.