Штучний інтелект для перевірки упередженості у новинних статтях, доступний на Python

Дослідники з Канади, Індії, Китаю та Австралії співпрацювали над створенням безкоштовного пакету Python, який можна ефективно використовувати для виявлення та заміни «несправедливої мови» в новинних матеріалах.

Система, названа Dbias, використовує різні технології машинного навчання та бази даних для розробки триступеневого циклічного робочого процесу, який може доопрацювати упереджене текст до повернення неупередженого чи принаймні більш нейтрального варіанту.

Завантажена мова в новинному уривку визначається як «упереджена» і перетворюється на менш провокаційний варіант за допомогою Dbias. Джерело: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Система представляє собою багаторазовий і самодостатній потік, який можна встановити через Pip з Hugging Face, і інтегрувати до існуючих проєктів як додатковий етап, додаток або плагін.

У квітні подібна функціональність, реалізована в Google Docs піддалася критиці, зокрема через відсутність можливості редагування. Dbias, з іншого боку, можна більш вибірково тренувати на будь-якому корпусі новин, який бажає кінцевий користувач, зберігаючи можливість розробити індивідуальні директиви справедливості.

Критична різниця полягає в тому, що потік Dbias призначений для автоматичного перетворення «завантаженої мови» (слів, які додають критичний шар до фактичного спілкування) на нейтральну чи позбавлену прикрас мови, а не для навчання користувача постійно. По суті, кінцевий користувач визначить етичні фільтри та натренує систему відповідно; у підході Google Docs система – можливо, – навчає користувача в односторонньому порядку.

Концептуальна архітектура потоку Dbias.

За словами дослідників, Dbias є першою真正ою конфігуровною пакетом виявлення упередженості, на відміну від готових збірних проєктів, які характеризували цю підгалузь обробки природної мови (NLP) до цього часу.

Нова робота опублікована під назвою Підхід до забезпечення справедливості в новинних статтях, і надійшла від учасників Університету Торонто, Торонтського метрополітенського університету, Управління екологічних ресурсів у Бангалорі, Академії наук DeepBlue в Китаї та Університету Сіднея.

Метод

Перший модуль у Dbias — Виявлення упередженості, який використовує пакет DistilBERT — високооптимізовану версію досить ресурсоємної BERT від Google. Для проєкту DistilBERT був доопрацьований на наборі даних Media Bias Annotation (MBIC).

MBIC складається з новинних статей з різних джерел, включаючи Huffington Post, USA Today і MSNBC. Дослідники використали розширений варіант набору даних.

Хоча первинні дані були анотовані працівниками, яких залучили через краудсорсинг (метод, який піддався критиці наприкінці 2021 року), дослідники нової роботи змогли визначити додаткові неанотовані випадки упередженості в наборі даних і додали їх вручну. Визначені випадки упередженості стосувалися раси, освіти, етнічної приналежності, мови, релігії та статі.

Наступний модуль, Визнання упередженості, використовує Розпізнавання іменованих сутностей (NER), щоб індивідуалізувати упереджені слова з вхідного тексту. У роботі зазначається:

‘Наприклад, новина “Не купуйте псевдонаукову пропаганду про торнадо та зміну клімату” була класифікована як упереджена попереднім модулем виявлення упередженості, і модуль визнання упередженості тепер може ідентифікувати термін “псевдонаукова пропаганда” як упереджене слово.’

NER не призначений конкретно для цієї задачі, але раніше використовувався для виявлення упередженості, зокрема для проєкту 2021 року з Університету Дарема у Великій Британії.

Для цього етапу дослідники використали RoBERTa разом з англійським трансформаторним потоком NER SpaCy.

Наступний етап, Маскування упередженості, включає новий багаторазовий масок упереджених слів, який діє послідовно у випадках кількох визначених упереджених слів.

Завантажена мова замінюється на прагматичну мову на третьому етапі Dbias. Відзначте, що «мувінг» і «юзінг» еквівалентні одному й тому ж дії, хоча перший вважається зневажливим.

За необхідності, зворотний зв’язок з цього етапу буде направлений на початок потоку для подальшої оцінки до тих пір, поки не буде сгенеровано достатню кількість відповідних альтернативних фраз чи слів. Цей етап використовує Масковане моделювання мови (MLM) уздовж ліній, встановлених колаборацією 2021 року, яку очолили дослідники Facebook.

Зазвичай завдання MLM маскує 15% слів випадково, але потік Dbias вказує процесу використовувати визначені упереджені слова як вхідні дані.

Архітектуру було реалізовано та треновано на Google Colab Pro на NVIDIA P100 з 24 ГБ відеопам’яті при розмірі партії 16, використовуючи лише два мітки (упереджене і неупереджене).

Тести

Дослідники протестували Dbias проти п’яти порівняльних підходів: LG-TFIDF з логістичною регресією і TfidfVectorizer (TFIDF) вкладення слів; LG-ELMO; MLP-ELMO (фідфорвардна штучна нейронна мережа, яка містить вкладення ELMO); BERT; і RoBERTa.

Метрики, які використовувалися для тестів, включали точність (ACC), точність (PREC), відозву (Rec) і оцінку F1. Оскільки дослідники не мали інформації про будь-яку існуючу систему, яка могла б виконувати всі три завдання в одному потоці, було зроблено виняток для конкуруючих.frameworks, оцінюючи лише первинні завдання Dbias — виявлення та розпізнавання упередженості.

Результати випробувань Dbias.

Dbias успішно перевершив результати всіх конкуруючих.frameworks, включаючи ті, які мали більший відбиток обробки

У роботі зазначається:

‘Результат також показує, що глибокі нейронні вкладення в цілому можуть перевершити традиційні методи вкладення (наприклад, TFIDF) у завдання класифікації упередженості. Це видно з кращої продуктивності глибоких нейронних вкладень (тобто ELMO) порівняно з векторизацією TFIDF, коли їх використовують з LG.

‘Це, ймовірно, тому, що глибокі нейронні вкладення можуть краще захоплювати контекст слів у тексті в різних контекстах. Глибокі нейронні вкладення та глибокі нейронні методи (MLP, BERT, RoBERTa) також виконуються краще, ніж традиційний метод машинного навчання (LG).’

Дослідники також відзначають, що методи, засновані на трансформерах, перевершують конкуруючі методи у виявленні упередженості.

Додатковий тест включав порівняння між Dbias та різними варіантами SpaCy Core Web, включаючи core-sm (маленький), core-md (середній) і core-lg (великий). Dbias зміг очолити таблицю і в цих випробуваннях:

Дослідники роблять висновок, спостерігаючи, що завдання виявлення упередженості загалом демонструють кращу точність у більших і дорожчих моделях, через – як вони припускають – збільшену кількість параметрів і даних. Вони також відзначають, що ефективність майбутньої роботи в цій галузі залежатиме від більших зусиль щодо анотації високоякісних наборів даних.

Ліс та дерева

Надіяється, що такий проект визнання упередженості буде включений до.frameworks, які зможуть бачити менш міопічно, і враховувати те, що вибір будь-якої конкретної історії сам по собі є актом упередженості, який потенційно керується не тільки статистикою переглядів.

Перша публікація 14 липня 2022 року.