Погляд Anderson

Інструмент ШІ для перевірки упередженості новинних статей, доступний у Python

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиDbias — це перший налаштовуваний пакет для виявлення упереджень у новинних статтях.
Показати більше
  • Dbias — це перший налаштовуваний пакет для виявлення упереджень у новинних статтях.
  • Конвеєр автоматично перетворює завантажену мову на нейтральний текст, а не навчає користувачів.
  • Dbias перевершив усі конкуруючі фреймворки, включаючи BERT та RoBERTa, у виявленні упереджень.

Дослідники з Канади, Індії, Китаю та Австралії співпрацювали над створенням безкоштовного пакету Python, який можна ефективно використовувати для виявлення та заміни «несправедливої мови» в новинних матеріалах.

Система, названа Dbias, використовує різні технології машинного навчання та бази даних для розробки триступеневого циклічного робочого процесу, який може доопрацювати упереджений текст до повернення неупередженого чи принаймні більш нейтрального варіанту.

Емоційно забарвлена мова в новинному уривку визначається як «упереджена» і перетворюється на менш провокаційний варіант за допомогою Dbias. Джерело: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Емоційно забарвлена мова в новинному уривку визначається як «упереджена» і перетворюється на менш провокаційний варіант за допомогою Dbias. Джерело: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Система представляє собою багаторазовий і самодостатній потік, який можна встановити через Pip з Hugging Face, і інтегрувати до існуючих проєктів як додатковий етап, додаток або плагін.

У квітні подібна функціональність, реалізована в Google Docs піддалася критиці, зокрема через відсутність можливості редагування. Dbias, з іншого боку, можна більш вибірково тренувати на будь-якому корпусі новин, який бажає кінцевий користувач, зберігаючи можливість розробити власні правила справедливості.

Критична різниця полягає в тому, що потік Dbias призначений для автоматичного перетворення «емоційно забарвленої мови» (слів, які додають критичний шар до фактичного спілкування) на нейтральну чи звичайну мову, а не для навчання користувача постійно. По суті, кінцевий користувач визначить етичні фільтри та натренує систему відповідно; у підході Google Docs система – можливо, – навчає користувача в односторонньому порядку.

Концептуальна архітектура потоку Dbias.

Концептуальна архітектура потоку Dbias.

За словами дослідників, Dbias є першим справді налаштовуваним пакетом виявлення упередженості, на відміну від готових збірних проєктів, які характеризували цю підгалузь обробки природної мови (NLP) до цього часу.

Нова робота опублікована під назвою Підхід до забезпечення справедливості в новинних статтях, і надійшла від учасників Університету Торонто, Торонтського метрополітенського університету, Environmental Resources Management у Бангалорі, Академії наук DeepBlue в Китаї та Університету Сіднея.

Метод

Перший модуль у Dbias — Виявлення упередженості, який використовує пакет DistilBERT — високооптимізовану версію досить ресурсоємної BERT від Google. Для проєкту DistilBERT був доопрацьований на наборі даних Media Bias Annotation (MBIC).

MBIC складається з новинних статей з різних джерел, включаючи Huffington Post, USA Today і MSNBC. Дослідники використали розширений варіант набору даних.

Хоча первинні дані були анотовані працівниками, яких залучили через краудсорсинг (метод, який піддався критиці наприкінці 2021 року), дослідники нової роботи змогли визначити додаткові неанотовані випадки упередженості в наборі даних і додали їх вручну. Визначені випадки упередженості стосувалися раси, освіти, етнічної приналежності, мови, релігії та статі.

Наступний модуль, Розпізнавання упереджених висловів, використовує Розпізнавання іменованих сутностей (NER), щоб індивідуалізувати упереджені слова з вхідного тексту. У роботі зазначається:

‘Наприклад, новина “Не вірте псевдонауковій сенсаційності про торнадо та зміну клімату” була класифікована як упереджена попереднім модулем виявлення упередженості, і модуль розпізнавання упереджених висловів тепер може ідентифікувати термін “псевдонаукова сенсаційність” як упереджене слово.’

NER не призначений конкретно для цієї задачі, але раніше використовувався для виявлення упередженості, зокрема для проєкту 2021 року з Університету Дарема у Великій Британії.

Для цього етапу дослідники використали RoBERTa разом з англійським трансформаторним потоком NER SpaCy.

Наступний етап, Маскування упередженості, включає новий метод із кількома масками для виявлених упереджених слів, який працює послідовно, якщо таких слів кілька.

Емоційно забарвлена мова замінюється на прагматичну мову на третьому етапі Dbias. Відзначте, що mouthing і using позначають ту саму дію, хоча перший вважається зневажливим.

Емоційно забарвлена мова замінюється на прагматичну мову на третьому етапі Dbias. Відзначте, що mouthing і using позначають ту саму дію, хоча перший вважається зневажливим.

За необхідності, зворотний зв’язок з цього етапу буде направлений на початок потоку для подальшої оцінки до тих пір, поки не буде згенеровано достатню кількість відповідних альтернативних фраз чи слів. Цей етап використовує Масковане моделювання мови (MLM) відповідно до підходу, розробленого колаборацією 2021 року, яку очолили дослідники Facebook.

Зазвичай завдання MLM маскує 15% слів випадково, але потік Dbias вказує процесу використовувати визначені упереджені слова як вхідні дані.

Архітектуру було реалізовано та треновано на Google Colab Pro на NVIDIA (NVDA ) P100 з 24 ГБ відеопам’яті при розмірі партії 16, використовуючи лише дві мітки (упереджене і неупереджене).

Тести

Дослідники протестували Dbias проти п’яти порівняльних підходів: LG-TFIDF з логістичною регресією і TfidfVectorizer (TFIDF) вкладення слів; LG-ELMO; MLP-ELMO (фідфорвардна штучна нейронна мережа, яка містить вкладення ELMO); BERT; і RoBERTa.

Метрики, які використовувалися для тестів, включали загальну правильність (ACC), точність (PREC), повноту (Rec) і оцінку F1. Оскільки дослідники не мали інформації про будь-яку існуючу систему, яка могла б виконувати всі три завдання в одному потоці, було зроблено виняток для конкуруючих систем, оцінюючи лише первинні завдання Dbias — виявлення та розпізнавання упередженості.

Результати випробувань Dbias.

Результати випробувань Dbias.

Dbias успішно перевершив результати всіх конкуруючих систем, включаючи ті, які мали вищі обчислювальні потреби

У роботі зазначається:

‘Результат також показує, що глибокі нейронні вкладення в цілому можуть перевершити традиційні методи вкладення (наприклад, TFIDF) у завданні класифікації упередженості. Це видно з кращої продуктивності глибоких нейронних вкладень (тобто ELMO) порівняно з векторизацією TFIDF, коли їх використовують з LG.’

‘Це, ймовірно, тому, що глибокі нейронні вкладення можуть краще захоплювати контекст слів у тексті в різних контекстах. Глибокі нейронні вкладення та глибокі нейронні методи (MLP, BERT, RoBERTa) також працюють краще, ніж традиційний метод машинного навчання (LG).’

Дослідники також відзначають, що методи, засновані на трансформерах, перевершують конкуруючі методи у виявленні упередженості.

Додатковий тест включав порівняння між Dbias та різними варіантами SpaCy Core Web, включаючи core-sm (маленький), core-md (середній) і core-lg (великий). Dbias зміг очолити таблицю і в цих випробуваннях:

Дослідники роблять висновок, спостерігаючи, що завдання виявлення упередженості загалом демонструють кращу точність у більших і дорожчих моделях, через – як вони припускають – збільшену кількість параметрів і даних. Вони також відзначають, що ефективність майбутньої роботи в цій галузі залежатиме від більших зусиль щодо анотації високоякісних наборів даних.

Ліс та дерева

Сподіваємося, що такі проєкти детального розпізнавання упередженості з часом увійдуть до систем, здатних бачити ширшу картину. Вони мають враховувати, що сам вибір певної теми для висвітлення є проявом упередженості, на який можуть впливати не лише звітні показники переглядів.

 

Перша публікація 14 липня 2022 року.

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai