Новий дослід спробує покращити алгоритми виявлення ненавистної мови

Компанії соціальних медіа, особливо Twitter, давно піддаються критиці за те, як вони позначають мову та вирішують, які облікові записи заблокувати. Підосновною проблемою майже завжди є алгоритми, які вони використовують для моніторингу онлайн-постів. Системи штучного інтелекту далеко не досконалі, коли справа доходить до цього завдання, але постійно проводиться робота над їх покращенням.

До цієї роботи входить новий дослід з Університету Південної Каліфорнії, який намагається зменшити певні помилки, які можуть призвести до расової упередженості.

Нездатність розпізнавати контекст

Однією з проблем, яка не отримує достатньої уваги, є алгоритми, призначені для зупинки поширення ненавистної мови, але які насправді посилюють расову упередженість. Це відбувається, коли алгоритми не можуть розпізнавати контекст і закінчують позначенням або блокуванням твітів меншин.

Найбільша проблема з алгоритмами щодо контексту полягає в тому, що вони надто чутливі до певних термінів, що ідентифікують групи, таких як “чорний”, “гей” і “трансгендер”. Алгоритми вважають ці класифікатори ненавистної мови, але вони часто використовуються членами цих груп, і контекст важливий.

У спробі вирішити цю проблему сліпості контексту дослідники створили більш контекстно-чутливий класифікатор ненавистної мови. Новий алгоритм менш схильний неправильно позначити повідомлення як ненавистну мову.

Алгоритм

Дослідники розробили новий алгоритм з урахуванням двох нових факторів: контексту щодо ідентифікаторів групи та наявності інших ознак ненавистної мови в повідомленні, таких як делюдиналізуюча мова.

Брендан Кеннеді – аспірант кафедри комп’ютерних наук і співавтор дослідження, яке було опубліковано 6 липня на ACL 2020.

“Ми хочемо наблизити виявлення ненавистної мови до готовності до застосування в реальному світі”, – сказав Кеннеді.

“Моделі виявлення ненавистної мови часто “ламаються” або генерують погані передбачення, коли їх вводять у реальні дані, такі як соціальні медіа або інші онлайн-тексти, оскільки вони упереджені даними, на яких вони тренуються, щоб асоціювати появу соціальних ідентифікаторів з ненавистною мовою”.

Причина того, що алгоритми часто неточні, полягає в тому, що вони тренуються на несбалансованих наборах даних з дуже високими рівнями ненавистної мови. Через це алгоритми не можуть навчитися обробляти те, як виглядають соціальні медіа в реальному світі.

Професор Сян – експерт у галузі обробки природної мови.

“Важливо, щоб моделі не ігнорували ідентифікатори, а співставляли їх з правильним контекстом”, – сказав Рен.

“Якщо ви навчіть модель з несбалансованого набору даних, модель починає видобувати дивні закономірності та блокувати користувачів недоречно”.

Для тестування алгоритму дослідники використали випадкову вибірку текстів з двох сайтів соціальних медіа, які мають високий рівень ненавистної мови. Тексти спочатку були позначені людьми як упереджені або делюдиналізуючі. Модель стану мистецтва була потім виміряна проти моделі дослідників за неправильним позначенням не ненавистної мови, за допомогою 12 500 статей New York Times без ненавистної мови. Хоча моделі стану мистецтва могли досягти 77% точності в ідентифікації ненавистної мови проти не ненавистної мови, модель дослідників була вищою – 90%.

“Ця робота сама по собі не робить виявлення ненавистної мови досконалим, це великий проект, над яким працюють багато людей, але вона робить інкрементний прогрес”, – сказав Кеннеді.

“Крім того, щоб запобігти тому, щоб пости в соціальних медіа від членів захищених груп були неправильно цензурою, ми сподіваємося, що наша робота допоможе забезпечити, щоб виявлення ненавистної мови не завдає зайвої шкоди, посилюючи несправжні асоціації упередженості та делюдиналізації з соціальними групами”.