Новое исследование пытается улучшить алгоритмы обнаружения речи ненависти

Компании социальных сетей, особенно Twitter, давно подвергаются критике за то, как они помечают речь и решают, какие аккаунты блокировать. Основная проблема почти всегда связана с алгоритмами, которые они используют для мониторинга онлайн-публикаций. Системы искусственного интеллекта далеки от совершенства в этом задании, но постоянно ведется работа по их улучшению.

В эту работу входит новое исследование из Университета Южной Калифорнии, которое пытается уменьшить определенные ошибки, которые могут привести к расовой предвзятости.

Неспособность распознавать контекст

Одна из проблем, которая не получает достаточного внимания, связана с алгоритмами, предназначенными для предотвращения распространения речи ненависти, но которые на самом деле усиливают расовую предвзятость. Это происходит, когда алгоритмы не распознают контекст и в итоге помечают или блокируют твиты из групп меньшинств.

Самая большая проблема с алгоритмами в отношении контекста заключается в том, что они слишком чувствительны к определенным групповым идентификаторам, таким как «черный», «гей» и «трансгендер». Алгоритмы считают эти идентификаторы классификаторами речи ненависти, но они часто используются членами этих групп, и контекст имеет важное значение.

В попытке решить эту проблему слепоты контекста исследователи создали более контекстно-чувствительный классификатор речи ненависти. Новый алгоритм менее вероятно неправильно пометит публикацию как речь ненависти.

Алгоритм

Исследователи разработали новые алгоритмы, учитывая два новых фактора: контекст в отношении групповых идентификаторов и наличие других признаков речи ненависти в публикации, таких как деуманизирующий язык.

Брендан Кеннеди – аспирант по компьютерным наукам и соавтор исследования, опубликованного 6 июля на ACL 2020.

«Мы хотим приблизить обнаружение речи ненависти к реальному применению», – сказал Кеннеди.

«Модели обнаружения речи ненависти часто «ломаются» или генерируют плохие прогнозы, когда вводятся в реальные данные, такие как социальные сети или другие онлайн-тексты, потому что они предвзяты данными, на которых они обучены, ассоциируя появление социальных идентификаторов с речью ненависти».

Причина того, что алгоритмы часто неточны, заключается в том, что они обучаются на несбалансированных наборах данных с чрезвычайно высокими уровнями речи ненависти. Из-за этого алгоритмы не учатся обращаться с тем, как выглядят социальные сети в реальном мире.

Профессор Сян – эксперт в области обработки естественного языка.

«Для моделей важно не игнорировать идентификаторы, а соответствовать им правильному контексту», – сказал Рен.

«Если вы обучите модель на несбалансированном наборе данных, модель начинает распознавать странные закономерности и блокировать пользователей неправомерно».

Чтобы протестировать алгоритм, исследователи использовали случайную выборку текста из двух социальных сетей, имеющих высокий уровень речи ненависти. Текст был сначала помечен людьми как предвзятый или деуманизирующий. Модель государственного уровня была затем измерена против модели исследователей по неправильному пометке не-речи ненависти, с использованием 12 500 статей New York Times без речи ненависти. В то время как модели государственного уровня смогли достичь 77% точности в определении речи ненависти и не-речи ненависти, модель исследователей была выше – 90%.

«Эта работа сама по себе не делает обнаружение речи ненависти идеальным, это огромный проект, над которым работают многие, но она делает постепенный прогресс», – сказал Кеннеди.

«Помимо предотвращения цензуры постов в социальных сетях членов защищенных групп, мы надеемся, что наша работа поможет обеспечить, чтобы обнаружение речи ненависти не наносило ненужного вреда, укрепляя ложные ассоциации предвзятости и деуманизации с социальными группами».