Новое исследование пытается улучшить алгоритмы обнаружения ненавистной речи

Компании социальных сетей, особенно Twitter, давно подвергаются критике за то, как они помечают речь и решают, какие аккаунты блокировать. Основная проблема почти всегда связана с алгоритмами, которые они используют для мониторинга онлайн-постов. Системы искусственного интеллекта далеко не идеальны, когда речь идет об этой задаче, но постоянно ведется работа по их улучшению.

В эту работу входит новое исследование из Университета Южной Калифорнии, которое пытается уменьшить определенные ошибки, которые могут привести к расовым предубеждениям.

Неспособность распознавать контекст

Одной из проблем, которая не получает достаточного внимания, является то, что алгоритмы, предназначенные для предотвращения распространения ненавистной речи, на самом деле усиливают расовую предвзятость. Это происходит, когда алгоритмы не распознают контекст и в итоге помечают или блокируют твиты из групп меньшинств.

Самой большой проблемой с алгоритмами в отношении контекста является то, что они слишком чувствительны к определенным групповым идентификаторам, таким как «черный», «гей» и «трансгендер». Алгоритмы считают эти классификаторы ненавистной речи, но они часто используются членами этих групп, и контекст имеет важное значение.

В попытке решить эту проблему слепоты контекста исследователи создали более контекстно-чувствительный классификатор ненавистной речи. Новый алгоритм менее вероятно неправильно помечает пост как ненавистную речь.

Алгоритм

Исследователи разработали новые алгоритмы, учитывая два новых фактора: контекст в отношении групповых идентификаторов и наличие других особенностей ненавистной речи в посте, таких как деуманизирующий язык.

Брендан Кеннеди – аспирант по информатике и соавтор исследования, опубликованного 6 июля на ACL 2020.

«Мы хотим приблизить обнаружение ненавистной речи к готовности к реальному применению», – сказал Кеннеди.

«Модели обнаружения ненавистной речи часто «ломаются» или генерируют плохие прогнозы, когда вводятся в реальные данные, такие как социальные сети или другие онлайн-тексты, потому что они предвзяты данными, на которых они обучены ассоциировать появление социальных идентификаторов с ненавистной речью».

Причина, по которой алгоритмы часто неточны, заключается в том, что они обучаются на несбалансированных наборах данных с чрезвычайно высокими уровнями ненавистной речи. Из-за этого алгоритмы не учатся справляться с тем, как выглядит социальная сеть в реальном мире.

Профессор Сян – эксперт в области обработки естественного языка.

«Важно, чтобы модели не игнорировали идентификаторы, а соответствовали им правильному контексту», – сказал Рен.

«Если вы обучаете модель на несбалансированном наборе данных, модель начинает распознавать странные закономерности и блокировать пользователей неправомерно».

Чтобы протестировать алгоритм, исследователи использовали случайную выборку текста из двух социальных сетей, которые имеют высокий уровень ненавистной речи. Текст был сначала помечен людьми как предвзятый или деуманизирующий. Модель государственного уровня была затем измерена против модели исследователей для неправильного помечания нененавистной речи, с использованием 12 500 статей New York Times без ненавистной речи. Хотя модели государственного уровня смогли достичь 77% точности в определении ненавистной и нененавистной речи, модель исследователей была выше – 90%.

«Эта работа сама по себе не делает обнаружение ненавистной речи идеальным, это огромный проект, над которым работают многие, но она делает постепенный прогресс», – сказал Кеннеди.

«В дополнение к предотвращению социальных сетей от неправильной цензуры постов членов защищенных групп, мы надеемся, что наша работа поможет обеспечить, чтобы обнаружение ненавистной речи не наносило ненужного вреда, укрепляя сомнительные ассоциации предубеждения и деуманизации с социальными группами».