Обнаружение речи ненависти с помощью ИИ для борьбы со стереотипами и дезинформацией

Сегодня интернет является жизненной артерией глобальной связи и общения. Однако вместе с этой беспрецедентной онлайн-связью мы также сталкиваемся с темной стороной человеческого поведения, то есть речью ненависти, стереотипами и вредным контентом. Эти проблемы проникли в социальные сети, онлайн-форумы и другие виртуальные пространства, нанося долгосрочный ущерб отдельным лицам и обществу. Поэтому необходимость обнаружения речи ненависти является крайне важной.

Согласно Pew Research Center, 41% американских взрослых говорят, что они лично столкнулись с интернет-абьюзом, и 25% являются жертвами серьезных преследований.

Чтобы создать более позитивную и уважительную онлайн-среду, крайне важно принять активные меры и использовать силу технологий. В этом отношении искусственный интеллект (ИИ) предоставляет инновационные решения для обнаружения и борьбы с речью ненависти и стереотипами.

Ограничения текущих методов смягчения и необходимость активных мер

Текущие меры по смягчению речи ненависти ограничены. Они не могут эффективно предотвратить распространение вредного контента в интернете. Эти ограничения включают:

• Реактивные подходы, в основном полагающиеся на человеческую модерацию и статические алгоритмы, не могут справиться с быстрым распространением речи ненависти.
• Огромный объем онлайн-контента перегружает человеческих модераторов, что приводит к задержкам в реакции и пропуску случаев вредной риторики.
• Кроме того, контекстуальное понимание и эволюционирующие языковые нюансы представляют собой проблемы для автоматизированных систем, чтобы точно определить и интерпретировать случаи речи ненависти.

Чтобы решить эти ограничения и создать более безопасную онлайн-среду, необходимо перейти к активным мерам. Принимая меры, основанные на ИИ, мы можем укрепить наши цифровые сообщества, способствуя инклюзивности и сплочению онлайн-мира.

Обнаружение и флагирование речи ненависти с помощью ИИ

В борьбе с речью ненависти ИИ становится мощным союзником, с алгоритмами машинного обучения (МО) для быстрого и точного обнаружения вредного контента. Анализируя огромные объемы данных, модели ИИ могут научиться распознавать закономерности и языковые нюансы, связанные с речью ненависти, что позволяет им эффективно категоризировать и реагировать на оскорбительный контент.

Чтобы обучить модели ИИ для точного обнаружения речи ненависти, используются методы обучения с учителем и без учителя. Обучение с учителем предполагает предоставление помеченных примеров речи ненависти и безвредного контента, чтобы научить модель различать эти две категории. Напротив, методы обучения без учителя и полуучителя используют непомеченные данные, чтобы развить понимание модели речи ненависти.

Использование методов контр-речи ИИ для борьбы с речью ненависти

Контр-речь становится мощной стратегией для борьбы с речью ненависти, напрямую оспаривая и решая вредные нарративы. Она предполагает создание убедительного и информативного контента для продвижения сочувствия, понимания и терпимости. Это позволяет отдельным лицам и сообществам активно участвовать в создании позитивной цифровой среды.

Хотя конкретные детали отдельных моделей контр-речи могут варьироваться в зависимости от технологии и подходов к разработке ИИ, некоторые общие особенности и методы включают:

• Генерация естественного языка (ГЯ): Модели контр-речи используют ГЯ для создания человеческих ответов в письменной или устной форме. Ответы являются связными и контекстно-релевантными для конкретного случая речи ненависти, которую они оспаривают.
• Анализ настроений: Модели контр-речи ИИ используют анализ настроений, чтобы оценить эмоциональный тон речи ненависти и адаптировать свои ответы соответственно. Это гарантирует, что контр-речь является как эффективной, так и сочувственной.
• Контекстуальное понимание: Анализируя контекст, окружающий речь ненависти, модели контр-речи могут создавать ответы, решающие конкретные проблемы или заблуждения, что способствует более эффективной и сосредоточенной контр-речи.
• Разнообразие данных: Чтобы избежать предубеждений и обеспечить справедливость, модели контр-речи обучаются на разнообразных наборах данных, представляющих различные точки зрения и культурные нюансы. Это помогает создавать инклюзивные и культурно-чувствительные ответы.
• Обучение на обратной связи пользователей: Модели контр-речи могут непрерывно улучшаться, обучаясь на обратной связи пользователей. Этот цикл обратной связи позволяет модели совершенствовать свои ответы на основе реальных взаимодействий, повышая ее эффективность со временем.

Примеры борьбы с речью ненависти с помощью ИИ

Реальный пример метода контр-речи ИИ – это “Метод Redirect“, разработанный Google’s Jigsaw и Moonshot CVE. Метод Redirect использует целевую рекламу, чтобы достичь людей, восприимчивых к экстремистским идеологиям и речи ненависти. Этот подход, основанный на ИИ, направлен на то, чтобы отговорить людей от участия во вредном контенте и продвигать сочувствие, понимание и отход от экстремистских убеждений.

Исследователи также разработали новую модель ИИ под названием BiCapsHate, которая является мощным инструментом против онлайн-речи ненависти, как сообщается в IEEE Transactions on Computational Social Systems. Она поддерживает двусторонний анализ языка, улучшая понимание контекста для точного определения ненавистного контента. Это достижение направлено на смягчение вредного воздействия речи ненависти на социальные сети, предлагая потенциал для более безопасных онлайн-взаимодействий.

Аналогично, исследователи в Университете Мичигана использовали ИИ для борьбы с онлайн-речью ненависти, используя подход под названием Rule By Example (RBE). Используя глубокое обучение, этот подход учит правила классификации речи ненависти на примерах вредного контента. Эти правила применяются к входному тексту, чтобы точно определить и предсказать онлайн-речь ненависти.

Этические соображения для моделей обнаружения речи ненависти

Чтобы максимизировать эффективность моделей контр-речи, основанных на ИИ, этические соображения являются крайне важными. Однако важно сбалансировать свободу слова и запрет на распространение вредного контента, чтобы избежать цензуры.

Прозрачность в разработке и развертывании моделей контр-речи ИИ является необходимой для создания доверия и подотчетности среди пользователей и заинтересованных сторон. Кроме того, обеспечение справедливости является равно важным, поскольку предубеждения в моделях ИИ могут увековечить дискриминацию и исключение.

Например, ИИ, предназначенный для обнаружения речи ненависти, может непреднамеренно усилить расовую предвзятость. Исследования показали, что ведущие модели ИИ для обнаружения речи ненависти были в 1,5 раза более вероятны пометить твиты афроамериканцев как оскорбительные. Они были в 2,2 раза более вероятны пометить твиты как речь ненависти, написанные на афроамериканском английском. Аналогичные доказательства были получены в исследовании 155 800 постов в Twitter, связанных с речью ненависти, подчеркивающих проблему решения расовой предвзятости в моделях ИИ для модерации контента.

В другом исследовании исследователи протестировали четыре системы ИИ для обнаружения речи ненависти и обнаружили, что все они испытывают трудности с точным определением токсичных предложений. Чтобы диагностировать точные проблемы в этих моделях обнаружения речи ненависти, они создали таксономию 18 типов речи ненависти, включая оскорбления и угрожающий язык. Они также подчеркнули 11 сценариев, которые сбивают с толку ИИ, таких как использование нецензурной лексики в безобидных заявлениях. В результате исследование произвело HateCheck, открытый набор данных из почти 4 000 примеров, направленный на улучшение понимания нюансов речи ненависти для моделей ИИ.

Осведомленность и цифровая грамотность

Борьба с речью ненависти и стереотипами требует активного и многогранного подхода. Поэтому повышение осведомленности и продвижение цифровой грамотности являются крайне важными для борьбы с речью ненависти и стереотипами.

Обучение людей о воздействии вредного контента способствует культуре сочувствия и ответственного онлайн-поведения. Стратегии, которые поощряют критическое мышление, наделяют пользователей возможностью различать легитимную дискуссию и речь ненависти, снижая распространение вредных нарративов. Кроме того, оснащение пользователей навыками для определения и эффективного реагирования на речь ненависти является крайне важным. Это позволит им бросить вызов и противостоять вредной риторике, способствуя более безопасной и уважительной цифровой среде.

По мере эволюции технологии ИИ потенциал решения проблемы речи ненависти и стереотипов с большей точностью и воздействием растет экспоненциально. Поэтому важно укрепить контр-речь, основанную на ИИ, как мощный инструмент для продвижения сочувствия и позитивного взаимодействия в интернете.

Для получения дополнительной информации о тенденциях и технологиях ИИ посетите unite.ai.