Novo Estudo Tenta Melhorar Algoritmos de Detecção de Discurso de Ódio

As empresas de mídia social, especialmente o Twitter, enfrentam há muito tempo críticas sobre como sinalizam os discursos e decidem quais contas banir. O problema subjacente quase sempre tem a ver com os algoritmos que usam para monitorar as postagens online. Os sistemas de inteligência artificial estão longe de ser perfeitos nessa tarefa, mas há um trabalho constante sendo feito para melhorá-los.

Incluído nesse trabalho está um novo estudo que sai da Universidade do Sul da Califórnia e tenta reduzir certos erros que podem resultar em viés racial.

Falha em Reconhecer o Contexto

Um dos problemas que não recebe tanta atenção tem a ver com algoritmos que visam parar a propagação de discursos de ódio, mas que na verdade amplificam o viés racial. Isso acontece quando os algoritmos falham em reconhecer o contexto e acabam sinalizando ou bloqueando tweets de grupos minoritários.

O maior problema com os algoritmos em relação ao contexto é que eles são supersensíveis a certos termos identificadores de grupo, como “black”, “gay” e “transgênero”. Os algoritmos consideram esses classificadores de discurso de ódio, mas eles são frequentemente usados por membros desses grupos e o contexto é importante.

Em uma tentativa de resolver esse problema de cegueira de contexto, os pesquisadores criaram um classificador de discurso de ódio mais sensível ao contexto. O novo algoritmo é menos provável de rotular incorretamente uma postagem como discurso de ódio.

O Algoritmo

Os pesquisadores desenvolveram os novos algoritmos com dois novos fatores em mente: o contexto em relação aos identificadores de grupo e se também há outras características de discurso de ódio presentes na postagem, como linguagem desumanizadora.

Brendan Kennedy é um estudante de doutorado em ciência da computação e coautor principal do estudo, que foi publicado em 6 de julho no ACL 2020.

“Queremos levar a detecção de discurso de ódio mais perto de estar pronto para aplicações no mundo real”, disse Kennedy.

“Os modelos de detecção de discurso de ódio frequentemente ‘quebram’ ou geram previsões ruins quando introduzidos em dados do mundo real, como mídia social ou outros dados de texto online, porque são tendenciosos pelos dados nos quais são treinados para associar a aparência de termos identificadores sociais com discurso de ódio.”

A razão pela qual os algoritmos são frequentemente imprecisos é que eles são treinados em conjuntos de dados desequilibrados com taxas extremamente altas de discurso de ódio. Devido a isso, os algoritmos falham em aprender a lidar com o que a mídia social realmente parece no mundo real.

O professor Xiang é um especialista em processamento de linguagem natural.

“É fundamental que os modelos não ignorem os identificadores, mas os combinem com o contexto correto”, disse Ren.

“Se você ensinar um modelo a partir de um conjunto de dados desequilibrado, o modelo começa a capturar padrões estranhos e a bloquear usuários de forma inadequada.”

Para testar o algoritmo, os pesquisadores usaram uma amostra aleatória de texto de dois sites de mídia social que têm uma alta taxa de discurso de ódio. O texto foi primeiro sinalizado manualmente por humanos como preconceituoso ou desumanizante. O modelo de última geração foi então medido contra o modelo dos pesquisadores para sinalizar inadequadamente a fala não odiosa, por meio do uso de 12.500 artigos do New York Times sem discurso de ódio presente. Enquanto os modelos de última geração conseguiram alcançar 77% de precisão na identificação de discurso de ódio versus não discurso de ódio, o modelo dos pesquisadores foi mais alto, atingindo 90%.

“Esse trabalho por si só não torna a detecção de discurso de ódio perfeita, isso é um projeto enorme que muitos estão trabalhando, mas ele faz progresso incremental”, disse Kennedy.

“Além de prevenir que as postagens de mídia social de membros de grupos protegidos sejam censuradas de forma inadequada, esperamos que nosso trabalho ajude a garantir que a detecção de discurso de ódio não cause danos desnecessários reforçando associações espúrias de preconceito e desumanização com grupos sociais.”