Novo Estudo Tenta Melhorar Algoritmos de Detecção de Discurso de Ódio

As empresas de mídia social, especialmente o Twitter, enfrentam há muito tempo críticas sobre como sinalizam discurso e decidem quais contas banir. O problema subjacente quase sempre tem a ver com os algoritmos que usam para monitorar postagens online. Os sistemas de inteligência artificial estão longe de ser perfeitos nessa tarefa, mas há um trabalho constante sendo feito para melhorá-los.

Incluído nesse trabalho está um novo estudo que sai da Universidade do Sul da Califórnia e tenta reduzir certos erros que poderiam resultar em viés racial.

Falha em Reconhecer o Contexto

Um dos problemas que não recebe tanta atenção tem a ver com algoritmos que visam parar a propagação de discurso de ódio, mas na verdade amplificam o viés racial. Isso acontece quando os algoritmos falham em reconhecer o contexto e acabam sinalizando ou bloqueando tweets de grupos minoritários.

O maior problema com os algoritmos em relação ao contexto é que eles são supersensíveis a certos termos que identificam grupos, como “preto”, “gay” e “transgênero”. Os algoritmos consideram esses classificadores de discurso de ódio, mas eles são frequentemente usados por membros desses grupos e o contexto é importante.

Em uma tentativa de resolver esse problema de cegueira de contexto, os pesquisadores criaram um classificador de discurso de ódio mais sensível ao contexto. O novo algoritmo é menos provável de rotular incorretamente uma postagem como discurso de ódio.

O Algoritmo

Os pesquisadores desenvolveram os novos algoritmos com dois novos fatores em mente: o contexto em relação aos identificadores de grupo e se há também outros recursos de discurso de ódio presentes na postagem, como linguagem desumanizadora.

Brendan Kennedy é um estudante de doutorado em ciência da computação e coautor principal do estudo, que foi publicado em 6 de julho no ACL 2020.

“Queremos levar a detecção de discurso de ódio mais perto de estar pronta para aplicações do mundo real”, disse Kennedy.

“Os modelos de detecção de discurso de ódio frequentemente ‘quebram’ ou geram previsões ruins quando introduzidos a dados do mundo real, como mídia social ou outros textos online, porque são tendenciosos pelos dados nos quais são treinados para associar a aparência de termos que identificam grupos sociais com discurso de ódio.”

A razão pela qual os algoritmos são frequentemente imprecisos é que eles são treinados em conjuntos de dados desequilibrados com taxas extremamente altas de discurso de ódio. Devido a isso, os algoritmos falham em aprender a lidar com o que a mídia social realmente parece no mundo real.

O professor Xiang é um especialista em processamento de linguagem natural.

“É fundamental para os modelos não ignorarem os identificadores, mas combiná-los com o contexto correto”, disse Ren.

“Se você ensinar um modelo a partir de um conjunto de dados desequilibrado, o modelo começa a capturar padrões estranhos e bloquear usuários de forma inadequada.”

Para testar o algoritmo, os pesquisadores usaram uma amostra aleatória de texto de dois sites de mídia social que têm uma alta taxa de discurso de ódio. O texto foi primeiramente marcado à mão por humanos como preconceituoso ou desumanizante. O modelo de estado da arte foi então medido contra o modelo dos pesquisadores para sinalizar inadequadamente discurso não odioso, por meio do uso de 12.500 artigos do New York Times sem discurso de ódio presente. Enquanto os modelos de estado da arte conseguiram alcançar 77% de precisão na identificação de discurso de ódio versus não discurso de ódio, o modelo dos pesquisadores foi mais alto, atingindo 90%.

“Esse trabalho por si só não torna a detecção de discurso de ódio perfeita, isso é um projeto enorme que muitos estão trabalhando, mas ele faz progresso incremental”, disse Kennedy.

“Além de prevenir que postagens de mídia social de membros de grupos protegidos sejam censuradas inadequadamente, esperamos que nosso trabalho ajude a garantir que a detecção de discurso de ódio não cause danos desnecessários reforçando associações espúrias de preconceito e desumanização com grupos sociais.”