Pesquisadores Estão Começando a Treinar Inteligência Artificial para Combater o Discurso de Ódio Online

Notícias falsas e discurso de ódio online estão se tornando um problema não apenas diário, mas a cada minuto. O IkigaiLab relata que o Facebook (META ) e o Twitter recentemente tiveram que fechar mais de 1,5 bilhão e 70 milhões de contas, respectivamente, apenas para tentar conter a propagação de notícias falsas e discurso de ódio em todo o mundo.

Ainda assim, no momento, tal tarefa requer um enorme poder humano e quase constantes horas de trabalho para apenas arranhar a superfície do iceberg do discurso de ódio. Para resolver o problema, pesquisadores em numerosos laboratórios estão começando a treinar inteligência artificial (IA) para ajudar nessa tarefa gigantesca.

O Ikigai cita o sistema Rosetta que o Facebook está usando para entender a autenticidade das notícias, imagens ou outros conteúdos que são carregados naquela rede social. Como é explicado, o que o Rosetta faz é varrer “a palavra, imagem, linguagem, fonte, data da postagem entre outras variáveis e tenta ver se a informação apresentada é genuína ou não.” Depois que o sistema coleta as informações e tendo em mente que a IA ainda não é totalmente “capaz de entender insinuações, referências, alfinetadas e os contextos em que o conteúdo foi postado,” os moderadores humanos assumem e guiam o sistema de IA para descobrir discurso de ódio e notícias falsas.

Para tentar desenvolver ainda mais a capacidade dos sistemas de IA de cobrir todas as nuances possíveis que caracterizam o discurso de ódio, uma equipe de pesquisadores da UC Santa Barbara e da Intel (INTC ), como relata TheNextWeb (TNW), “pegou milhares de conversas das comunidades mais desprezíveis do Reddit e do Gab e as usou para desenvolver e treinar a IA para combater o discurso de ódio.”

De acordo com seu relatório, para fazer isso, o grupo conjunto de pesquisadores criou um conjunto de dados específico com “milhares de conversas especialmente selecionadas para garantir que estariam cheias de discurso de ódio.” Eles também usaram uma lista de grupos do Reddit que são principalmente caracterizados pelo uso de discurso de ódio compilada por Justin Caffier da Vox.

Os pesquisadores acabaram coletando “mais de 22.000 comentários do Reddit e mais de 33.000 do Gab.” Eles descobriram que os dois sites mostram palavras-chave de ódio populares semelhantes, mas as distribuições são muito diferentes.

Eles notaram que devido a essas diferenças, é muito difícil para as redes sociais, em geral, intervir em tempo real, pois o fluxo de discurso de ódio é tão alto que exigiria inúmeras pessoas reais para segui-lo.

Para resolver o problema, a equipe de pesquisa começou a treinar a IA para intervir. Seu banco de dados inicial foi enviado a trabalhadores da Amazon (AMZN ) Turk para ser rotulado. Depois de identificar as instâncias individuais de discurso de ódio, os trabalhadores criaram frases que a IA usaria “para dissuadir os usuários de postar discurso de ódio semelhante no futuro.”

Com base nisso, a equipe “executou esse conjunto de dados e seu banco de dados de intervenções por meio de vários sistemas de aprendizado de máquina e processamento de linguagem natural e criou um tipo de protótipo para uma IA de intervenção de discurso de ódio online.”

Os resultados produzidos foram excelentes, mas como o desenvolvimento ainda está em uma fase inicial, o sistema não está pronto para ser usado ativamente. Como é explicado, “o sistema, em teoria, deve detectar discurso de ódio e enviar imediatamente uma mensagem ao postador, informando-o por que não deve postar coisas que obviamente representam discurso de ódio. Isso depende de mais do que apenas detecção de palavras-chave – para que a IA funcione, ela precisa entender o contexto corretamente.”