Onde a moderação de conteúdo com IA ainda precisa do discernimento humano

Em uma comunidade com milhões de usuários, comportamentos nocivos podem se espalhar mais rápido do que os moderadores conseguem identificá-los e lidar com eles. Uma comunidade pequena pode depender bastante da observação direta. Os moderadores conhecem os participantes habituais, entendem a cultura e, em geral, conseguem identificar rapidamente comportamentos que causam problemas. Quando uma comunidade chega a centenas de milhares ou milhões de usuários, fica muito mais difícil avaliar as atividades manualmente. Formam-se subgrupos, a linguagem evolui e comportamentos nocivos podem se espalhar por muitas contas ou conversas antes que alguém reconheça o padrão.

Aumentar o número de moderadores amplia a capacidade da equipe, mas toda equipe de moderação tem tempo e atenção limitados. Comunidades grandes precisam de uma infraestrutura capaz de processar continuamente as atividades rotineiras, identificar comportamentos incomuns logo no início e fornecer contexto suficiente para que os moderadores se concentrem nas situações que exigem discernimento.

Isso faz com que a moderação dependa cada vez mais da engenharia de sistemas. A detecção, o encaminhamento para análise, os limites, a observabilidade e o feedback podem afetar a capacidade de uma comunidade de continuar saudável à medida que cresce.

A principal mudança em grande escala é que os casos atípicos deixam de ser raros. Mesmo que determinado comportamento afete apenas uma pequena parcela dos usuários, em uma comunidade com milhões de pessoas ele pode se tornar algo com que os moderadores se deparam constantemente. Também se perde a capacidade de compreender cada interação individualmente; por isso, uma boa moderação depende cada vez mais de identificar padrões sem perder de vista o contexto que os envolve.

A moderação em grande escala exige reconhecimento de padrões

Muitas ferramentas de moderação começaram com critérios relativamente simples. Uma palavra proibida aparecia, um usuário enviava uma denúncia ou um moderador percebia uma violação das regras e tomava providências.

Comunidades grandes geram sinais mais complexos. O spam pode chegar de dezenas de contas ao mesmo tempo. O assédio pode se desenvolver gradualmente ao longo de várias conversas. Abusos coordenados podem envolver ações individuais que parecem inofensivas quando examinadas separadamente. Contas novas podem se comportar normalmente por algum tempo antes de, de repente, publicar links ou mensagens idênticos.

É mais fácil identificar essas situações quando os sistemas avaliam o comportamento ao longo do tempo. Os sinais de ameaça podem incluir a frequência das mensagens, conteúdo duplicado, tempo de existência da conta, repetição de links, aumentos repentinos na atividade de publicação, padrões incomuns de adesão, medidas de moderação anteriores e relações entre contas. Um único sinal pode revelar muito pouco. A ocorrência simultânea de vários sinais pode indicar que algo merece mais atenção.

O órgão regulador de comunicações do Reino Unido, Ofcom, por exemplo, examinou sistemas automatizados de classificação de conteúdo como parte de um processo mais amplo que envolve coleta de dados, desenvolvimento de modelos, implantação, monitoramento e avaliação.

O contexto torna o problema mais difícil. Uma enxurrada de mensagens pode indicar spam em um fórum profissional e ser um comportamento normal durante um evento ao vivo. O significado da linguagem também pode variar bastante conforme as relações entre as pessoas, as referências compartilhadas e as normas da comunidade.

Uma infraestrutura de moderação eficaz precisa de regras configuráveis, limites específicos para cada comunidade e sinais comportamentais históricos. A frequência das mensagens é um bom exemplo. Um usuário que publica muito rapidamente pode estar enviando spam, mas também pode simplesmente estar participando de um evento ao vivo ou de uma conversa dinâmica. Se a mesma conta também for muito recente, publicar repetidamente conteúdo idêntico e enviar o mesmo link por vários canais, a combinação desses fatores se torna muito mais significativa.

A automação fornece informações melhores aos moderadores

As equipes de moderação passam bastante tempo em tarefas repetitivas. A remoção de spam, as restrições a links, a detecção de mensagens duplicadas, os limites de frequência e a análise de contas muitas vezes podem ser automatizados quando o sistema dispõe de sinais suficientemente sólidos para agir com confiança.

O discernimento humano é valioso quando o significado depende do histórico, da intenção, do humor, do sarcasmo, das relações entre as pessoas ou do contexto cultural. Essas situações muitas vezes exigem que alguém compreenda a conversa como um todo. Uma automação bem projetada pode facilitar essas decisões ao organizar as informações relacionadas a um incidente.

Ao analisar atividades suspeitas, um moderador deve conseguir ver por que elas foram sinalizadas. Entre as informações relevantes podem estar mudanças recentes no comportamento de publicação, incidentes anteriores, denúncias relacionadas, conteúdo repetido, histórico da conta ou atividades semelhantes em outras partes da comunidade.

Os níveis de confiança também podem orientar a resposta. Atividades altamente previsíveis, como o envio repetido de spam idêntico por contas recém-criadas, podem justificar uma ação imediata. Atividades mais ambíguas podem ser encaminhadas para análise junto com os sinais que geraram o alerta.

Essa abordagem é comum em outros sistemas técnicos de grande escala. A infraestrutura de monitoramento processa grandes volumes de atividade, identifica anomalias, agrupa sinais relacionados e encaminha condições incomuns para análise. Os engenheiros investigam os casos que exigem uma análise mais aprofundada.

A moderação de comunidades pode se beneficiar da mesma arquitetura. Os sistemas automatizados lidam com o volume e a detecção de padrões, enquanto os moderadores recebem um conjunto mais direcionado de situações para avaliar.

Minha preferência é automatizar de forma agressiva quando o comportamento é altamente previsível, mas adotar uma postura muito mais cautelosa quando o contexto começa a ser relevante. Se um sistema precisa decidir se algo é spam, uma mensagem idêntica repetida pode ser fácil de identificar; se precisa determinar se algo é assédio, uma piada ou um desentendimento entre pessoas que se conhecem, é muito mais provável que seja necessário recorrer ao julgamento humano. A automação deve reduzir o volume de ruído que os moderadores precisam analisar, e não fingir que toda decisão que exige discernimento pode ser reduzida a uma regra.

Sistemas sólidos de moderação aprendem com as próprias decisões

O comportamento das comunidades também muda constantemente. Surgem novas gírias. Os usuários descobrem maneiras de contornar os filtros. As técnicas de spam evoluem. As normas sociais mudam. Uma regra de moderação que funciona bem hoje pode se tornar menos eficaz à medida que o comportamento muda.

A infraestrutura de moderação precisa de ciclos de feedback robustos. Cada ação automatizada gera informações úteis. Reversões frequentes por parte dos moderadores podem indicar que um limiar é rigoroso demais. Uma forma recorrente de abuso que continua escapando à detecção pode revelar a ausência de um sinal. Um número excepcionalmente alto de falsos positivos pode mostrar que determinada regra tem um desempenho ruim em certos ambientes.

As equipes devem poder acompanhar quais regras são acionadas com mais frequência, a rapidez com que os incidentes são detectados, com que frequência as ações automatizadas são revertidas e quais comportamentos tendem a preceder perturbações maiores.

A Estrutura de Gestão de Riscos de IA do NIST também enfatiza a importância da medição, do monitoramento e da gestão contínuos quando as organizações implementam sistemas automatizados.

A observabilidade permite que os sistemas de moderação se adaptem à medida que as comunidades mudam. Uma comunidade de jogos, um grupo de discussão profissional e um fórum de suporte podem desenvolver padrões de comportamento muito diferentes. Os limiares de moderação devem poder evoluir para acompanhar essas diferenças, sem deixar de manter salvaguardas claras.

A transparência também é importante. Os usuários se beneficiam de regras compreensíveis e de uma aplicação razoavelmente previsível. Os moderadores precisam ter visibilidade dos sistemas que auxiliam suas decisões, enquanto os engenheiros precisam de informações suficientes para determinar se esses sistemas estão funcionando como previsto.

A próxima geração de comunidades online dependerá fortemente da atuação conjunta da automação inteligente, do julgamento humano e da medição contínua.

A moderação em grande escala exige uma infraestrutura capaz de processar volumes enormes de atividades rotineiras, reconhecer padrões que seriam difíceis de identificar individualmente e fornecer informações mais completas aos moderadores quando surgirem decisões difíceis.

Construir essa infraestrutura exige atenção cuidadosa aos sinais comportamentais, aos limiares de confiança, aos processos de escalonamento, ao monitoramento e ao feedback. As comunidades que desenvolverem esses recursos estarão mais bem preparadas para crescer e, ao mesmo tempo, preservar a segurança, a confiança e a qualidade que mantêm as pessoas participando.