Reidentificando Comentaristas de Redes Sociales Prohibidos con Aprendizaje Automático

Investigadores de la Universidad Johns Hopkins han desarrollado un enfoque de métrica profunda para identificar a comentaristas en línea que pueden haber tenido cuentas suspendidas anteriormente o que pueden estar utilizando varias cuentas para astroturf o manipular de otra manera la buena fe de las comunidades en línea como Reddit y Twitter.

El enfoque, presentado en un nuevo artículo liderado por el investigador de NLP Aleem Khan, no requiere que los datos de entrada estén anotados automáticamente o manualmente, y mejora los resultados de intentos anteriores incluso cuando solo se dispone de pequeñas muestras de texto y cuando el texto no estaba presente en el conjunto de datos en el momento del entrenamiento.

El sistema ofrece un esquema simple de aumento de datos, con incrustaciones de diferentes tamaños entrenadas en un conjunto de datos de alto volumen que contiene más de 300 millones de comentarios que cubren un millón de cuentas de usuario diferentes.

La arquitectura del modelo del sistema de reidentificación de Johns Hopkins, donde los componentes esenciales son 1) contenido de texto, 2) una característica de sub-Reddit y 3) fecha y hora de publicación. Fuente: https://arxiv.org/pdf/2105.07263.pdf

El marco, basado en datos de uso de Reddit, considera el contenido de texto, la colocación de sub-Reddit y la fecha de publicación. Los tres factores se combinan con métodos de incrustación diversos, incluyendo convoluciones unidimensionales y proyecciones lineales, y se asisten con un mecanismo de atención y una capa de pooling máximo.

Aunque el sistema se concentra en el dominio de texto, los investigadores sostienen que su enfoque se puede traducir al análisis de video o imágenes, ya que el algoritmo derivado opera en ocurrencias de frecuencia a nivel alto, a pesar de una variedad de longitudes de entrada para los puntos de datos de entrenamiento.

Evitando el ‘Desvío de Tema’

Una trampa en la que puede caer esta clase de investigación, y que los autores han abordado expresamente en el diseño del sistema, es colocar un énfasis excesivo en la reocurrencia de temas o motivos particulares en publicaciones de diferentes cuentas.

Aunque un usuario puede escribir de manera repetitiva o iterativa en una línea de pensamiento particular, el tema probablemente evolucione y ‘derive’ con el tiempo, desvalorizando su uso como clave de identidad. Los autores caracterizan esta trampa potencial como ‘estar en lo correcto por las razones incorrectas’ – un obstáculo que se estudió previamente en Johns Hopkins.

Metodología de Entrenamiento

El sistema utiliza entrenamiento de precisión mixta, una innovación presentada en 2018 por Baidu y NVIDIA (NVDA ), que reduce los requisitos de memoria a la mitad al utilizar valores de punto flotante de 16 bits en lugar de 32 bits. Los datos se entrenaron en dos GPU V100, con un tiempo de entrenamiento promedio de 72 horas.

El esquema emplea una codificación de texto simplificada, con codificadores convolucionales limitados a 2-4 subpalabras. Aunque la longitud promedio para marcos de este tipo es como máximo de cinco subpalabras, los investigadores encontraron que esta economía no solo no tuvo impacto en el rendimiento de clasificación, sino que aumentar las subpalabras a un máximo de cinco en realidad deterioró la precisión de clasificación.

El Conjunto de Datos

Los investigadores derivaron un conjunto de datos de 300 millones de publicaciones de Reddit del conjunto de datos Pushshift Reddit Corpus de 2020, llamado Conjunto de Datos de Un Millón de Usuarios (MUD).

El conjunto de datos comprende todas las publicaciones de autores de Reddit que publicaron 100-1000 publicaciones entre julio de 2015 y junio de 2016. Muestrear con el tiempo de esta manera proporciona una longitud de historia adecuada para el estudio y reduce el impacto de publicaciones de spam esporádicas que no están dentro del alcance de los objetivos de la investigación.

Estadísticas sobre el conjunto de datos derivado para el proyecto de reidentificación de Johns Hopkins.

Resultados

La imagen a continuación muestra la mejora acumulativa de los resultados a medida que se prueba la precisión de clasificación a intervalos de una hora durante el entrenamiento. Después de seis horas, el sistema supera los logros de referencia de iniciativas relacionadas anteriores.

En un estudio de ablación, los investigadores encontraron que eliminar la característica de sub-Reddit del flujo de trabajo tuvo un impacto sorprendentemente pequeño en la precisión de clasificación, lo que sugiere que el sistema generaliza muy efectivamente, con una herramienta de características robusta.

Frecuencia de Publicación como Firma de Reidentificación

Esto también indica que el marco es altamente transferible a otros sistemas de comentarios o publicación donde solo se dispone del contenido de texto y la fecha/hora de publicación – y, esencialmente, que la frecuencia temporal de publicación es en sí misma un indicador valioso de la identidad real del contenido.

Los investigadores señalan que intentar realizar la misma estimación dentro del contenido de un solo sub-Reddit plantea un desafío mayor, ya que el sub-Reddit en sí actúa como un proxy de tema, y se necesitaría esencialmente un esquema adicional para desempeñar este papel.

El estudio logró resultados prometedores dentro de estas limitaciones, con la única salvedad de que el sistema funciona mejor a altos volúmenes y puede tener dificultades para reidentificar a los usuarios cuando el volumen de publicaciones es bajo.

Desarrollando el Trabajo

En contraste con muchas iniciativas de aprendizaje supervisado, las características del esquema de reidentificación de Hopkins son discretas y lo suficientemente robustas como para que el rendimiento del sistema mejore notablemente a medida que aumenta el volumen de datos.

Los investigadores expresan interés en desarrollar el sistema adoptando un enfoque más granular para el análisis de los tiempos de publicación, ya que los horarios de publicación predecibles de los spammers automatizados (o de otro tipo) son susceptibles de identificación mediante este enfoque, y esto permitiría eliminar de manera más efectiva el contenido de robot de un estudio dirigido principalmente a usuarios problemáticos, o ayudar a identificar contenido automatizado, en momentos, ya que los horarios predecibles de los spammers automatizados (o de otro tipo) son susceptibles de identificación por este enfoque, y esto haría posible eliminar de manera más efectiva el contenido de robot de un estudio dirigido principalmente a usuarios problemáticos, o ayudar a identificar contenido automatizado.