Destituyendo la ‘verdad’ obsoleta con aprendizaje automático

A veces la verdad tiene una fecha de caducidad. Cuando una afirmación con fecha de caducidad (como “las mascarillas son obligatorias en el transporte público”) emerge en los rankings de los motores de búsqueda, su aparente solución “autorizada” puede quedarse más tiempo del debido, incluso durante muchos años, superando a contenido más reciente y preciso sobre el mismo tema.

Esto es un subproducto de la determinación de los algoritmos de los motores de búsqueda para identificar y promover soluciones “definitivas” a largo plazo, y de su tendencia a priorizar contenido bien enlazado que mantiene el tráfico con el tiempo – y de una actitud cada vez más cautelosa hacia el contenido nuevo en la era emergente de las noticias falsas.

Por otro lado, desvalorizar contenido web valioso simplemente porque la fecha de caducidad asociada con él ha pasado una “ventana de validez” arbitraria, arriesga que una generación de contenido genuinamente útil sea despromocionada automáticamente a favor de material posterior que puede ser de menor calidad.

Con el fin de corregir este síndrome, un nuevo artículo de investigadores en Italia, Bélgica y Dinamarca ha utilizado una variedad de técnicas de aprendizaje automático para desarrollar una metodología para clasificación de evidencia consciente del tiempo.

Más allá de las respuestas obsoletas

El artículo está escrito por investigadores de la Comisión Europea en el Centro de Investigación Conjunta (JRC) en Ispra, la Universidad Católica en Lovaina, y la Universidad de Copenhague.

El trabajo considera cuatro métodos de clasificación temporal aplicados sobre tres metodologías de verificación de hechos, cada una con un enfoque diferente para la clasificación de evidencia, y ofrece una metodología novedosa para la clasificación que utiliza las fechas de las evidencias como un “estándar de oro”. El estudio muestra que la clasificación de evidencia consciente del tiempo mejora la perspicacia de los resultados, y también mejora las predicciones de autoridad y veracidad de hechos y afirmaciones sensibles al tiempo.

La investigación se ofrece como un posible complemento a sistemas posteriores o existentes, y está diseñada para ayudar en la investigación, y como un posible factor adicional para incluir en el desarrollo de nuevos algoritmos de motores de búsqueda evolucionados.

El trabajo modela la dinámica temporal de la evidencia para la verificación de hechos basada en contenido, y supera los enfoques de “similitud semántica” adoptados por los algoritmos de clasificación de los motores de búsqueda típicos. El modelo entrenado por los investigadores utiliza una función de aprendizaje para clasificar optimizada que puede ser superpuesta fácilmente en una arquitectura de verificación de hechos existente. Los investigadores afirman que el sistema es una contribución novedosa a la verificación de hechos automatizada.

Modificando múltiples arquitecturas de verificación de hechos

Los investigadores impusieron su factorización con restricciones de tiempo en tres arquitecturas de verificación de hechos existentes. La primera de estas es el modelo de Memoria Larga Corta Bidireccional (BiLSTM) propuesto en el conjunto de datos MultiFC lanzado en 2019.

La segunda es una modificación de la primera, con una Red Neuronal Recurrente unidireccional reemplazando el componente LSTM.

El tercer modelo que los investigadores utilizaron es un transformador DistilBERT de la biblioteca Hugging Faces, una versión destilada del modelo de NLP BERT de Google.

En las tres arquitecturas, los investigadores aplicaron una pérdida ListMLE, de la investigación liderada por Microsoft, que ha contribuido consistentemente a la investigación de verificación de hechos novedosa durante las últimas dos décadas.

Los dos modelos principales de verificación de hechos a los que el equipo de investigación ha agregado un componente temporal como filtro para los valores de autoridad y clasificación posteriores. Fuente: https://arxiv.org/pdf/2009.06402.pdf

Los valores de las fechas se extrajeron de los metadatos de entrenamiento, y se incluyeron como factores de clasificación en cada modelo.

Pruebas

La evaluación experimental del sistema involucró el uso del conjunto de datos MultiFC, ya que es actualmente el único conjunto de datos de alta volumen de código abierto disponible para este interés de investigación en particular. MultiFC contiene 34,924 afirmaciones reales obtenidas de 26 dominios de verificación de hechos diferentes, incluyendo Snopes y el Washington Post.

La predicción de la veracidad de cada afirmación se realizó con diez fragmentos de evidencia proporcionados por la API de Búsqueda de Google, y las predicciones se obtuvieron a través de una confluencia de elementos, incluyendo orador, etiquetas y categorías.

Muy a menudo la fecha relevante no es necesariamente la que se contiene en los metadatos; un artículo puede referirse a eventos de tiempos anteriores, y en este caso los sistemas de los investigadores tuvieron que tener cuidado de extraer y convertir esos datos directamente del texto. Sin este proceso, una “repetición” de noticias obsoletas tenderá a darles un nuevo brillo, particularmente en el caso de sitios de alta autoridad, propagando los datos obsoletos.

Las fechas se extrajeron con una rutina de Python, y las fechas oficiales de los metadatos se probaron para la consistencia de formato (ya que, por ejemplo, el formato de fecha de EE. UU. y Reino Unido es diferente). Cuando se verificaron manualmente, no se encontraron errores en los metadatos de las fechas.

Resultados

Frente a una verificación manual de los resultados automatizados, los investigadores encontraron que la clasificación de evidencia consciente del tiempo mejoró notablemente en suposiciones de relevancia basadas en la similitud semántica pura o en los rankings de SERP. También determinan que su método mejora las predicciones de veracidad para afirmaciones sensibles al tiempo (es decir, circunstancias en las que una situación de noticias puede estar cambiando rápidamente, y donde es esencial que se priorice la información actualizada sin simplemente forzar la priorización de los resultados más recientes sobre un tema).

Los investigadores señalan que este enfoque será de gran valor para mejorar los modelos de clasificación para temas volátiles como la política y el entretenimiento, donde la información cambia rápidamente, y los desarrollos de alto rango requieren un marco para la degradación automática desde los primeros lugares en la clasificación que pueden haber logrado en su lanzamiento.