Degradando la 'Verdad' obsoleta con el aprendizaje automático

A veces la verdad tiene fecha de caducidad. Cuando una afirmación con fecha límite (como «el uso de mascarillas es obligatorio en el transporte público») aparece en los resultados de búsqueda, su aparente solución «autorizada» puede resultar demasiado atractiva incluso durante muchos años, superando a contenido posterior y más preciso sobre el mismo tema.

Esto es un subproducto de la determinación de los algoritmos de los motores de búsqueda de identificar y promover soluciones definitivas "a largo plazo", y de su tendencia a priorizar el contenido bien vinculado que mantiene el tráfico a lo largo del tiempo, y de una actitud cada vez más circunspecta hacia el contenido más nuevo en la era emergente de noticias falsas.

Como alternativa, devaluar contenido web valioso simplemente porque la marca de tiempo asociada a él ha pasado una "ventana de validez" arbitraria corre el riesgo de que una generación de contenido genuinamente útil sea automáticamente degradada en favor de material posterior que puede ser de menor calidad.

Hacia la corrección de este síndrome, un nuevo de investigadores de Italia, Bélgica y Dinamarca ha utilizado una variedad de técnicas de aprendizaje automático para desarrollar una metodología para clasificación de evidencia consciente del tiempo.

Más allá de las respuestas obsoletas

El artículo está escrito por investigadores de la Comisión Europea en el Centro Común de Investigación (JRC) en Ispra, la Katholieke Universiteit en Lovaina y la Universidad de Copenhague.

El trabajo considera cuatro métodos de clasificación temporal aplicados a tres metodologías de verificación de datos, cada uno con un enfoque diferente para la clasificación de la evidencia, y ofrece una novedosa metodología de clasificación que utiliza las marcas de tiempo de la evidencia como referencia. El estudio demuestra que la clasificación de la evidencia con perspectiva temporal mejora la perspicacia de los resultados y también mejora la autoridad y la veracidad de las predicciones de hechos y afirmaciones sensibles al tiempo.

La investigación se ofrece como un posible complemento de sistemas posteriores o existentes, y está diseñada para ayudar en la investigación y como un posible factor adicional para su inclusión en el desarrollo de algoritmos de motores de búsqueda nuevos y evolucionados.

El trabajo modela la dinámica temporal de la evidencia para la verificación de datos basada en el contenido y supera los enfoques de "similitud semántica" adoptados por los algoritmos típicos de clasificación de motores de búsqueda. El modelo entrenado por los investigadores utiliza un... aprendiendo a clasificar función que se puede superponer fácilmente en una arquitectura de verificación de hechos existente. Los investigadores sostienen que el sistema es una contribución novedosa a la verificación de datos automatizada.

Modificación de múltiples arquitecturas de verificación de datos

Los investigadores impusieron su factorización con limitaciones de tiempo en tres arquitecturas de verificación de hechos existentes. El primero de ellos es el modelo Bidireccional Long Short Term Memory (BiLSTM) propuesto en el Conjunto de datos MultiFC lanzado en 2019.

El segundo es una modificación del primero, con una red neuronal recurrente (RNN) unidireccional que reemplaza el componente LSTM.

El tercer modelo que usaron los investigadores es un Transformador DistilBERT de la biblioteca Hugging Faces, una versión destilada de Google BERTI modelo de PNL.

En las tres arquitecturas, los investigadores aplicaron una pérdida de ListMLE, de la investigación dirigida por Microsoft, que ha contribuido constantemente a la investigación novedosa de verificación de hechos durante las últimas dos décadas.

Los dos modelos principales de verificación de hechos a los que el equipo de investigación ha agregado un componente temporal como filtro para la autoridad y los valores de clasificación posteriores. Fuente: https://arxiv.org/pdf/2009.06402.pdf

Los valores de marca de tiempo se extrajeron de los metadatos de entrenamiento y se incluyeron como factores de clasificación en cada modelo.

Pruebas

La evaluación experimental del sistema involucró el uso del conjunto de datos MultiFC, ya que actualmente es el único conjunto de datos de código abierto de gran volumen disponible para este interés de investigación en particular. MultiFC contiene 34,924 afirmaciones del mundo real obtenidas de 26 dominios de verificación de hechos diferentes, incluidos Snopes y el Washington Post.

La predicción de la veracidad de cada afirmación se complementa con diez fragmentos de evidencia proporcionados por la API de búsqueda de Google y predicciones obtenidas mediante una confluencia de elementos, incluidos el hablante, las etiquetas y las categorías.

Con frecuencia, la marca de tiempo relevante no es necesariamente la que figura en los metadatos; un artículo puede referirse a eventos de épocas anteriores, y en este caso, los sistemas de los investigadores tuvieron que encargarse de extraer y convertir esos datos directamente del texto. Sin este proceso, la reedición de noticias obsoletas tenderá a darles un nuevo brillo, especialmente en el caso de sitios web de alta autoridad, propagando los datos obsoletos.

Las fechas se extrajeron con una rutina de Python, y se probó la consistencia del formato de las fechas oficiales de los metadatos (ya que, por ejemplo, el formato del sello de fecha de EE. UU. y el Reino Unido es diferente). Cuando se verificó manualmente, no se encontraron errores en los metadatos de la marca de tiempo.

Resultados

En una comprobación manual de los resultados automatizados, los investigadores descubrieron que la clasificación de la evidencia sensible al tiempo mejoró notablemente en supuestos de relevancia basados ​​en la similitud semántica pura o en la clasificación en las SERP. También comprobaron que su método mejora las predicciones de veracidad para afirmaciones sensibles al tiempo (es decir, circunstancias en las que la situación informativa puede cambiar rápidamente y donde es esencial priorizar la información actualizada sin forzar la priorización de los resultados más recientes sobre un tema).

Los investigadores señalan que este enfoque será de gran valor para mejorar los modelos de clasificación para temas volátiles como la política y el entretenimiento, donde la información cambia rápidamente y los desarrollos de alto rango requieren un marco para la degradación automática de los primeros lugares en la clasificación que pueden tener. alcanzado en el lanzamiento.