Generación e identificación de propaganda con aprendizaje automático

Nueva investigación de Estados Unidos y Catar ofrece un método novedoso para identificar noticias falsas que han sido escritas de la manera en que los humanos realmente escriben noticias falsas – incrustando declaraciones inexactas en un contexto en gran medida veraz, y mediante el uso de técnicas de propaganda populares como apelas a la autoridad y lenguaje cargado.

El proyecto ha resultado en la creación de un nuevo conjunto de datos de entrenamiento para la detección de noticias falsas llamado PropaNews, que incorpora estas técnicas. Los autores del estudio han encontrado que los detectores entrenados en el nuevo conjunto de datos son un 7,3-12% más precisos en la detección de desinformación escrita por humanos que los enfoques actuales más avanzados.

Del nuevo papel, ejemplos de ‘apelo a la autoridad’ y ‘lenguaje cargado’. Fuente: https://arxiv.org/pdf/2203.05386.pdf

Los autores afirman que, según su conocimiento, el proyecto es el primero en incorporar técnicas de propaganda (en lugar de inexactitud factual directa) en ejemplos de texto generados por máquina destinados a alimentar detectores de noticias falsas.

La mayoría de los trabajos recientes en este campo, sostienen, han estudiado el sesgo, o han reenmarcado los datos de ‘propaganda’ en el contexto del sesgo (arguyendo que el sesgo se convirtió en un sector de aprendizaje automático muy financiable en la era post-Analytica).

Los autores declaran:

‘En contraste, nuestro trabajo genera noticias falsas incorporando técnicas de propaganda y preservando la mayoría de la información correcta. Por lo tanto, nuestro enfoque es más adecuado para estudiar la defensa contra las noticias falsas escritas por humanos.’

También ilustran la creciente urgencia de técnicas de detección de propaganda más sofisticadas*:

‘La desinformación [escrita por humanos], que a menudo se utiliza para manipular a ciertas poblaciones, ha tenido un impacto catastrófico en múltiples eventos, como las elecciones presidenciales de EE. UU. de 2016, Brexit, la pandemia de COVID-19 y el reciente asalto de Rusia a Ucrania. Por lo tanto, necesitamos urgentemente un mecanismo de defensa contra la desinformación escrita por humanos.’

El documento se titula Simulación de noticias falsas para la detección real de noticias falsas: generación de datos de entrenamiento con carga de propaganda, y proviene de cinco investigadores de la Universidad de Illinois en Urbana-Champaign, la Universidad de Columbia, la Universidad Hamad Bin Khalifa de Catar, la Universidad de Washington y el Instituto Allen de Inteligencia Artificial.

Definir la falsedad

El desafío de cuantificar la propaganda es en gran medida logístico: es muy costoso contratar a humanos para reconocer y anotar material del mundo real con características similares a la propaganda para su inclusión en un conjunto de datos de entrenamiento, y potencialmente mucho más barato extraer y utilizar características de alto nivel que probablemente funcionen en ‘datos no vistos’, futuros.

En servicio de una solución más escalable, los investigadores inicialmente recopilaron artículos de desinformación creados por humanos de fuentes de noticias consideradas de baja precisión factual, a través del sitio de verificación de sesgos de los medios.

Encontraron que el 33% de los artículos estudiados utilizaron técnicas de propaganda engañosas, incluyendo términos que desencadenan emociones, falacias lógicas y apelo a las autoridades. Un 55% adicional de los artículos contenían información inexacta mezclada con información precisa.

Generar apelaciones a la autoridad

El enfoque de apelo a la autoridad tiene dos casos de uso: la citación de declaraciones inexactas y la citación de declaraciones completamente ficticias. La investigación se centra en el segundo caso de uso.

Del nuevo proyecto, el marco de inferencia de lenguaje natural RoBERTa identifica dos ejemplos adicionales de apelación a la autoridad y lenguaje cargado.

Con el objetivo de crear propaganda generada por máquina para el nuevo conjunto de datos, los investigadores utilizaron la arquitectura preentrenada seq2seq BART para identificar oraciones destacadas que más tarde podrían alterarse en propaganda. Dado que no había un conjunto de datos público disponible relacionado con esta tarea, los autores utilizaron un modelo de resumen extractivo propuesto en 2019 para estimar la importancia de la oración.

Para un artículo de cada medio de comunicación estudiado, los investigadores sustituyeron estas oraciones ‘marcadas’ con argumentos falsos de ‘autoridades’ derivados tanto del Servicio de Consulta de Wikidata como de autoridades mencionadas en los artículos (es decir, personas y/u organizaciones).

Generar lenguaje cargado

Lenguaje cargado incluye palabras, a menudo adverbios y adjetivos sensacionalizados (como en el ejemplo ilustrado anteriormente), que contienen juicios de valor implícitos entretejidos en el contexto de la entrega de un hecho.

Para derivar datos sobre lenguaje cargado, los autores utilizaron un conjunto de datos de un estudio de 2019 que contenía 2.547 instancias de lenguaje cargado. Dado que no todos los ejemplos en los datos de 2019 incluían adverbios o adjetivos que desencadenan emociones, los investigadores utilizaron SpaCy para realizar análisis de dependencia y etiquetado de partes del discurso (PoS), conservando solo ejemplos apropiados para su inclusión en el marco.

El proceso de filtrado resultó en 1.017 muestras de lenguaje cargado válido. Otra instancia de BART se utilizó para ocultar y reemplazar oraciones destacadas en los documentos de origen con lenguaje cargado.

Conjunto de datos PropaNews

Después de un entrenamiento intermedio realizado en el conjunto de datos CNN/DM de 2015 de Google Deep Mind y la Universidad de Oxford, los investigadores generaron el conjunto de datos PropaNews, convirtiendo artículos no triviales de fuentes ‘confiables’ como The New York Times y The Guardian en versiones ‘modificadas’ que contenían propaganda algorítmica elaborada.

El experimento se modeló según un estudio de 2013 de Hanover, que generó automáticamente resúmenes de cronograma de historias de noticias en 17 eventos de noticias y un total de 4.535 historias.

La desinformación generada se presentó a 400 trabajadores únicos en Amazon Mechanical Turk (AMT), abarcando 2000 Tareas de Inteligencia Humana (HIT). Solo los artículos de propaganda considerados precisos por los trabajadores se incluyeron en la versión final de PropaNews. La resolución de desacuerdos se puntuó mediante el método de Acuerdo de los Trabajadores con el Agregado (WAWA).

La versión final de PropaNews contiene 2.256 artículos, equilibrados entre salida falsa y real, de los cuales el 30% utiliza apelo a la autoridad, y un 30% adicional utiliza lenguaje cargado. El resto simplemente contiene información inexacta del tipo que ha poblado en gran medida los conjuntos de datos anteriores en este campo de investigación.

Los datos se dividieron 1.256:500:500 a través de distribuciones de entrenamiento, prueba y validación.

Conjunto de datos HumanNews

Para evaluar la eficacia de las rutinas de detección de propaganda entrenadas, los investigadores compilaron 200 artículos de noticias escritos por humanos, incluidos artículos desacreditados por Politifact, y publicados entre 2015 y 2020.

Estos datos se ampliaron con artículos adicionales desacreditados de medios de comunicación no confiables, y el total se verificó con un estudiante de posgrado en ciencias de la computación.

El conjunto de datos final, titulado HumanNews, también incluye 100 artículos de Los Angeles Times.

Pruebas

El proceso de detección se enfrentó a marcos anteriores en dos formas: PN-Plata, que ignora la validación del annotador de AMT, y PN-Oro, que incluye la validación como criterio.

Los marcos competidores incluyeron la oferta de 2019 Grover-GEN, el de 2020 Fact-GEN, y FakeEvent, en el que los artículos de PN-Plata se sustituyen con documentos generados por estos métodos anteriores.

Variantes de Grover y RoBERTa resultaron ser las más efectivas cuando se entrenaron en el nuevo conjunto de datos PropaNews, y los investigadores concluyeron que ‘los detectores entrenados en PROPANEWS funcionan mejor en la identificación de desinformación escrita por humanos en comparación con el entrenamiento en otros conjuntos de datos’.

Los investigadores también observan que incluso el conjunto de datos de ablación semi-discapacitado PN-Plata supera a los métodos anteriores en otros conjuntos de datos.

¿Desactualizado?

Los autores reiteran la falta de investigación hasta la fecha sobre la generación y detección automatizadas de noticias falsas centradas en la propaganda, y advierten que el uso de modelos entrenados en datos anteriores a eventos críticos (como COVID, o, argumentablemente, la situación actual en Europa del Este) no se puede esperar que funcionen de manera óptima:

‘Alrededor del 48% de la desinformación escrita por humanos mal clasificada se debe a la incapacidad para adquirir conocimiento dinámico de nuevas fuentes de noticias. Por ejemplo, los artículos relacionados con COVID suelen publicarse después de 2020, mientras que ROBERTA se preentrenó en artículos de noticias publicados antes de 2019. Es muy desafiante para ROBERTA detectar desinformación sobre temas a menos que el detector esté equipado con la capacidad de adquirir conocimiento dinámico de artículos de noticias.’

Los autores también señalan que RoBERTa logra una precisión del 69,0% en la detección de artículos de noticias falsas donde el material se publica antes de 2019, pero disminuye a una precisión del 51,9% cuando se aplica contra artículos de noticias publicados después de esta fecha.

Paltering y contexto

Aunque el estudio no aborda directamente este tema, es posible que este tipo de inmersión profunda en el efecto semántico podría abordar eventualmente el uso más sutil de armas del lenguaje, como paltering – el uso interesado y selectivo de declaraciones veraces con el fin de obtener un resultado deseado que puede oponerse al espíritu y la intención percibidos de la evidencia que lo respalda.

Una línea de investigación relacionada y ligeramente más desarrollada en NLP, visión por computadora y investigación multimodal es el estudio del contexto como un adjunto del significado, donde la reordenación selectiva y la recontextualización de hechos verdaderos se convierten en equivalentes a un intento de evocar una reacción diferente a la que los hechos podrían ordinariamente producir, si se hubieran presentado de una manera más clara y lineal.

* Mi conversión de las citas en línea de los autores a enlaces directos.

Publicado por primera vez el 11 de marzo de 2022.