Lo que la IA puede decirnos sobre las agendas ocultas en las noticias

Se están entrenando modelos de estilo ChatGPT para detectar qué es un artículo de noticias realmente Reflexiona sobre un tema, incluso cuando esa postura queda oculta tras citas, encuadres o (a veces, una falsa) "neutralidad". Al dividir los artículos en segmentos como titulares, entradas y citas, un nuevo sistema aprende a detectar sesgos incluso en el periodismo profesional de larga duración.

La capacidad de comprender el verdadero punto de vista de un escritor o un orador, una búsqueda conocida en la literatura como detección de postura – aborda uno de los problemas interpretativos más difíciles del lenguaje: extraer la intención de un contenido que puede estar diseñado para ocultarla u oscurecerla.

De Jonathan Swift Una propuesta modesta, a las recientes actuaciones de actores políticos tomando prestada la polémica Para sus oponentes ideológicos, la superficie de una declaración ya no es un indicador confiable de su intención; el aumento de la ironía, el troleo, la desinformación y ambigüedad estratégica Ha hecho que sea más difícil que nunca determinar de qué lado se sitúa realmente un texto, o si aterriza o no.

A menudo, lo que no se dice tiene tanto peso como lo que se dice, y el simple hecho de elegir cubrir un tema puede indicar la posición del autor.

Esto hace que la tarea de detección automática de la postura sea inusualmente desafiante, ya que un sistema de detección efectivo debe hacer más que etiquetar oraciones aisladas como "de apoyo" u "de oposición": en lugar de eso, debe iterar a través de capas de significado, sopesando pequeñas señales frente a la forma y la deriva de todo el artículo; y esto es más difícil en el periodismo de formato largo, donde el tono puede cambiar y donde la opinión rara vez puede expresarse directamente.

Agentes de cambio

Para abordar algunos de estos problemas, los investigadores de Corea del Sur han desarrollado un nuevo sistema llamado JOA-ICL (Aprendizaje en contexto agenético guiado por el periodismo) para detectar la postura de artículos periodísticos de formato largo.

La idea central detrás de JoA-ICL es que la postura a nivel de artículo se infiere agregando predicciones a nivel de segmento producidas por un agente de modelo de lenguaje separado. Fuente: https://arxiv.org/pdf/2507.11049

En lugar de evaluar un artículo en su conjunto, JOA-ICL lo divide en partes estructurales (título, introducción, citas y conclusión) y asigna un modelo más pequeño para etiquetar cada una. Estas predicciones locales se transfieren a un modelo más amplio, que las utiliza para determinar la postura general del artículo.

El método se probó en un conjunto de datos coreanos recientemente compilado que contenía 2,000 artículos periodísticos anotados según su postura, tanto a nivel de artículo como de segmento. Cada artículo se etiquetó con la aportación de un experto en periodismo, lo que refleja cómo se distribuye la postura en la estructura de la redacción periodística profesional.

Según el artículo, JOA-ICL supera tanto a las líneas base basadas en indicaciones como a las ajustadas, demostrando una especial eficacia en la detección de posturas de apoyo (que los modelos con un ámbito similar tienden a pasar por alto). El método también demostró su eficacia al aplicarse a un conjunto de datos alemán en condiciones equiparadas, lo que indica que sus principios son potencialmente adaptables a las formas lingüísticas.

Los autores declaran:

'Los experimentos muestran que JOA-ICL supera los métodos de detección de postura existentes, lo que resalta los beneficios de la agencia a nivel de segmento para capturar la posición general de los artículos periodísticos de formato largo.'

En el sitio web nuevo documento se titula Aprendizaje contextual agente guiado por el periodismo para la detección de posturas periodísticas, y proviene de varias facultades de la Universidad Soongsil de Seúl, así como de la Escuela de Posgrado de Estrategia Futura del KAIST.

Método

Parte del desafío de la detección de postura aumentada con IA es logístico y está relacionado con la cantidad de señal que un sistema de aprendizaje automático puede retener y recopilar a la vez, en el estado actual de la tecnología.

Los artículos periodísticos tienden a evitar las declaraciones directas de opinión y se basan en cambio en una implícitamente or ficticio postura, señalada a través de elecciones sobre qué fuentes citar, cómo se enmarca la narrativa y qué detalles se omiten, entre muchas otras consideraciones.

Incluso cuando un artículo adopta una postura clara, la señal suele estar dispersa en el texto, con diferentes segmentos que apuntan en direcciones diferentes. Dado que los modelos de lenguaje (LM) aún tienen dificultades con ventanas de contexto limitadas, esto puede dificultar que los modelos evalúen la postura de la misma manera que lo hacen con contenido más corto (como los tweets y otras redes sociales de formato corto), donde la relación entre el texto y el objetivo es más explícita.

Por eso, los enfoques estándar suelen resultar insuficientes cuando se aplican al periodismo de larga duración, un caso en el que la ambigüedad es una característica más que un defecto.

El documento dice:

'Para abordar estos desafíos, proponemos un enfoque de modelado jerárquico que primero infiere la postura a nivel de unidades de discurso más pequeñas (por ejemplo, párrafos o secciones) y posteriormente integra estas predicciones locales para determinar la postura general del artículo.

'Este marco está diseñado para conservar el contexto local y capturar señales de posturas dispersas al evaluar cómo las diferentes partes de una noticia contribuyen a su posición general sobre un tema'.

Para este fin, los autores compilaron un nuevo conjunto de datos titulado POSTURA DE K-NEWS, extraído de la cobertura de noticias coreanas entre junio de 2022 y junio de 2024. Los artículos se identificaron por primera vez a través de BigKinds, un servicio de metadatos respaldado por el gobierno y operado por la Fundación de Prensa de Corea. Los textos completos se recuperaron mediante la API del agregador de noticias Naver. El conjunto de datos final comprendió 2,000 artículos de 31 medios, que abarcaban 47 temas de relevancia nacional.

Cada artículo fue anotado dos veces: una vez por su postura general hacia un tema determinado, y otra vez por segmentos individuales; específicamente el titular, liderar, conclusión y citas directas.

La anotación estuvo a cargo del experto en periodismo Jiyoung Han, también tercer autor del artículo, quien guió el proceso mediante el uso de pautas establecidas de los estudios de medios, como la selección de fuentes, encuadre léxicoy patrones de cita. De esta manera, se obtuvieron un total de 19,650 etiquetas de postura a nivel de segmento.

Para garantizar que los artículos contuvieran señales de punto de vista significativas, cada uno fue clasificado primero por género, y solo aquellos etiquetados como análisis u opinión (donde es más probable encontrar un marco subjetivo) se usaron para la anotación de la postura.

Dos anotadores capacitados etiquetaron todos los artículos y recibieron instrucciones de consultar artículos relacionados en caso de que la postura no fuera clara; los desacuerdos se resolvieron mediante discusión y revisión adicional.

Entradas de muestra del conjunto de datos K-NEWS-STANCE, traducidas al inglés. Solo se muestran el titular, la introducción y las citas; se omite el cuerpo del texto. El texto resaltado indica las etiquetas de postura de las citas: en azul indica apoyo y en rojo oposición. Consulte el PDF de la fuente citada para una interpretación más clara.

JoA-ICL

En lugar de tratar un artículo como un único bloque de texto, el sistema propuesto por los autores lo divide en partes estructurales clave: titular, introducción, citas y conclusión, asignando cada una de ellas a un agente de modelo de lenguaje, que etiqueta el segmento como de apoyo, oposicionista o neutral.

Estas predicciones locales se pasan a un segundo agente que decide la postura general del artículo, y los dos agentes están coordinados por un controlador que prepara las indicaciones y recopila los resultados.

De este modo, JoA-ICL adapta el aprendizaje en contexto (donde el modelo aprende a partir de ejemplos en la instrucción) para que coincida con la forma en que se escriben las noticias profesionales, utilizando indicaciones que tienen en cuenta los segmentos en lugar de una única entrada genérica.

(Tenga en cuenta que la mayoría de los ejemplos e ilustraciones del artículo son extensos y difíciles de reproducir de forma legible en un artículo en línea. Por lo tanto, rogamos al lector que examine la fuente original en formato PDF).

Datos y Pruebas

En las pruebas, los investigadores utilizaron macro F1 y precisión para evaluar el rendimiento, promediando los resultados de diez ejecuciones con valores aleatorios de 42 a 51 e informando el error estándar. Los datos de entrenamiento se utilizaron para afinar modelos de línea base y agentes a nivel de segmento, con pocos disparos muestras seleccionadas mediante búsqueda de similitud utilizando KLUE-RoBERTa-grande.

Las pruebas se realizaron en tres GPU RTX A6000 (cada una con 48 GB de VRAM), utilizando Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 y vllm 0.8.5.

GPT-4o-mini, Claude 3 Haiku y Géminis 2 Flash Se utilizaron a través de API, en un temperatura de 1.0 y con un máximo de tokens establecido en 1000 para indicaciones de cadena de pensamiento, y 100 para los demás.

Para un ajuste completo de Exaone-3.5-2.4B, AdánW Se utilizó un optimizador de 5e-5 tasa de aprendizaje, con una pérdida de peso del 0.01, 100 pasos de calentamiento, y con los datos entrenados para 10 épocas en un tamaño del lote de 6.

Para las líneas de base, los autores utilizaron roberta, optimizado para la detección de posturas a nivel de artículo; Incorporaciones de cadena de pensamiento (CoT), un ajuste alternativo de RoBERTa para la tarea asignada; LKI-BART, un modelo codificador-descodificador que agrega conocimiento contextual de un modelo de lenguaje grande al solicitarle tanto el texto de entrada como la etiqueta de postura deseada; y PT-HCl, un método que utiliza aprendizaje contrastivo para separar las características generales de las específicas del tema en cuestión:

Rendimiento de cada modelo en el conjunto de pruebas K-NEWS-STANCE para la predicción general de la postura. Los resultados se muestran como F1 macro y precisión, con la puntuación más alta de cada grupo en negrita.

JOA-ICL logró el mejor desempeño general tanto en precisión como en macro F1, una ventaja evidente en los tres modelos principales probados: GPT-4o-mini, Claude 3 Haiku y Gemini 2 Flash.

El método basado en segmentos superó consistentemente a todos los demás enfoques, con, como observan los autores, una ventaja notable en la detección de posturas de apoyo, una debilidad común en modelos similares.

Los modelos de referencia tuvieron un peor rendimiento en general. Las variantes RoBERTa y Chain-of-Thought tuvieron dificultades con los casos con matices, mientras que PT-HCL y LKI-BART obtuvieron mejores resultados, aunque aún se encontraban por detrás de JOA-ICL en la mayoría de las categorías. El resultado individual más preciso provino de JOA-ICL (Claude), con un 64.8 % de F1 macro y un 66.1 % de precisión.

La imagen a continuación muestra con qué frecuencia los modelos acertaron o se equivocaron con cada etiqueta:

Matrices de confusión que comparan la línea base y la JoA-ICL, que muestran que ambos métodos tienen más dificultades para detectar posturas "de apoyo".

JoA-ICL obtuvo mejores resultados en general que el modelo base, obteniendo más etiquetas correctas en cada categoría. Sin embargo, ambos modelos tuvieron más dificultades con los artículos de apoyo, y el modelo base clasificó erróneamente casi la mitad, confundiéndolos a menudo con neutrales.

JoA-ICL cometió menos errores pero mostró el mismo patrón, lo que refuerza que las posturas "positivas" son más difíciles de detectar para los modelos.

Para probar si JoA-ICL funciona más allá de los confines del idioma coreano, los autores lo ejecutaron en Queso, un conjunto de datos alemán para la detección de posturas a nivel de artículo. Dado que CheeSE carece de etiquetas a nivel de segmento, los investigadores utilizaron supervisión a distancia, donde a cada segmento se le asignó la misma etiqueta de postura que el artículo completo.

Resultados de detección de postura en el conjunto de datos CheeSE en alemán. JoA-ICL mejora consistentemente la incitación de disparo cero en los tres LLM y supera las líneas base ajustadas con precisión, con Gemini-2.0-flash obteniendo el mejor rendimiento general.

Incluso en estas condiciones de ruido, JoA-ICL superó tanto a los modelos optimizados como a la indicación de disparo cero. De las tres redes troncales probadas, Gemini-2.0-flash obtuvo los mejores resultados.

Conclusión

Pocas tareas en el aprendizaje automático tienen mayor carga política que la predicción de posturas; sin embargo, a menudo se maneja en términos fríos y mecánicos, mientras que se presta más atención a cuestiones menos complejas en la IA generativa, como la creación de videos e imágenes, que generan titulares mucho más fuertes.

El avance más alentador del nuevo trabajo coreano es que ofrece una contribución significativa al análisis de longitud total contenido, en lugar de tuits y publicaciones sociales breves, cuyos efectos incendiarios se olvidan más rápidamente que un tratado, un ensayo u otra obra significativa.

Una omisión notable en el nuevo trabajo y (hasta donde puedo decir) en el corpus de predicción de posturas en general es la falta de consideración dada a hipervínculos, que a menudo sustituyen a las citas como recursos opcionales para que los lectores aprendan más sobre un tema; sin embargo, debe quedar claro que la elección de dichas URL es potencialmente muy subjetiva e incluso política.

Dicho esto, cuanto más prestigiosa sea la publicación, menos probable que incluirá cualquier enlace en absoluto que guían al espectador fuera del dominio anfitrión; esto, junto con otros usos y abusos de hipervínculos en SEO, los hace más difíciles de cuantificar que las citas explícitas, los títulos u otras partes de un artículo que pueden buscar, consciente o inconscientemente, influir en la opinión del lector.

Primera publicación: miércoles 16 de julio de 2025