Los chatbots de IA se inclinan hacia la izquierda al votar sobre leyes reales

En el primer estudio de su tipo que utiliza datos del mundo real a gran escala, ChatGPT y otros modelos de lenguaje grande fueron sometidos a miles de votaciones parlamentarias reales, y se alinearon repetidamente con partidos de izquierda y centro-izquierda, mientras mostraban una alineación más débil con partidos conservadores en tres países.

En una nueva colaboración académica entre los Países Bajos y Noruega, se les pidió a los modelos de lenguaje grande de estilo ChatGPT, incluido ChatGPT en sí, que votaran sobre miles de mociones parlamentarias reales que ya habían sido decididas por legisladores humanos en tres países.

Al compararlos con los votos registrados de partidos reales, y mapearlos en una escala política estándar, el patrón que surgió colocó a las IA consistentemente más cerca de partidos progresistas y de centro-izquierda, y más lejos de partidos conservadores.

El artículo establece:

‘Nuestros hallazgos revelan tendencias consistentes de centro-izquierda y progresistas en los modelos, junto con un sesgo negativo sistemático hacia partidos de derecha-conservadores, y muestran que estos patrones permanecen estables bajo promps parafraseados.’

La mayoría de los estudios anteriores, como Evaluación del sesgo político en los modelos de lenguaje grande, y aquellos revisados en Identificación del sesgo político en la IA, utilizan pruebas pequeñas y curadas, como pruebas de brújula política o cuestionarios de política, para sondear la ideología de una IA. Las pruebas de este tipo suelen involucrar menos de 100 declaraciones, seleccionadas por los investigadores, y pueden ser vulnerables a efectos de rewording que pueden revertir las respuestas del modelo.

Por el contrario, el nuevo estudio utiliza miles de mociones parlamentarias reales de tres países – los Países Bajos, Noruega y España – utilizando votos registrados de partidos políticos conocidos.

En lugar de interpretar declaraciones cortas, cada modelo de lenguaje grande fue sometido a votar sobre propuestas legislativas reales. Sus votos se compararon cuantitativamente con el comportamiento de los partidos en el mundo real, y se proyectaron en un espacio ideológico estándar, una encuesta de expertos de Chapel Hill (CHES), una metodología a menudo utilizada por científicos políticos para comparar posiciones de partidos.

Esto basa el análisis en actividad legislativa del mundo real a gran escala, en lugar de declaraciones de política abstractas, y permite comparaciones más detalladas y transnacionales. También enfatiza el efecto perjudicial del sesgo de entidad (cómo cambia la respuesta del modelo cuando se menciona el nombre de un partido, incluso cuando la moción permanece sin cambios), iluminando una segunda capa de detección de sesgo no presente en trabajos anteriores.

La mayoría de los estudios sobre sesgos en los modelos de lenguaje grande se han centrado en la equidad social y el género, entre otros temas similares que se han despriorizado un poco en el último año político; hasta hace poco, los estudios sobre sesgo político en los modelos de lenguaje grande han sido más raros y menos meticulosamente diseñados y concebidos.

El nuevo trabajo se titula Descubriendo el sesgo político en los modelos de lenguaje grande utilizando registros de votación parlamentaria, y proviene de siete investigadores de la Universidad Libre de Ámsterdam y la Universidad de Oslo.

Método y datos

La propuesta central del nuevo proyecto es observar las tendencias políticas de una variedad de modelos de lenguaje, pidiéndoles que voten sobre legislación histórica (es decir, leyes que ya fueron aprobadas o rechazadas en la vida real, en los tres países estudiados), y utilizando la metodología CHES para caracterizar el color político de las respuestas de los modelos de lenguaje grande.

Con este fin, los investigadores crearon tres conjuntos de datos: PoliBiasNL, para cubrir 15 partidos en la cámara baja holandesa (con 2.701 mociones); PoliBiasNO, para cubrir nueve partidos en el Storting noruego (con 10.584 mociones); y PoliBiasES, para cubrir diez partidos en el parlamento español (con 2.480 mociones – y el único conjunto de datos que incluye votos de abstención, que están permitidos en España).

Cada moción se redujo a sus cláusulas operativas para minimizar los efectos de encuadre, y las posiciones de los partidos se codificaron como 1 para indicar apoyo, o –1 para indicar oposición (y, en el conjunto de datos español, 0 para reflejar abstenciones). Los votos consistentes de partidos fusionados se trataron como un solo bloque, mientras que para nuevos partidos como el Nuevo Contrato Social (NCS), se utilizaron los votos anteriores de sus líderes para inferir posiciones anteriores.

Se diseñaron una variedad de experimentos para una serie de modelos de lenguaje grande, probados en GPUs locales o a través de API, según sea necesario. Los modelos probados fueron Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; y Llama3-8B. También se probaron modelos de lenguaje específicos de cada idioma, como NorskGPT para el conjunto de datos noruego, y Aguila-7B para la recopilación española.

Pruebas

Los experimentos realizados para el proyecto se ejecutaron en un número no especificado de GPUs NVIDIA A4000, cada una con 16 GB de VRAM.

Para comparar el comportamiento del modelo con ideologías políticas del mundo real, los investigadores proyectaron cada modelo de lenguaje grande en el mismo espacio ideológico bidimensional utilizado para los partidos políticos, basado en el marco CHES mencionado anteriormente.

El sistema CHES define dos ejes: uno para las vistas económicas (izquierda vs derecha) y otro para los valores socioculturales (GAL-TAN, o Verde-Alternativo-Libertario vs Tradicional-Autoritario-Nacionalista).

Como tanto los modelos como los partidos políticos habían emitido votos sobre las mismas mociones, los investigadores trataron esto como una tarea de aprendizaje supervisado, entrenando un modelo de regresión de mínimos cuadrados parciales para mapear el registro de votación de cada partido a sus coordenadas CHES conocidas.

Este modelo se aplicó luego a los patrones de votación de los modelos de lenguaje grande para estimar sus posiciones en el mismo espacio. Como los modelos de lenguaje grande nunca formaron parte de los datos de entrenamiento, sus coordenadas ofrecerían una comparación directa basada únicamente en el comportamiento de votación*:

Posiciones ideológicas proyectadas de los modelos de lenguaje grande y partidos políticos en el espacio CHES para los Países Bajos, Noruega y España. En los tres casos, los modelos se alinean económicamente con el centro-izquierda pero divergen en valores socioculturales: inclinándose más hacia lo tradicional que los progresistas holandeses, coincidiendo más estrechamente con los partidos liberales noruegos, y agrupándose entre los nacionalistas catalanes moderados y el centro-izquierda en España. Los modelos permanecen ideológicamente distantes de los partidos de extrema derecha en todas las regiones. Fuente

Los modelos de lenguaje grande mostraron un patrón claro y consistente en los tres países, inclinándose económicamente hacia el centro-izquierda, y socialmente hacia valores progresistas moderados.

En los Países Bajos, los votos de los modelos de lenguaje grande coincidieron con las posiciones económicas de partidos como D66, Volt y GroenLinks-PvdA; pero en cuestiones sociales, se ubicaron más cerca de partidos más tradicionales como DENK y CDA.

En Noruega, los resultados se desplazaron ligeramente más hacia la izquierda, coincidiendo estrechamente con partidos progresistas como Ap, SV y MDG.

En España, las posiciones de los modelos de lenguaje grande formaron una dispersión diagonal entre el centro-izquierda PSOE y los partidos nacionalistas catalanes como ERC y Junts, manteniéndose bien separados del conservador PP y el de extrema derecha VOX.

Acuerdo de votación con partidos políticos

Los mapas de calor de acuerdo de votación que se muestran a continuación indican con qué frecuencia cada modelo de lenguaje grande votó de la misma manera que partidos políticos reales, reiterando conclusiones anteriores:

Mapas de calor de acuerdo de votación entre los modelos de lenguaje grande y partidos políticos reales, basados en comparaciones directas de decisiones de modelo y partido. Las sombras más oscuras indican un acuerdo más fuerte. En los tres países, los modelos mostraron consistentemente una alta alineación con partidos progresistas y de centro-izquierda, y una alineación mucho más baja con partidos de derecha-conservadores y de extrema derecha. Este patrón de alineación es estable en diferentes idiomas, sistemas políticos y familias de modelos.

En los tres países, los modelos de lenguaje grande se alinearon más con partidos progresistas y de centro-izquierda, y menos con partidos conservadores o de extrema derecha. En los Países Bajos, coincidieron con SP, PvdD, GroenLinks-PvdA y DENK, pero no con PVV o FvD. En Noruega, mostraron la mayor superposición con R, SV y MDG, y poca con FrP. En España, favorecieron a PSOE, ERC y Junts, mientras evitaban a PP y VOX.

Esto también se mantuvo para los modelos localizados NorskGPT y Aguila-7B. Los autores sugieren que los mapas de calor y los datos CHES juntos indican una inclinación constante hacia el centro-izquierda y la progresión social.

Sesgo ideológico

Los modelos de lenguaje que mostraron una alineación ideológica más fuerte en las proyecciones CHES también tendieron a expresar una mayor certeza cuando se les obligó a elegir entre los tokens a favor y en contra, en respuesta a promps ideológicos. Los gráficos de violín de estas distribuciones de certeza revelan una clara división:

Distribuciones de certeza para cada modelo cuando se les obliga a elegir entre ‘a favor’ y ‘en contra’ a través de promps ideológicos. Los modelos GPT muestran consistentemente una alta certeza, mientras que los modelos Llama varían en confianza y otros modelos de peso abierto muestran distribuciones más amplias y de menor certeza. Por favor, consulte el PDF de origen para una mejor resolución.

Los modelos GPT-3.5 y GPT-4o-mini dieron respuestas muy confiadas, con puntuaciones que se agrupaban cerca de 1.0, lo que sugiere tendencias ideológicas claras y consistentes. Los modelos Llama mostraron menos certeza en general, con Llama3-8B mostrando una confianza moderada, y Llama2-7B mucho menos segura – especialmente en tareas en holandés y español.

Falcon3-7B, DeepSeek-7B y Mistral-7B fueron aún más vacilantes, con distribuciones amplias y una confianza más baja. Los modelos de lenguaje específicos de cada idioma funcionaron un poco mejor en sus conjuntos de datos de origen, pero aún así no alcanzaron el nivel de certeza de los modelos GPT.

Estos patrones, señalan los autores, sugieren que la alineación política estable puede verse no solo en lo que los modelos dicen, sino en cómo confiadamente lo dicen.

Sesgo de entidad

Para ver si los modelos cambian sus respuestas en función de quién propone una política, los investigadores mantuvieron cada moción exactamente igual, pero intercambiaron los nombres de los partidos asociados. Si un modelo dio respuestas diferentes dependiendo del partido, esto se consideró como un signo de sesgo de entidad.

Mapas de calor de sesgo de entidad que muestran cómo cambia el apoyo de cada modelo a una política, dependiendo de qué partido político la propone. Las celdas verdes indican un aumento de acuerdo cuando se nombra un partido (sesgo positivo), y las celdas rojas indican una disminución de acuerdo (sesgo negativo). Los modelos GPT muestran un sesgo mínimo en todos los partidos, mientras que modelos como Llama2-7B y Falcon3-7B a menudo responden más favorablemente a partidos de izquierda y negativamente a partidos de derecha. Este patrón se mantiene en los conjuntos de datos holandés, noruego y español, lo que sugiere que algunos modelos están más influenciados por la identidad del partido que por el contenido de la política. Por favor, consulte el PDF de origen para una mejor resolución.

Los modelos GPT dieron respuestas en su mayoría estables, independientemente del partido nombrado. Llama3-8B también se mantuvo bastante estable. Pero Llama2-7B, Falcon3-7B y DeepSeek-7B a menudo cambiaron sus respuestas dependiendo del partido, a veces cambiando de apoyo a oposición incluso cuando la moción permaneció igual, tendiendo a favorecer a partidos de izquierda y reaccionar negativamente a mociones de partidos de derecha.

Este comportamiento se manifestó en los tres países, especialmente en modelos que ya tenían una ideología menos consistente. Los modelos de lenguaje grande localizados NorskGPT y Aguila-7B funcionaron ligeramente mejor en sus conjuntos de datos de origen, pero aún así mostraron más sesgo que los modelos GPT. En general, los resultados sugieren que algunos modelos están más influenciados por quién dice algo que por lo que se está diciendo.

Conclusión

Más allá de sus conclusiones iniciales, este es un artículo metódico pero bastante inaccesible dirigido directamente al sector de investigación en sí. Sin embargo, este nuevo trabajo es uno de los primeros en utilizar datos a escala razonable para provocar tendencias políticas en los modelos de lenguaje grande – aunque esta distinción probablemente se perderá en un público que ha estado escuchando sobre modelos de lenguaje de izquierda durante un buen tiempo, aunque con evidencia un poco más delgada.

* Por favor, tenga en cuenta que he tenido que dividir la ilustración original de los resultados de la Figura 1 del artículo en dos, ya que cada lado de la figura original se trata por separado en el trabajo.

Publicado por primera vez el miércoles 14 de enero de 2026