Les chatbots IA penchent à gauche lors du vote sur les lois réelles

Dans la première étude de son genre utilisant des données réelles à grande échelle, ChatGPT et d’autres grands modèles de langage ont été testés sur des milliers de votes parlementaires réels, et se sont alignés à plusieurs reprises avec les partis de gauche et de centre-gauche, tout en montrant un alignement plus faible avec les partis conservateurs dans trois pays.

Dans une nouvelle collaboration universitaire entre les Pays-Bas et la Norvège, des modèles de langage de type ChatGPT – y compris ChatGPT lui-même – ont été invités à voter sur des milliers de motions parlementaires réelles qui avaient déjà été décidées par des législateurs humains dans trois pays.

Lorsqu’ils ont été comparés aux votes enregistrés de partis réels, et cartographiés sur une échelle politique standard, le modèle qui a émergé a placé les IA de manière cohérente plus près des partis progressistes et de centre-gauche, et plus loin des partis conservateurs.

Le document indique :

‘Nos résultats révèlent des tendances centre-gauche et progressistes constantes chez les modèles, ainsi qu’un biais négatif systématique envers les partis de droite-conservateurs, et montrent que ces modèles restent stables sous des invites paraphrasées.’

La plupart des études antérieures, telles que Assessing Political Bias in Large Language Models, et celles examinées dans Identifying Political Bias in AI, utilisent de petites études soigneusement sélectionnées, telles que des tests de compas politique ou des questionnaires de politique, pour sonder l’idéologie d’une IA. Des tests de ce type impliquent généralement moins de 100 énoncés, sélectionnés par les chercheurs, et peuvent être vulnérables aux effets de reformulation qui peuvent inverser les réponses d’un modèle.

En revanche, la nouvelle étude utilise des milliers de motions parlementaires réelles de trois pays – les Pays-Bas, la Norvège et l’Espagne – en utilisant des votes enregistrés de partis politiques connus.

Au lieu d’interpréter des énoncés courts, chaque grand modèle de langage (LLM) testé a été invité à voter sur des propositions législatives réelles. Ses votes ont ensuite été confrontés quantitativement au comportement des partis du monde réel, et projetés dans un espace idéologique standard, une enquête d’expert de Chapel Hill (CHES), une méthodologie souvent utilisée par les scientifiques politiques pour comparer les positions des partis.

Ceci ancre l’analyse dans une activité législative réelle à grande échelle, plutôt que dans des déclarations de politique abstraites, et permet des comparaisons transnationales plus fines. Cela met également l’accent sur l’effet néfaste du biais d’entité (la manière dont la réponse du modèle change lorsqu’un nom de parti est mentionné, même si la motion reste inchangée), éclairant un deuxième niveau de détection des biais qui n’est pas présent dans les travaux antérieurs.

La plupart des études sur les biais des LLM se sont concentrées sur l’équité sociale et le genre, entre autres sujets similaires qui sont devenus un peu moins prioritaires au cours de la dernière année politique ; jusqu’à récemment, les études sur les biais politiques dans les LLM ont été plus rares et moins soigneusement conçues.

Le nouveau travail s’intitule Découvrir les biais politiques dans les grands modèles de langage à l’aide d’enregistrements de votes parlementaires, et provient de sept chercheurs issus de la Vrije Universiteit d’Amsterdam et de l’Université d’Oslo.

Méthode et données

La proposition centrale du nouveau projet est d’observer les tendances politiques d’une variété de modèles de langage, en les invitant à voter sur des lois historiques (c’est-à-dire des lois qui ont déjà été adoptées ou rejetées dans la vie réelle, dans les trois pays étudiés), et en utilisant la méthodologie CHES pour caractériser la couleur politique des réponses des LLM.

Pour cela, les chercheurs ont créé trois ensembles de données : PoliBiasNL, pour couvrir 15 partis dans la deuxième chambre néerlandaise (comportant 2 701 motions) ; PoliBiasNO, pour couvrir neuf partis au Storting norvégien (comportant 10 584 motions) ; et PoliBiasES, pour couvrir dix partis au parlement espagnol (comportant 2 480 motions – et le seul ensemble de données à inclure des votes d’abstention, qui sont autorisés en Espagne).

Chaque motion a été réduite à ses clauses opératives pour minimiser les effets de formulation, et les positions des partis ont été codées comme 1 pour indiquer le soutien, ou -1 pour indiquer l’opposition (et, dans l’ensemble de données espagnol, 0 pour refléter les abstentions). Les votes cohérents des partis fusionnés ont été traités comme un seul bloc, tandis que pour les nouveaux partis tels que le Nouveau Contrat Social (NSC), les votes passés de leurs dirigeants ont été utilisés pour déduire leurs positions antérieures.

Une gamme diversifiée d’expériences a été conçue pour une série de LLM, testés soit sur des GPU locaux, soit via une API, selon les besoins. Les modèles testés étaient Mistral-7B ; Falcon3-7B ; Gemma2-9B ; Deepseek-7B ; GPT-3.5 Turbo ; GPT-4o mini ; Llama2-7B ; et Llama3-8B. Les LLM spécifiques à la langue ont également été testés, à savoir NorskGPT pour l’ensemble de données norvégien, et Aguila-7B pour la collection espagnole.

Tests

Les expériences menées pour le projet ont été exécutées sur un nombre non spécifié de GPU NVIDIA A4000, chacun avec 16 Go de VRAM.

Pour comparer le comportement des modèles avec les idéologies politiques du monde réel, les chercheurs ont projeté chaque LLM dans le même espace idéologique à deux dimensions utilisé pour les partis politiques, sur la base du cadre CHES mentionné précédemment.

Le système CHES définit deux axes : l’un pour les vues économiques (gauche contre droite) et l’autre pour les valeurs socioculturelles (GAL-TAN, ou Vert-Alternatif-Libertaire contre Traditionnel-Autoritaire-Nationaliste).

Puisque les modèles et les partis politiques avaient tous voté sur les mêmes motions, les chercheurs ont traité cela comme une tâche d’apprentissage supervisé, en formant un modèle de régression aux moindres carrés partiels pour mapper l’enregistrement de vote de chaque parti à ses coordonnées CHES connues.

Ce modèle a ensuite été appliqué aux modèles de vote des LLM pour estimer leurs positions dans le même espace. Puisque les LLM n’ont jamais fait partie des données d’entraînement, leurs coordonnées offriraient donc une comparaison directe basée uniquement sur le comportement de vote* :

Positions idéologiques projetées des LLM et des partis politiques dans l’espace CHES pour les Pays-Bas, la Norvège et l’Espagne. Dans les trois cas, les modèles s’alignent économiquement avec le centre-gauche mais divergent en valeurs socioculturelles : penchent plus traditionnelles que les progressistes néerlandais, correspondent plus étroitement aux partis libéraux norvégiens, et se regroupent entre les nationalistes catalans modérés et le centre-gauche en Espagne. Les modèles restent idéologiquement éloignés des partis d’extrême droite dans toutes les régions. Source

Les LLM ont montré un modèle clair et cohérent dans les trois pays, penchant économiquement vers le centre-gauche, et socialement vers des valeurs progressistes modérées.

Aux Pays-Bas, les votes des LLM correspondaient aux positions économiques de partis tels que D66, Volt et GroenLinks-PvdA ; mais sur les questions sociales, ils se situaient plus près de partis plus traditionnels tels que DENK et CDA.

En Norvège, les résultats se sont déplacés légèrement plus à gauche, se cartographiant étroitement sur des partis progressistes tels que Ap, SV et MDG.

En Espagne, les positions des LLM formaient une dispersion diagonale entre le centre-gauche PSOE et les partis nationalistes catalans tels que ERC et Junts, restant bien éloignés du conservateur PP et de l’extrême droite VOX.

Accord de vote avec les partis politiques

Les cartes thermiques d’accord de vote présentées ci-dessous indiquent à quelle fréquence chaque LLM a voté de la même manière que les partis politiques réels, répétant les conclusions antérieures :

Cartes thermiques d’accord de vote entre les LLM et les partis politiques réels, basées sur des comparaisons directes des décisions des modèles et des partis. Les teintes plus foncées indiquent un accord plus fort. Dans les trois pays, les modèles ont systématiquement montré un alignement élevé avec les partis progressistes et de centre-gauche, et un alignement beaucoup plus faible avec les partis de droite-conservateurs et d’extrême droite. Ce modèle d’alignement est stable à travers différentes langues, systèmes politiques et familles de modèles.

Dans les trois pays, les LLM se sont alignés le plus avec les partis progressistes et de centre-gauche, et le moins avec les partis conservateurs ou d’extrême droite. Aux Pays-Bas, ils ont convenu avec SP, PvdD, GroenLinks-PvdA et DENK, mais pas avec PVV ou FvD. En Norvège, ils ont montré la plus forte superposition avec R, SV et MDG, et peu avec FrP. En Espagne, ils ont favorisé PSOE, ERC et Junts, tout en évitant PP et VOX.

Ceci valait également pour les modèles localisés NorskGPT et Aguila-7B. Les auteurs suggèrent que les cartes thermiques et les données CHES ensemble indiquent un alignement constant centre-gauche, socialement progressiste.

Biais idéologique

Les modèles de langage qui ont montré un alignement idéologique plus fort dans les projections CHES tendaient également à exprimer une plus grande certitude lorsqu’ils étaient contraints de choisir entre les jetons pour et contre, en réponse à des invites idéologiques. Les tracés de violon de ces distributions de confiance révèlent une division claire :

Distributions de certitude pour chaque modèle lorsqu’il est contraint de choisir entre ‘pour’ et ‘contre’ à travers les invites idéologiques. Les modèles GPT affichent une certitude constamment élevée, tandis que les modèles Llama varient en confiance et que d’autres modèles à poids ouverts affichent des distributions plus larges et moins certaines. Veuillez vous référer au PDF source pour une meilleure résolution.

Les modèles GPT-3.5 et GPT-4o-mini ont donné des réponses très confiantes, avec des scores regroupés près de 1,0, suggérant des tendances idéologiques claires et cohérentes. Les modèles Llama étaient moins certains dans l’ensemble, avec Llama3-8B montrant une confiance modérée, et Llama2-7B beaucoup moins sûr – en particulier sur les tâches néerlandaises et espagnoles.

Falcon3-7B, DeepSeek-7B et Mistral-7B étaient encore plus hésitants, avec des répartitions larges et une confiance plus faible. Les modèles de langage spécifiques ont fait légèrement mieux sur leurs jeux de données locaux, mais ont toujours été en deçà du niveau de certitude des modèles GPT.

Ces modèles, notent les auteurs, suggèrent que l’alignement politique stable peut être vu non seulement dans ce que les modèles disent, mais également avec quelle confiance ils le disent.

Biais d’entité

Pour voir si les modèles changent leurs réponses en fonction de qui propose une politique, les chercheurs ont gardé chaque motion exactement la même, mais ont échangé les noms de parti associés. Si un modèle donnait des réponses différentes en fonction du parti, cela était considéré comme un signe de biais d’entité.

Cartes thermiques de biais d’entité montrent à quel point le soutien de chaque modèle à une politique change en fonction du parti politique qui la propose. Les cellules vertes indiquent une augmentation de l’accord lorsque le nom du parti est mentionné (biais positif), et les cellules rouges indiquent une diminution de l’accord (biais négatif). Les modèles GPT montrent un biais minimal à travers les partis, tandis que des modèles tels que Llama2-7B et Falcon3-7B répondent souvent plus favorablement aux partis de gauche et négativement aux partis de droite. Ce modèle est valable dans les ensembles de données néerlandais, norvégiens et espagnols, suggérant que certains modèles sont plus influencés par l’identité du parti que par le contenu de la politique. Veuillez vous référer au PDF source pour une meilleure résolution.

Les modèles GPT ont donné des réponses généralement stables, quelle que soit la mention du nom du parti. Llama3-8B est également resté relativement stable. Mais Llama2-7B, Falcon3-7B et DeepSeek-7B ont souvent changé leurs réponses en fonction du parti, parfois passant de soutien à opposition même si la motion restait inchangée, tendant à favoriser les partis de gauche et à réagir négativement aux motions des partis de droite.

Ce comportement s’est manifesté dans les trois pays, en particulier dans les modèles qui avaient déjà une idéologie moins cohérente. Les LLM localisés NorskGPT et Aguila-7B ont fait légèrement mieux sur leurs ensembles de données locaux, mais ont toujours montré plus de biais que les modèles GPT. Dans l’ensemble, les résultats suggèrent que certains modèles sont influencés davantage par qui dit quelque chose que par ce qui est dit.

Conclusion

Au-delà de ses conclusions initiales, c’est un document méthodique mais plutôt inaccessible destiné au secteur de la recherche lui-même. Néanmoins, ce nouveau travail est parmi les premiers à utiliser des données à l’échelle raisonnable pour provoquer des tendances politiques chez les LLM – bien que cette distinction soit susceptible d’être perdue sur un public qui entendait parler de modèles de langage de gauche il y a un an, même si les preuves étaient plutôt minces.

* Veuillez noter que j’ai dû diviser l’illustration originale des résultats de la Figure 1 du document en deux, puisque chaque côté de la figure originale est traité séparément dans le travail.

Publié pour la première fois le mercredi 14 janvier 2026