Τα Chatbots του AI Κατατάσσονται στην Αριστερά Όταν Ψηφίζουν για Πραγματικά Νομοσχέδια

Στη πρώτη μελέτη του είδους της που χρησιμοποιεί δεδομένα του πραγματικού κόσμου σε μεγάλη κλίμακα, το ChatGPT και άλλα Μεγάλου Λεκτικού Μοντέλα (LLMs) υποβεβληθήκαν σε δοκιμές με χιλιάδες πραγματικές ψηφοφορίες του κοινοβουλίου και συχνά ευθυγραμμίζονταν με κόμματα της αριστεράς και του κέντρου-αριστερά, ενώ έδειξαν слабότερη ευθυγράμμιση με συντηρητικά κόμματα σε τρεις χώρες.

Σε μια νέα ακαδημαϊκή συνεργασία μεταξύ της Ολλανδίας και της Νορβηγίας, τα Μοντέλα Μεγάλης Γλώσσας τύπου ChatGPT (LLMs) – συμπεριλαμβανομένου του ChatGPT selbst – ζητήθηκαν να ψηφίσουν σε χιλιάδες πραγματικές προτάσεις του κοινοβουλίου που είχαν ήδη αποφασιστεί από ανθρώπινους νομοθέτες σε τρεις χώρες.

Όταν συγκρίθηκαν με τις καταγεγραμμένες ψήφους των πραγματικών κομμάτων και χαρτογραφήθηκαν σε ένα τυπικό πολιτικό φάσμα, το πρότυπο που προέκυψε τοποθέτησε τα AI συνεχώς πιο κοντά σε προοδευτικά και κεντροαριστερά κόμματα και πιο μακριά από συντηρητικά κόμματα.

Το έγγραφο αναφέρει:

‘Οι ευρήματές μας αποκαλύπτουν συνεχή κεντροαριστερές και προοδευτικές τάσεις σε όλα τα μοντέλα, μαζί με συστηματική αρνητική προκατάληψη προς τα δεξιά-συντηρητικά κόμματα, και δείχνουν ότι αυτά τα πρότυπα παραμένουν σταθερά υπό παραφρασμένες προτροπές.’

Οι περισσότερες προηγούμενες μελέτες, όπως Αξιολόγηση της Πολιτικής Προκατάληψης σε Μεγάλου Λεκτικού Μοντέλα, και αυτές που αναθεωρήθηκαν στο Ταυτοποίηση της Πολιτικής Προκατάληψης στο AI, χρησιμοποιούν μικρές επιλεγμένες δοκιμές, όπως δοκιμές πολιτικού πλοηγού, ή ερωτηματολόγια πολιτικής, για να διερευνήσουν την ιδεολογία ενός AI. Δοκιμές αυτού του είδους συνήθως περιλαμβάνουν λιγότερες από 100 δηλώσεις, επιλεγμένες από ερευνητές, και μπορεί να είναι ευάλωτες σε εφfects αναδιατύπωσης που μπορούν να αντιστρέψουν τις απαντήσεις του μοντέλου.

Αντίθετα, η νέα μελέτη χρησιμοποιεί χιλιάδες πραγματικές προτάσεις του κοινοβουλίου από τρεις χώρες – την Ολλανδία, τη Νορβηγία και την Ισπανία – χρησιμοποιώντας καταγεγραμμένες ψήφους από γνωστά πολιτικά κόμματα.

Αντί να ερμηνεύουν σύντομες δηλώσεις, κάθε Μεγάλο Λεκτικό Μοντέλο (LLM) που δοκιμάστηκε ζητήθηκε να ψηφίσει σε πραγματικές νομοθετικές προτάσεις. Οι ψήφοι του μοντέλου τότε αντιστοιχίστηκαν ποσοτικά με την πραγματική συμπεριφορά του κόμματος και προβλέφθηκαν σε ένα τυπικό ιδεολογικό χώρο, μια έρευνα εμπειρογνωμόνων Chapel Hill (CHES), μια μεθοδολογία συχνά χρησιμοποιούμενη από πολιτικούς επιστήμονες για τη σύγκριση των θέσεων των κομμάτων.

Αυτό εδραιώνει την ανάλυση σε μεγάλης κλίμακας, πραγματική νομοθετική δραστηριότητα αντί για αφηρημένες πολιτικές δηλώσεις, και επιτρέπει πιο λεπτομερείς, διακρατικές συγκρίσεις. Επίσης, τονίζει την επιζήμια επίδραση της προκατάληψης οντότητας (πώς η απάντηση του μοντέλου αλλάζει όταν αναφέρεται το όνομα ενός κόμματος, ακόμη και όταν η πρόταση παραμένει αμετάβλητη), φωτίζοντας ένα δεύτερο επίπεδο ανίχνευσης προκατάληψης που δεν είναι παρόν σε προηγούμενες εργασίες.

Οι περισσότερες μελέτες για τις προκαταλήψεις των LLMs έχουν επικεντρωθεί στην κοινωνική δικαιοσύνη και το φύλο, μεταξύ άλλων παρόμοιων θεμάτων που έχουν γίνει κάπως υποβαθμισμένα κατά το τελευταίο πολιτικό χρόνο· μέχρι πρόσφατα, οι μελέτες για την πολιτική προκατάληψη στα LLMs ήταν σπανιότερες και λιγότερο μελετημένες.

Η νέα εργασία έχει τον τίτλο Αποκάλυψη της Πολιτικής Προκατάληψης σε Μεγάλου Λεκτικού Μοντέλα με Χρήση Νομοθετικών Αρχείων Ψηφοφοριών, και προέρχεται από επτά ερευνητές σε ganz διαφορετικά πανεπιστήμια όπως το Vrije Universiteit στο Άμστερνταμ και το Πανεπιστήμιο του Όσλο.

Μέθοδος και Δεδομένα

Η κεντρική πρόταση της νέας εργασίας είναι να παρατηρήσει τις πολιτικές τάσεις ενός ποικίλου συνόλου γλωσσικών μοντέλων, ζητώντας τους να ψηφίσουν σε ιστορικά νομοσχέδια (δηλαδή, νόμους που είχαν ήδη ψηφιστεί ή απορριφθεί στην πραγματική ζωή, σε τρεις χώρες).

Για το σκοπό αυτό, οι ερευνητές δημιούργησαν τρεις συνόλους δεδομένων: PoliBiasNL, για να καλύψουν 15 κόμματα στη δεύτερη βουλή της Ολλανδίας (με 2.701 προτάσεις)· PoliBiasNO, για να καλύψουν εννέα κόμματα στο Storting της Νορβηγίας (με 10.584 προτάσεις)· και PoliBiasES, για να καλύψουν δέκα κόμματα στο ισπανικό κοινοβούλιο (με 2.480 προτάσεις – και το μόνο σύνολο δεδομένων που περιλαμβάνει ψήφους αποχής, οι οποίες επιτρέπονται στην Ισπανία).

Κάθε πρόταση απομακρύνθηκε στα ενεργά της κλάσματα για να ελαχιστοποιηθούν οι επιπτώσεις του πλαισίου, και οι θέσεις των κομμάτων κωδικοποιήθηκαν ως 1 για να υποδείξουν υποστήριξη, ή –1 για να υποδείξουν αντίθεση (και, στο ισπανικό σύνολο δεδομένων, 0 για να αντανακλούν ψήφους αποχής). Συνεπείς ψήφοι από συγχωνευμένα κόμματα αντιμετωπίστηκαν ως ένα ενιαίο μπλοκ, ενώ για νέα κόμματα όπως το New Social Contract (NSC), οι προηγούμενες ψήφοι των ηγετών τους χρησιμοποιήθηκαν για ναinfer προηγούμενες θέσεις.

Μια ποικιλία πειραμάτων σχεδιάστηκε για μια σειρά από LLMs, δοκιμασμένα είτε σε τοπικούς GPU είτε μέσω API, ανάλογα με τις ανάγκες. Τα μοντέλα που δοκιμάστηκαν ήταν Mistral-7B· Falcon3-7B· Gemma2-9B· Deepseek-7B· GPT-3.5 Turbo· GPT-4o mini· Llama2-7B· και Llama3-8B. Γλωσσικά συγκεκριμένα LLMs δοκιμάστηκαν επίσης, αυτά είναι NorskGPT για το νορβηγικό σύνολο δεδομένων, και Aguila-7B για το ισπανικό σύνολο.

Δοκιμές

Τα πειράματα που διεξήχθησαν για το έργο εκτελέστηκαν σε μη καθορισμένο αριθμό NVIDIA A4000 GPU, κάθε一个 με 16GB VRAM.

Για να συγκρίνουν τη συμπεριφορά του μοντέλου με πραγματικές πολιτικές ιδεολογίες, οι ερευνητές προέβλεψαν κάθε LLM στον ίδιο διδιάστατο ιδεολογικό χώρο που χρησιμοποιείται για τα πολιτικά κόμματα, με βάση το προαναφερθέν πλαίσιο CHES.

Το σύστημα CHES ορίζει δύο άξονες: ένας για οικονομικές απόψεις (αριστερά vs δεξιά) και ένας για κοινωνικο-πολιτισμικές αξίες (GAL-TAN, ή Πράσινο-Εναλλακτικό-Ελευθεριακό vs Παραδοσιακό-Αυταρχικό-Εθνικιστικό).

Επειδή και τα μοντέλα και τα πολιτικά κόμματα είχαν ψηφίσει για τις ίδιες προτάσεις, οι ερευνητές αντιμετώπισαν αυτό ως επιβλεπόμενη μάθηση εργασία, εκπαιδεύοντας ένα ΠαρτIAL Least Squares regression μοντέλο για να αντιστοιχίσει το αρχείο ψηφοφοριών κάθε κόμματος με τις γνωστές συντεταγμένες CHES.

Αυτό το μοντέλο εφαρμόστηκε τότε στα πρότυπα ψηφοφοριών των LLMs για να εκτιμήσει τις θέσεις τους στον ίδιο χώρο.既然 τα LLMs δεν ήταν ποτέ μέρος των δεδομένων εκπαίδευσης, οι συντεταγμένες τους θα πρόσφεραν μια άμεση σύγκριση με βάση μόνο τη συμπεριφορά ψηφοφοριών*:

Προβλεπόμενες ιδεολογικές θέσεις των LLMs και των πολιτικών κομμάτων στο χώρο CHES για την Ολλανδία, τη Νορβηγία και την Ισπανία. Σε όλες τις τρεις περιπτώσεις, τα μοντέλα ευθυγραμμίζονται οικονομικά με το κέντρο-αριστερά αλλά διαφέρουν στις κοινωνικο-πολιτισμικές αξίες: κλίνουν περισσότερο παραδοσιακά από τα ολλανδικά προοδευτικά, αντιστοιχούν πιο στενά με τα νορβηγικά φιλελεύθερα κόμματα και συσσωρεύονται μεταξύ μετριοπαθών καταλανικών εθνικιστών και του κέντρου-αριστερά στην Ισπανία. Τα μοντέλα παραμένουν ιδεολογικά μακριά από τα ακροδεξιά κόμματα σε όλες τις περιοχές. Πηγή

Τα LLMs έδειξαν ένα σαφές και συνεχή πρότυπο σε όλες τις τρεις χώρες, κλινώντας οικονομικά προς το κέντρο-αριστερά, και κοινωνικά προς μετριοπαθείς προοδευτικές αξίες.

Στην Ολλανδία, οι ψήφοι των LLMs αντιστοιχούσαν με τις οικονομικές θέσεις κομμάτων όπως το D66, το Volt και το GroenLinks-PvdA· αλλά σε κοινωνικά ζητήματα, βρέθηκαν πιο κοντά σε πιο παραδοσιακά κόμματα όπως το DENK και το CDA.

Στη Νορβηγία, τα αποτελέσματα μετατοπίστηκαν ελαφρώς πιο αριστερά, αντιστοιχώντας στενά με προοδευτικά κόμματα όπως το Ap, το SV και το MDG.

Στην Ισπανία, οι θέσεις των LLMs σχημάτισαν μια διαγώνια εξάπλωση μεταξύ του κέντρου-αριστερού PSOE και των καταλανικών εθνικιστικών κομμάτων όπως το ERC και το Junts, παραμένοντας μακριά από το συντηρητικό PP και το ακροδεξιά VOX.

Συμφωνία Ψηφοφορίας με Πολιτικά Κόμματα

Τα θερμικά χάρτες συμφωνίας ψηφοφορίας που εμφανίζονται παρακάτω δείχνουν πόσο συχνά κάθε LLM ψήφισε με τον ίδιο τρόπο όπως τα πραγματικά πολιτικά κόμματα, επαναλαμβάνοντας προηγούμενες συμπεράσματα:

Θερμικοί χάρτες συμφωνίας ψηφοφορίας μεταξύ LLMs και πραγματικών πολιτικών κομμάτων, με βάση τις άμεσες συγκρίσεις των αποφάσεων του μοντέλου και του κόμματος. Σκοτεινότερες αποχρώσεις δείχνουν ισχυρότερη συμφωνία. Σε όλες τις τρεις χώρες, τα μοντέλα έδειξαν συνεχώς υψηλή ευθυγράμμιση με προοδευτικά και κέντρο-αριστερά κόμματα, και πολύ χαμηλότερη ευθυγράμμιση με δεξιά-συντηρητικά και ακροδεξιά κόμματα. Αυτό το πρότυπο ευθυγράμμισης παραμένει σταθερό σε διαφορετικές γλώσσες, πολιτικά συστήματα και οικογένειες μοντέλων.

Σε όλες τις τρεις χώρες, τα LLMs ευθυγραμμίζονταν περισσότερο με προοδευτικά και κέντρο-αριστερά κόμματα, και λιγότερο με συντηρητικά ή ακροδεξιά κόμματα. Στην Ολλανδία, συμφωνούσαν με το SP, το PvdD, το GroenLinks-PvdA και το DENK, αλλά όχι με το PVV ή το FvD. Στη Νορβηγία, έδειξαν την ισχυρότερη επικάλυψη με το R, το SV και το MDG, και λίγη με το FrP. Στην Ισπανία, ευνοούσαν το PSOE, το ERC και το Junts, ενώ απέφευγαν το PP και το VOX.

Αυτό ίσχυε επίσης για τα τοπικά μοντέλα NorskGPT και Aguila-7B. Οι συγγραφείς υποδεικνύουν ότι οι θερμικοί χάρτες και τα δεδομένα CHES μαζί δείχνουν μια συνεχή κεντροαριστερή, κοινωνικά προοδευτική κλίση.

Ιδεολογική Προκατάληψη

Τα γλωσσικά μοντέλα που έδειξαν ισχυρότερη ιδεολογική ευθυγράμμιση στις προβλέψεις CHES τάθηκαν επίσης να εκφράσουν υψηλότερη βεβαιότητα όταν αναγκάστηκαν να επιλέξουν μεταξύ των token για και ενάντια, σε απάντηση σε ιδεολογικές προτροπές. Οι βιολίνοι.plot των κατανομών αυτής της βεβαιότητας αποκαλύπτουν một σαφή διαίρεση:

Κατανομές βεβαιότητας για κάθε μοντέλο όταν αναγκάστηκαν να επιλέξουν μεταξύ ‘για’ και ‘ενάντια’ σε ιδεολογικές προτροπές. Τα μοντέλα GPT εμφανίζουν συνεχώς υψηλή βεβαιότητα, ενώ τα μοντέλα Llama ποικίλλουν σε βεβαιότητα και άλλα ανοιχτά μοντέλα εμφανίζουν ευρύτερες, χαμηλότερης βεβαιότητας κατανομές. Παρακαλούμε αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Τα GPT-3.5 και GPT‑4o-mini έδωσαν πολύ βέβαιες απαντήσεις, με σκορ που συγκεντρώθηκαν κοντά στο 1.0, υποδεικνύοντας σαφείς και συνεπείς ιδεολογικές κλίσεις. Τα μοντέλα Llama ήταν λιγότερο βέβαια συνολικά, με το Llama3-8B να εμφανίζει μέτρια βεβαιότητα, και το Llama2-7B πολύ λιγότερο σίγουρο – ιδιαίτερα στις ολλανδικές και ισπανικές εργασίες.

Τα Falcon3-7B, DeepSeek-7B και Mistral‑7B ήταν ακόμη πιο διστακτικά, με ευρείες διασπορές και χαμηλότερη βεβαιότητα. Τα γλωσσικά συγκεκριμένα μοντέλα έκαναν κάπως καλύτερα στις εργασίες της μητρικής τους γλώσσας, αλλά ακόμη και αυτά έμειναν πίσω από την βεβαιότητα του GPT.

Αυτά τα πρότυπα, οι συγγραφείς σημειώνουν, υποδεικνύουν ότι η σταθερή πολιτική ευθυγράμμιση μπορεί να φανεί όχι μόνο σε αυτό που λένε τα μοντέλα, αλλά και πώς βέβαια το λένε.

Προκατάληψη Οντότητας

Για να δουν αν τα μοντέλα αλλάζουν τις απαντήσεις τους με βάση ποιος προτείνει μια πολιτική, οι ερευνητές διατήρησαν κάθε πρόταση ακριβώς την ίδια, αλλά αντάλλαξαν τα συνδεδεμένα ονόματα κομμάτων. Αν ένα μοντέλο έδωσε διαφορετικές απαντήσεις ανάλογα με το κόμμα, αυτό θεωρήθηκε ως ένδειξη προκατάληψης οντότητας.

Θερμικοί χάρτες προκατάληψης οντότητας δείχνουν πόσο ισχυρά η υποστήριξη κάθε μοντέλου για μια πολιτική αλλάζει, ανάλογα με ποιο πολιτικό κόμμα την προτείνει. Πράσινες κυψέλες δείχνουν αυξημένη συμφωνία όταν αναφέρεται το όνομα ενός κόμματος (θετική προκατάληψη), και κόκκινες κυψέλες δείχνουν μειωμένη συμφωνία (αρνητική προκατάληψη). Τα μοντέλα GPT εμφανίζουν ελάχιστη προκατάληψη σε όλα τα κόμματα, ενώ μοντέλα όπως το Llama2-7B και το Falcon3-7B συχνά ανταποκρίνονται πιο ευνοϊκά σε αριστερά-κλινόμενα κόμματα και αρνητικά σε δεξιά-πτέρυγα κόμματα. Αυτό το πρότυπο ισχύει σε όλα τα ολλανδικά, νορβηγικά και ισπανικά σύνολα δεδομένων, υποδεικνύοντας ότι κάποια μοντέλα επηρεάζονται περισσότερο από την ταυτότητα του κόμματος παρά από το περιεχόμενο της πολιτικής. Παρακαλούμε αναφερθείτε στο αρχείο PDF για καλύτερη ανάλυση.

Τα μοντέλα GPT έδωσαν κυρίως σταθερές απαντήσεις ανεξάρτητα από το ποιο κόμμα αναφερόταν. Το Llama3-8B παρέμεινε επίσης khá σταθερό. Αλλά το Llama2-7B, το Falcon3-7B και το DeepSeek-7B συχνά άλλαζαν τις απαντήσεις τους ανάλογα με το κόμμα, μερικές φορές αντιστρέφοντας την υποστήριξη σε αντίθεση ακόμη και όταν η πρόταση παρέμεινε η ίδια, τάσσοντας να ευνοούν τα αριστερά-κλινόμενα κόμματα και να αντιδρούν αρνητικά σε προτάσεις από δεξιά-πτέρυγα κόμματα.

Αυτή η συμπεριφορά εμφανίστηκε σε όλες τις τρεις χώρες, ιδιαίτερα σε μοντέλα που ήδη είχαν λιγότερη συνεπή ιδεολογία. Τα τοπικά LLMs NorskGPT και Aguila-7B έκαναν κάπως καλύτερα στα σύνολα δεδομένων της μητρικής τους γλώσσας, αλλά ακόμη και αυτά έδειξαν περισσότερη προκατάληψη από τα GPT. Συνολικά, τα αποτελέσματα υποδεικνύουν ότι κάποια μοντέλα επηρεάζονται περισσότερο από το ποιο κόμμα λέει κάτι, παρά από το τι λέγεται.

Συμπέρασμα

Πέρα από τα αρχικά συμπεράσματά της, αυτή η εργασία είναι μια μεθοδική αλλά σχετικά απρόσιτη εργασία που απευθύνεται κατευθείαν στο ερευνητικό τομέα. Παρόλα αυτά, αυτή η νέα εργασία είναι μεταξύ των πρώτων που χρησιμοποιούν δεδομένα σε λογική κλίμακα για να προκαλέσουν πολιτικές κλίσεις από LLMs – αν και αυτή η διάκριση είναι πιθανό να χαθεί σε ένα κοινό που άκουγε για αριστερά-κλινόμενα γλωσσικά μοντέλα khá πολύ τον τελευταίο χρόνο, αν και σε πιο λεπτές αποδείξεις.

* Παρακαλούμε σημειώστε ότι έπρεπε να χωρίσω την εικόνα του αρχείου Figure 1 της εργασίας στο μέσο,既然 κάθε πλευρά της αρχικής εικόνας αντιμετωπίζεται ξεχωριστά στην εργασία.

Πρώτη δημοσίευση την Τετάρτη, 14 Ιανουαρίου 2026