Τα Chatbots Τεχνητής Νοημοσύνης γέρνουν αριστερά όταν ψηφίζουν για πραγματικούς νόμους

Στην πρώτη μελέτη του είδους της που χρησιμοποιεί δεδομένα πραγματικού κόσμου υψηλής κλίμακας, το ChatGPT και άλλα μοντέλα μεγάλης γλώσσας δοκιμάστηκαν σε χιλιάδες πραγματικές κοινοβουλευτικές ψήφους και ευθυγραμμίστηκαν επανειλημμένα με αριστερά και κεντροαριστερά κόμματα, ενώ έδειξαν ασθενέστερη ευθυγράμμιση με συντηρητικά κόμματα σε τρεις χώρες.

Σε μια νέα ακαδημαϊκή συνεργασία μεταξύ της Ολλανδίας και της Νορβηγίας, τα μοντέλα μεγάλων γλωσσών τύπου ChatGPT (LLMs) – συμπεριλαμβανομένου του ίδιου του ChatGPT – κλήθηκαν να ψηφίσουν για χιλιάδες πραγματικές κοινοβουλευτικές προτάσεις που είχαν ήδη αποφασιστεί από ανθρώπινους νομοθέτες σε τρεις χώρες.

Σε σύγκριση με τις καταγεγραμμένες ψήφους των πραγματικών κομμάτων και σε αντιστοίχιση με μια τυπική πολιτική κλίμακα, το μοτίβο που προέκυψε τοποθετούσε τις Τεχνητές Νοημοσύνης σταθερά πιο κοντά σε προοδευτικά και κεντροαριστερά κόμματα και πιο μακριά από τα συντηρητικά.

Το έγγραφο αναφέρει:

«Τα ευρήματά μας αποκαλύπτουν συνεπείς κεντροαριστερές και προοδευτικές τάσεις σε όλα τα μοντέλα, μαζί με συστηματική αρνητική προκατάληψη προς τα δεξιά-συντηρητικά κόμματα, και δείχνουν ότι αυτά τα μοτίβα παραμένουν σταθερά υπό παραφρασμένες προτροπές.»

Οι περισσότερες προηγούμενες μελέτες, όπως π.χ. Αξιολόγηση της πολιτικής προκατάληψης σε μεγάλα γλωσσικά μοντέλα, και εκείνες που αξιολογήθηκαν στο Εντοπισμός Πολιτικής Προκατάληψης στην Τεχνητή Νοημοσύνη, χρησιμοποιούν μικρά επιμελημένα κουίζ, όπως τεστ πολιτικής πυξίδας ή ερωτηματολόγια πολιτικής, για να διερευνήσουν την ιδεολογία μιας Τεχνητής Νοημοσύνης. Τεστ αυτού του είδους συνήθως περιλαμβάνουν λιγότερες από 100 δηλώσεις, που επιλέγονται προσεκτικά από ερευνητές, και μπορεί να είναι ευάλωτα σε εφέ αναδιατύπωσης που μπορεί να αντιστρέψει τις αντιδράσεις ενός μοντέλου.

Αντιθέτως, η νέα μελέτη χρησιμοποιεί χιλιάδες πραγματικές κοινοβουλευτικές προτάσεις από τρεις χώρες – την Ολλανδία, τη Νορβηγία και την Ισπανία – χρησιμοποιώντας καταγεγραμμένες ψήφους από γνωστά πολιτικά κόμματα.

Αντί να ερμηνεύουν σύντομες δηλώσεις, κάθε Μεγάλο Γλωσσικό Μοντέλο (LLM) που δοκιμάστηκε κλήθηκε να ψηφίσει επί πραγματικών νομοθετικών προτάσεων. Οι ψήφοι του στη συνέχεια αντιστοιχίστηκαν ποσοτικά με την πραγματική συμπεριφορά των κομμάτων και προβλήθηκαν σε έναν τυπικό ιδεολογικό χώρο, μια έρευνα εμπειρογνωμόνων του Chapel Hill (CHES), μια μεθοδολογία χρησιμοποιείται συχνά από πολιτικούς επιστήμονες για να συγκρίνουν τις θέσεις των κομμάτων.

Αυτό βασίζει την ανάλυση σε μεγάλης κλίμακας, πραγματική νομοθετική δραστηριότητα αντί για αφηρημένες δηλώσεις πολιτικής και επιτρέπει πιο λεπτομερείς, διακρατικές συγκρίσεις. Τονίζει επίσης την επιβλαβή επίδραση της μεροληψία οντότητας (πώς αλλάζει η απόκριση του μοντέλου όταν αναφέρεται το όνομα ενός μέρους, ακόμη και όταν η κίνηση παραμένει αμετάβλητη), φωτίζοντας ένα δεύτερο επίπεδο ανίχνευσης προκατάληψης που δεν υπήρχε σε προηγούμενη εργασία.

Οι περισσότερες μελέτες σχετικά με τις προκαταλήψεις για το LLM έχουν επικεντρωθεί στην κοινωνική δικαιοσύνη και το φύλο, μεταξύ άλλων παρόμοιων θεμάτων που έχουν γίνει... κάπως υποβαθμισμένος κατά τη διάρκεια του τελευταίου πολιτικού έτους· μέχρι πρόσφατα, οι μελέτες για την πολιτική προκατάληψη στους μεταπτυχιακούς φοιτητές LLM ήταν σπανιότερες και λιγότερο σχολαστικά οργανωμένες και σχεδιασμένες.

The νέες εργασίες είναι ο τίτλος Αποκάλυψη Πολιτικής Προκατάληψης σε Μεγάλα Γλωσσικά Μοντέλα με Χρήση Αρχείων Κοινοβουλευτικής Ψηφοφορίας, και προέρχεται από επτά ερευνητές από το Vrije Universiteit στο Άμστερνταμ και το Πανεπιστήμιο του Όσλο.

Μέθοδος και Δεδομένα

Η κεντρική πρόταση του νέου έργου είναι η παρατήρηση των πολιτικών τάσεων μιας ποικιλίας γλωσσικών μοντέλων, ζητώντας τους να ψηφίσουν για ιστορική νομοθεσία (δηλαδή, νόμους που έχουν ήδη ψηφιστεί ή απορριφθεί στην πραγματική ζωή, στις τρεις χώρες που μελετήθηκαν) και χρησιμοποιώντας τη μεθοδολογία CHES για να χαρακτηρίσει το πολιτικό χρώμα των απαντήσεων των LLM.

Για τον σκοπό αυτό, οι ερευνητές δημιούργησαν τρία σύνολα δεδομένων: PoliBiasNL, για την κάλυψη 15 κομμάτων στο δεύτερο τμήμα της ολλανδικής Βουλής (με 2,701 προτάσεις)· PoliBiasNO, για την κάλυψη εννέα κομμάτων του Νορβηγικού Storting (με 10,584 προτάσεις)· και PoliBiasES, για να καλύψει δέκα κόμματα στο ισπανικό κοινοβούλιο (με 2,480 προτάσεις – και το μόνο σύνολο δεδομένων που περιλαμβάνει ψήφους αποχής, οι οποίες επιτρέπονται στην Ισπανία).

Κάθε πρόταση αποσπάστηκε από τις ρήτρες του διατακτικού της για την ελαχιστοποίηση των φαινομένων διαμόρφωσης, και οι θέσεις των κομμάτων κωδικοποιήθηκαν ως 1 για να δηλώσουν υποστήριξη, ή -1 για να υποδείξει την αντίθεση (και, στο ισπανικό σύνολο δεδομένων, 0 για να αντικατοπτρίζονται οι αποχές). Οι σταθερές ψήφοι από τα συγχωνευμένα κόμματα αντιμετωπίστηκαν ως ενιαίο μπλοκ, ενώ για τα νέα κόμματα όπως το Νέο Κοινωνικό Συμβόλαιο (NSC), οι προηγούμενες ψήφοι των ηγετών τους χρησιμοποιήθηκαν για να συναχθούν προηγούμενες θέσεις.

Σχεδιάστηκε μια ποικίλη σειρά πειραμάτων για μια σειρά από LLM, τα οποία δοκιμάστηκαν είτε σε τοπικές GPU είτε μέσω API, ανάλογα με τις ανάγκες. Τα μοντέλα που δοκιμάστηκαν ήταν Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o μίνι; Λάμα2-7Β? Και Λάμα3-8ΒΕξετάστηκαν επίσης νομικά μαθήματα (LLM) ειδικά για συγκεκριμένες γλώσσες, τα οποία είναι ΝορβηγικάGPT για το νορβηγικό σύνολο δεδομένων, και Aguila-7B για την ισπανική συλλογή.

Δοκιμές

Τα πειράματα που πραγματοποιήθηκαν για το έργο εκτελέστηκαν σε έναν απροσδιόριστο αριθμό GPU NVIDIA A4000, η ​​καθεμία με 16 GB VRAM.

Για να συγκρίνουν το μοντέλο συμπεριφοράς με τις πολιτικές ιδεολογίες του πραγματικού κόσμου, οι ερευνητές προέβαλαν κάθε LLM στον ίδιο δισδιάστατο ιδεολογικό χώρο που χρησιμοποιείται για τα πολιτικά κόμματα, με βάση το προαναφερθέν πλαίσιο CHES.

Το σύστημα CHES ορίζει δύο άξονες: έναν για οικονομικές απόψεις (αριστερά έναντι δεξιάς) και έναν άλλο για κοινωνικοπολιτιστικές αξίες (GAL-TAN, ή Πράσινη-Εναλλακτική-Ελευθεριακή vs Παραδοσιακό-Αυταρχικό-Εθνικιστικό).

Επειδή τόσο τα μοντέλα όσο και τα πολιτικά κόμματα είχαν ψηφίσει για τις ίδιες προτάσεις, οι ερευνητές το αντιμετώπισαν αυτό ως εποπτευόμενη μάθηση εργασία, εκπαίδευση ενός Μοντέλο μερικής παλινδρόμησης ελαχίστων τετραγώνων για να αντιστοιχίσετε το αρχείο ψηφοφορίας κάθε κόμματος στις γνωστές συντεταγμένες CHES του.

Αυτό το μοντέλο εφαρμόστηκε στη συνέχεια στα πρότυπα ψηφοφορίας των LLM για να εκτιμηθούν οι θέσεις τους στον ίδιο χώρο. Δεδομένου ότι οι LLM δεν αποτελούσαν ποτέ μέρος των δεδομένων εκπαίδευσης, οι συντεταγμένες τους θα προσέφεραν επομένως μια άμεση σύγκριση βασισμένη αποκλειστικά στη συμπεριφορά ψηφοφορίας*:

Προβαλλόμενες ιδεολογικές θέσεις των LLM και των πολιτικών κομμάτων στον χώρο CHES για την Ολλανδία, τη Νορβηγία και την Ισπανία. Και στις τρεις περιπτώσεις, τα μοντέλα ευθυγραμμίζονται οικονομικά με την κεντροαριστερά, αλλά αποκλίνουν ως προς τις κοινωνικοπολιτισμικές αξίες: κλίνουν πιο παραδοσιακά από τους Ολλανδούς προοδευτικούς, ταιριάζουν περισσότερο με τα νορβηγικά φιλελεύθερα κόμματα και συγκεντρώνονται μεταξύ μετριοπαθών Καταλανών εθνικιστών και κεντροαριστεράς στην Ισπανία. Τα μοντέλα παραμένουν ιδεολογικά απομακρυσμένα από τα ακροδεξιά κόμματα σε όλες τις περιοχές. Πηγή

Τα μεταπτυχιακά LLM εμφάνισαν ένα σαφές και συνεπές μοτίβο και στις τρεις χώρες, κλίνοντας οικονομικά προς την κεντροαριστερά και κοινωνικά προς τις μετριοπαθείς προοδευτικές αξίες.

Στην Ολλανδία, οι ψήφοι των LLM αντιστοιχούσαν στις οικονομικές θέσεις κομμάτων όπως το D66, το Volt και το GroenLinks-PvdA, αλλά σε κοινωνικά ζητήματα, προσέγγισαν πιο κοντά σε πιο παραδοσιακά κόμματα όπως το DENK και το CDA.

Στη Νορβηγία, τα αποτελέσματα μετατοπίστηκαν ελαφρώς πιο αριστερά, σε στενή αντιστοιχία με προοδευτικά κόμματα όπως το AP, το SV και το MDG.

Στην Ισπανία, οι θέσεις του LLM σχημάτισαν μια διαγώνια διαφορά μεταξύ του κεντροαριστερού PSOE και των καταλανικών εθνικιστικών κομμάτων όπως το ERC και το Junts, παραμένοντας σε μεγάλη απόσταση από το συντηρητικό PP και το ακροδεξιό VOX.

Συμφωνία ψήφου με τα πολιτικά κόμματα

Οι θερμικοί χάρτες συμφωνίας ψήφου που φαίνονται παρακάτω δείχνουν πόσο συχνά κάθε LLM ψήφισε με τον ίδιο τρόπο όπως τα πραγματικά πολιτικά κόμματα, επαναλαμβάνοντας προηγούμενα συμπεράσματα:

Θερμικοί χάρτες συμφωνίας ψήφου μεταξύ των LLM και των πραγματικών πολιτικών κομμάτων, με βάση άμεσες συγκρίσεις μοντέλων και αποφάσεων κομμάτων. Οι πιο σκούρες αποχρώσεις υποδηλώνουν ισχυρότερη συμφωνία. Και στις τρεις χώρες, τα μοντέλα έδειξαν σταθερά υψηλή ευθυγράμμιση με προοδευτικά και κεντροαριστερά κόμματα και πολύ χαμηλότερη ευθυγράμμιση με δεξιά-συντηρητικά και ακροδεξιά κόμματα. Αυτό το μοτίβο ευθυγράμμισης είναι σταθερό σε διαφορετικές γλώσσες, πολιτικά συστήματα και οικογένειες μοντέλων.

Και στις τρεις χώρες, οι LLM ευθυγραμμίστηκαν περισσότερο με προοδευτικά και κεντροαριστερά κόμματα και λιγότερο με συντηρητικά ή ακροδεξιά. Στην Ολλανδία, συμφώνησαν με τα SP, PvdD, GroenLinks-PvdA και DENK, αλλά όχι με το PVV ή το FvD. Στη Νορβηγία, έδειξαν ισχυρότερη αλληλεπικάλυψη με το R, το SV και το MDG, και ελάχιστη με το FrP. Στην Ισπανία, ευνόησαν το PSOE, το ERC και το Junts, ενώ απέφυγαν το PP και το VOX.

Αυτό ίσχυε και για τα τοπικά μοντέλα NorskGPT και Aguila-7B. Οι συγγραφείς υποστηρίζουν ότι οι χάρτες θερμότητας και τα δεδομένα CHES μαζί υποδεικνύουν μια συνεπή κεντροαριστερή, κοινωνικά προοδευτική κλίση.

Ιδεολογική προκατάληψη

Τα γλωσσικά μοντέλα που έδειξαν ισχυρότερη ιδεολογική ευθυγράμμιση στις προβολές CHES έτειναν επίσης να εκφράζουν μεγαλύτερη βεβαιότητα όταν αναγκάζονταν να επιλέξουν μεταξύ των διακριτικών. για και κατά, σε απάντηση σε ιδεολογικές προτροπές. Τα διαγράμματα βιολιού αυτών των κατανομών εμπιστοσύνης αποκαλύπτουν ένα σαφές χάσμα:

Κατανομές βεβαιότητας για κάθε μοντέλο όταν αναγκάζεται να επιλέξει μεταξύ «υπέρ» και «κατά» σε ιδεολογικά ερωτήματα. Τα μοντέλα GPT εμφανίζουν σταθερά υψηλή βεβαιότητα, ενώ τα μοντέλα Llama ποικίλλουν σε εμπιστοσύνη και άλλα μοντέλα ανοιχτού βάρους εμφανίζουν ευρύτερες κατανομές χαμηλότερης βεβαιότητας. Ανατρέξτε στο αρχείο PDF πηγής για καλύτερη ανάλυση.

Τα μοντέλα GPT-3.5 και GPT‑4o-mini έδωσαν πολύ σίγουρες απαντήσεις, με βαθμολογίες που ομαδοποιούνταν κοντά στο 1.0, υποδηλώνοντας σαφείς και συνεπείς ιδεολογικές κλίσεις. Τα μοντέλα Llama ήταν λιγότερο σίγουρα συνολικά, με τα Llama3-8B να δείχνουν μέτρια βεβαιότητα και τα Llama2-7B πολύ λιγότερο σίγουρα – ειδικά σε εργασίες στα ολλανδικά και τα ισπανικά.

Τα Falcon3-7B, DeepSeek-7B και Mistral‑7B ήταν ακόμη πιο διστακτικά, με ευρείες διαφορές και χαμηλότερη αξιοπιστία. Τα μοντέλα που αφορούν συγκεκριμένες γλώσσες τα πήγαν κάπως καλύτερα σε δεδομένα μητρικής γλώσσας, αλλά παρόλα αυτά δεν κατάφεραν να επιτύχουν τη βεβαιότητα σε επίπεδο GPT.

Αυτά τα μοτίβα, σημειώνουν οι συγγραφείς, υποδηλώνουν ότι η σταθερή πολιτική ευθυγράμμιση μπορεί να παρατηρηθεί όχι μόνο σε αυτά που λένε τα μοντέλα, αλλά και στο με πόση σιγουριά το λένε.

Προκατάληψη Οντότητας

Για να δούμε αν τα μοντέλα αλλάζουν τις απαντήσεις τους με βάση ποιος προτείνει μια πολιτική, οι ερευνητές διατήρησαν κάθε κίνηση ακριβώς την ίδια, αλλά αντάλλαξαν τα ονόματα των σχετικών κομμάτων. Εάν ένα μοντέλο έδινε διαφορετικές απαντήσεις ανάλογα με το κόμμα, αυτό θεωρήθηκε ως ένδειξη μεροληψία οντότητας.

Οι θερμικοί χάρτες μεροληψίας οντοτήτων δείχνουν πόσο έντονα αλλάζει η υποστήριξη κάθε μοντέλου για μια πολιτική, ανάλογα με το ποιο πολιτικό κόμμα την προτείνει. Τα πράσινα κελιά υποδεικνύουν αυξημένη συμφωνία όταν κατονομάζεται ένα κόμμα (θετική μεροληψία) και τα κόκκινα κελιά υποδεικνύουν μειωμένη συμφωνία (αρνητική μεροληψία). Τα μοντέλα GPT δείχνουν ελάχιστη μεροληψία μεταξύ των κομμάτων, ενώ μοντέλα όπως τα Llama2-7B και Falcon3-7B συχνά ανταποκρίνονται ευνοϊκότερα σε αριστερά κόμματα και αρνητικά σε δεξιά. Αυτό το μοτίβο ισχύει για όλα τα ολλανδικά, νορβηγικά και ισπανικά σύνολα δεδομένων, υποδηλώνοντας ότι ορισμένα μοντέλα επηρεάζονται περισσότερο από την ταυτότητα του κόμματος παρά από το περιεχόμενο πολιτικής. Ανατρέξτε στο αρχείο PDF πηγής για καλύτερη ανάλυση.

Τα μοντέλα GPT έδωσαν ως επί το πλείστον σταθερές απαντήσεις ανεξάρτητα από το ποιο κόμμα κατονομάστηκε. Το Llama3-8B παρέμεινε επίσης αρκετά σταθερό. Αλλά τα Llama2-7B, Falcon3-7B και DeepSeek-7B συχνά άλλαζαν τις απαντήσεις τους ανάλογα με το κόμμα, μεταβαίνοντας μερικές φορές από υποστήριξη σε αντίθεση ακόμη και όταν η πρόταση παρέμενε η ίδια, τείνοντας να ευνοούν τα αριστερά κόμματα και να αντιδρούν αρνητικά στις προτάσεις των δεξιών.

Αυτή η συμπεριφορά εμφανίστηκε και στις τρεις χώρες, ειδικά σε μοντέλα που είχαν ήδη λιγότερο συνεπή ιδεολογία. Τα τοπικά LLM NorskGPT και Aguila-7B τα πήγαν ελαφρώς καλύτερα στα οικιακά σύνολα δεδομένων τους, αλλά εξακολουθούσαν να παρουσιάζουν μεγαλύτερη προκατάληψη από το GPT. Συνολικά, τα αποτελέσματα υποδηλώνουν ότι ορισμένα μοντέλα επηρεάζονται περισσότερο από το ποιος λέει κάτι, παρά από το τι λέγεται.

Συμπέρασμα

Πέρα από τα αρχικά της συμπεράσματα, πρόκειται για μια μεθοδική αλλά μάλλον απρόσιτη εργασία που απευθύνεται αποκλειστικά στον ίδιο τον ερευνητικό τομέα. Παρ' όλα αυτά, αυτή η νέα εργασία είναι από τις πρώτες που χρησιμοποιούν δεδομένα εύλογης κλίμακας για να προκαλέσουν πολιτικές κλίσεις από τους LLM - αν και αυτή η διάκριση είναι πιθανό να χαθεί σε ένα κοινό που άκουγε αρκετά για αριστερές γλωσσικές τάσεις τον τελευταίο χρόνο, αν και με μάλλον λιγότερο επαρκή στοιχεία.

* Λάβετε υπόψη ότι έπρεπε να χωρίσω την αρχική απεικόνιση των αποτελεσμάτων του Σχήματος 1 στη μέση, καθώς κάθε πλευρά του αρχικού σχήματος αντιμετωπίζεται ξεχωριστά στην εργασία.

Πρώτη δημοσίευση Τετάρτη, 14 Ιανουαρίου 2026