Τα Μοντέλα AI Προτιμούν το Γραπτό των Ανθρώπων από το Γραπτό των Ιδίων

Σύμφωνα με νέα έρευνα, το ChatGPT και παρόμοια μοντέλα δείχνουν σαφή προκατάληψη προς το κείμενο που πιστεύουν ότι γράφτηκε από ανθρώπους, ακόμη και όταν αυτή η πεποίθηση είναι λανθασμένη. Απλώς η ονομασία του κειμένου ως “ανθρωπογενές” προδιαθέτει τα μοντέλα AI να το προτιμούν – και, ειρωνικά, μπορεί να μάθουν αυτή την προκατάληψη από εμάς.

Οι έννοιες της αυθεντικότητας, της προέλευσης και της κοινής ανθρώπινης εμπειρίας μπορεί να έχουν μεγαλύτερο ρόλο στην επίθεση του AI στο δημιουργικό τομέα της γραφής από ότι φαινόταν μέχρι τώρα: δοκιμές που διεξήχθησαν για μια νέα μελέτη στο Πρίνστον ανέφεραν ότι μια σειρά από σημαντικά κλειστά και ανοιχτά μοντέλα γλωσσικών μοντέλων, συμπεριλαμβανομένου του ChatGPT, προτιμούν ό,τι πιστεύουν ότι είναι “ανθρωπογενές” κείμενα.

Ακόμη και όταν οι ετικέτες στα δείγματα γραφής αντιστρέφονταν, και τα μοντέλα AI και οι ανθρώπινες συμμετέχοντες συνέχισαν να βρίσκουν λάθη στο κείμενο που γράφτηκε από το AI, επαναλαμβάνοντας τις ίδιες κριτικές που είχαν κάνει όταν ήταν σωστά ετικεταρισμένα.

Οι ερευνητές πιστεύουν ότι μέρος του λόγου μπορεί να είναι ότι η αυξανόμενη ανθρώπινη εχθρότητα προς το γεννητικό AI, που φαίνεται να εκδηλώνεται σε νέα και ενδιαφέροντα γεγονότα κάθε μέρα, μπορεί να επαναχρησιμοποιείται στα συστήματα AI themselves. Παρατηρώντας το βαθμό με τον οποίο το AI δεν喜欢 το γραπτό του AI ακόμη περισσότερο από τους ανθρώπους, δηλώνονται*:

‘Τα 13 μοντέλα AI που δοκιμάσαμε έδειξαν προκατάληψη 34,3 ποσοστιαίων μονάδων σε σύγκριση με τους ανθρώπους 13,7 ποσοστιαίων μονάδων, καθιστώντας τα 2,5 φορές πιο ευαίσθητα στις οδηγίες ετικέτας από τους ανθρώπινους αξιολογητές.

‘Αυτή η ενίσχυση έχει νόημα όταν αναγνωρίζουμε ότι τα σύγχρονα μοντέλα είναι προσανατολισμένα αξιολογητές. Η εκπαίδευση μέσω της Ενίσχυσης της Μάθησης από Ανθρώπινη Ανταπόκριση (RLHF) διδάσκει ρητά τα μοντέλα να αντιμετωπίζουν τις ανθρώπινες κρίσεις ως το χρυσαφί τους πρότυπο, εγκαθιστώντας μια μάθηση αξιοπιστίας [πriors].

‘Τα μοντέλα μαθαίνουν ότι η υπακοή στις ανθρώπινες προτιμήσεις ανταποδίδεται, δημιουργώντας σycopancy όπου ηχούν τις αναμενόμενες στάσεις του χρήστη αντί να παρέχουν ανεξάρτητη αξιολόγηση.’

Τα ευρήματα ισχύουν για το δημιουργικό τομέα της γραφής, με τους ερευνητές να χρησιμοποιούν ιστορίες από einem διακεκριμένο Γάλλο συγγραφέα ως δείγματα δεδομένων. και υποδεικνύουν ότι η ανθρώπινη προκατάληψη κατά του AI μπορεί, στην ισορροπία, να υπερβεί οποιαδήποτε ποσοτική βελτίωση στην κατασκευή της γλώσσας που μπορούν να εξελίξουν τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) – και ότι η ετικέτα “AI” μπορεί να σημαίνει “μη αληθινή”, “ersatz” και ακόμη “δεύτερης κατηγορίας” σε αυτόν τον τομέα.

Πολλοί από τους λόγους κεντρίζονται στην πολιτιστική πρακτική και χρήση: το έγγραφο υποδηλώνει ότι η δημιουργικότητα περιγράφεται συχνά με όρους καινοτομίας, αξίας και τυπικότητας, δηλαδή πόσο καινούργιο φαίνεται κάτι, πόσο εκτιμάται από τους εμπειρογνώμονες και πόσο καλά ταιριάζει στην κατηγορία του. Όταν ένα απόσπασμα είναι ετικεταρισμένο ως “ανθρωπογενές”, οι οικείες ιδιότητες του είδους ανταμείβονται ως πολύτιμες. όταν ετικεταριστεί ως “AI-γεννημένο”, οι ίδιες ιδιότητες απορρίπτονται ως μη πρωτότυπες.

Στην πραγματικότητα, η αποκάλυψη της πηγής προκαλεί eine επαναξιολόγηση της αξίας του έργου, διαμορφωμένη από υποθέσεις σχετικά με τον τρόπο που δημιουργήθηκε. Μόλις αποκαλυφθεί η συγγραφή του AI, οι αναγνώστες απορρίπτουν instinktively την πιθανότητα ατομικής ανακάλυψης ή προθέσεων πίσω από την έξοδο.

Το έγγραφο δηλώνει*:

‘Στις περισσότερες τέχνες, δεν υπάρχει χρυσαφί πρότυπο για “δημιουργικό够”, καθιστώντας τις ετικέτες προέλευσης ισχυρά προκαταλήψεις που μπορούν να μετατοπίσουν ποια κριτήριο feels πιο σημαντικό: πειθαρχημένη βιομηχανία ή φανερή καινοτομία, προσβασιμότητα ή δυσκολία.

‘Επειδή οι παρατηρητές συχνά συναγάγουν τη διαδικασία από το προϊόν, η προέλευση προκαλεί κρίσεις σχετικά με τον τρόπο με τον οποίο κάτι δημιουργήθηκε, καθώς και τι είναι: συντηρητικές κινήσεις possono να πιστωθούν ως βιομηχανία από έναν άνθρωπο, αλλά να απορριφθούν ως “απλή γεννήτρια” από ένα μοντέλο’.

Δεκατρία μοντέλα, συμπεριλαμβανομένων παραλλαγών του ChatGPT, Claude, Gemini και Mistral, συμμετείχαν μαζί με ανθρώπινους αναγνώστες, με όλα να βαθμολογούν τις ιστορίες πιο ευνοϊκά όταν τους είπαν ότι ήταν ανθρωπογενείς, με τα LLMs να δείχνουν μεγαλύτερη προκατάληψη από τους ανθρώπους.

Η ιδέα ότι τα μοντέλα AI μπορεί να έχουν απορροφήσει μια προκατάληψη κατά του δικού τους εξόδου θέτει ερωτήματα σχετικά με το πού προέρχεται αυτή η προκατάληψη.既然 το γραπτό του AI δεν είναι πάντα εύκολο να αναγνωριστεί, οποιαδήποτε αρνητικές συσχετίσεις που διαμορφώνονται κατά τη διάρκεια της εκπαίδευσης πιθανότατα προέρχονται από παραδείγματα που επισημαίνονται ρητά, είτε μέσω εικονογραφημένων κάλυψης του περιεχομένου του AI, είτε αυτοδηλωμένων άρθρων του AI σε κυρίαρχες εκδόσεις.

Το νέο έγγραφο έχει τον τίτλο Όλοι προτιμούν ανθρώπινους συγγραφείς, συμπεριλαμβανομένων των AI και προέρχεται από δύο συγγραφείς στο Κέντρο Ψηφιακών Ανθρωπιστικών Επιστημών του Πρίνστον. Το έργο συνοδεύεται από μια σχετική έκδοση δεδομένων στο Zenodo (με μια έκδοση GitHub που αναφέρεται στο έγγραφο, αλλά το repo δεν ήταν ενεργό κατά τη στιγμή της γραφής).

Μέθοδος

Για να εξερευνήσετε πώς η ετικέτα επηρεάζει και διαμορφώνει τις αντιλήψεις του στυλ και της δημιουργικότητας, οι συγγραφείς χρησιμοποίησαν Ασκήσεις στυλ, ένα εκκεντρικό έργο του 1947 από τον Raymond Queneau που ξαναγράφει μια απλή ιστορία σε 99 διαφορετικά στυλ. Η ιστορία ακολουθεί έναν άνθρωπο που επιβιβάζεται σε ένα λεωφορείο, συζητά με έναν άλλον επιβάτη και αργότερα λαμβάνει συμβουλές μόδας από έναν φίλο.

Αν και литератуρικής προέλευσης, αυτή η δομή προηγείται των μετασχηματισμών με βάση τις προτροπές στα σύγχρονα γλωσσικά μοντέλα, όπου οι χρήστες ζητούν ανασυγγραφές σε συγκεκριμένα τόνους, φωνές ή καταχωρήσεις. Αυτή η διαδικασία ήταν κάποτε dubbed transstylization – μια πλαισίωση που τώρα αντηχεί στην έρευνα του AI στο πλαίσιο της Style Transfer. Ενώ οι περισσότερες υπολογιστικές μεθόδους στοχεύουν σε λειτουργικές αλλαγές όπως μετατοπίσεις συναισθήματος ή αποτοξίνωση, οι ανασυγγραφές του Queneau στοχεύουν σε αξιοσημείωτη στιλιστική αντίθεση.

Από μια δημοφιλή αγγλική μετάφραση του έργου του Queneau, επιλέχθηκαν τριάντα ασκήσεις που διατηρούσαν την αφήγηση ενώ κάλυπταν ένα ευρύ φάσμα στιλιστικών διαφορών. Αυτές περιελάμβαναν περιορισμένες μορφές όπως alexandrines και lipograms, αλλαγές καταχωρήσεων όπως noble ή abusive, αφηγηματικές μετατοπίσεις όπως retrograde και hesitation, και παιχνίδια παραμορφώσεις που εμπλέκουν σπούνερισμούς, ονοματοποιΐες ή λατινική γλώσσα:

Παραδείγματα από τη μελέτη που δείχνουν πώς το GPT-4 rewrote τις ιστορίες του Queneau σε διαφορετικά λογοτεχνικά στυλ, σε ζευγάρια με τις περιγραφές στυλ που είδαν οι ανθρώπινες και οι αξιολογητές του AI κατά τη διάρκεια του тестιng. Source: https://arxiv.org/pdf/2510.08831

Αφού οι πειραματικές δοκιμές του Queneau είναι δύσκολο να ταξινομηθούν, αυτές οι κατηγορίες είναι μόνο προσεγγιστικές ομαδοποιήσεις, με την πρόθεση να δημιουργηθούν διάφοροι όροι υπό τους οποίους (ανθρώπινες) αναγνώστες και μοντέλα μπορεί να αποκαλύψουν τις προκαταλήψεις τους.

Για να παράγουν αντίπαλες ανθρωπογενείς αντίπαλες για κάθε επιλεγμένο στυλ, οι ερευνητές χρησιμοποίησαν σκόπιμα ελάχιστες προτροπές. Κάθε μοντέλο έλαβε την πιο απλή εκδοχή της ιστορίας του Queneau (την πρώτη άσκηση, Notation), μαζί με μια σύντομη οδηγία να την ξαναγράψει σε ένα συγκεκριμένο στυλ, όπως Rewrite the story as a science fiction version. Αυτή η προσέγγιση επέτρεψε στους ερευνητές να δοκιμάσουν αν η επίδραση της ετικέτας διατηρείται σε διαφορετικά μοντέλα AI, αντί να είναι συνδεδεμένη με ένα μοντέλο.

Δεδομένα και Τεστ

Οι ερευνητές έδειξαν τα ίδια ζευγάρια ιστοριών σε διαφορετικές ομάδες ανθρώπων, αλλά άλλαξαν τις ετικέτες για να δουν πόσο το όνομα του συγγραφέα επηρεάζει τις γνώμες: μια ομάδα είδε κανένα όνομα συγγραφέα, μόνο ετικέτες ‘A’ και ‘B’. Η δεύτερη ομάδα είδε τα σωστά ονόματα, με μια εκδοχή που επισημαίνεται ως γραμμένη από έναν άνθρωπο και την άλλη που επισημαίνεται ως γραμμένη από το GPT-4o.

Μια τρίτη ομάδα είδε τα ονόματα switched, με το ‘AI’ ιστορία που επισημαίνεται ως ‘ανθρώπινη’, και η ‘ανθρώπινη’ εκδοχή που επισημαίνεται ως ‘AI’:

Επισκόπηση της Μελέτης 1. Ανθρώπινες και αξιολογητές του AI σύγκριναν 30 ζευγάρια ιστοριών, κάθε一个 από τα οποία περιείχε μια εκδοχή γραμμένη από τον Queneau και μια από το GPT-4. Οι αξιολογητές χωρίστηκαν σε τρεις ομάδες: μια είδε keine ετικέτες συγγραφέα, μια είδε τις σωστές ετικέτες και μια είδε τις ετικέτες switched – μια ρύθμιση που σχεδιάστηκε για να δοκιμάσει το βαθμό με τον οποίο τα ονόματα των συγγραφέων επηρεάζουν τις γνώμες σχετικά με το στυλ γραφής.

Μελέτη 1

Οι ερευνητές χώρισαν τις 30 δημιουργημένες στιλ σε μικρότερες ομάδες, με κάθε συμμετέχοντα να βλέπει μόνο πέντε στιλ, και κάθε στυλ να δοκιμάζεται υπό όλες τις τρεις ρυθμίσεις ετικέτας.

Κάθε συμμετέχων είδε μόνο μια ρύθμιση ετικέτας: η τυφλή ομάδα είδε keine αναφορά στο AI, ενώ οι άλλες ομάδες είδε είτε σωστές είτε αντιστραμένες ετικέτες συγγραφέα. Η ανάθεση ομάδας, η σειρά ιστορίας και η τοποθέτηση αριστερά-δεξιά ήταν όλες τυχαίες.

Τα μοντέλα AI πέρασαν από την ίδια διαδικασία, λαμβάνοντας το ίδιο μείγμα στιλ και την ίδια τυχαία ανακατάταξη. Κάθε τεστ εκτελέστηκε τρεις φορές ανά μοντέλο για να διασφαλιστεί ότι τα αποτελέσματα ήταν συνεπή, καθιστώντας δυνατή τη σύγκριση ανθρώπινων και αντιδράσεων του AI στις ετικέτες συγγραφέα.

Η Μελέτη 2 χρησιμοποίησε τις ίδιες τρεις ρυθμίσεις ετικέτας όπως πριν, αλλά επέκτεινε το τεστ για να συμπεριλάβει όλα τα 420 ιστορίες που παράχθηκαν από τα 14 διαφορετικά μοντέλα LLM. Κάθε μοντέλο αξιολόγησε κάθε ιστορία υπό κάθε συνθήκη ετικέτας, παράγοντας 1.260 αποφάσεις ανά μοντέλο, και οδηγώντας σε 17.596 έγκυρες αξιολογήσεις:

Αποτελέσματα από τη Μελέτη 1. Αξιολογητές του AI και ανθρώπινες αξιολογητές έδειξαν και οι δύο προκατάληψη με βάση τις ετικέτες συγγραφέα. Όταν δεν εμφανίζονταν ετικέτες (Blind), οι προτιμήσεις ήταν σχεδόν ίσες. όταν εμφανίζονταν σωστές ετικέτες (Open Label), και οι δύο ομάδες προτίμησαν το κείμενο που γράφτηκε από τον άνθρωπο. και όταν οι ετικέτες αντιστρέφονταν (Counterfactual), και οι δύο ομάδες άλλαξαν να προτιμούν το κείμενο που πίστευαν ότι ήταν ανθρώπινη – και αυτό το αποτέλεσμα ήταν πολύ ισχυρότερο στα μοντέλα AI από ότι στους ανθρώπους. Οι ράβδοι λάθους δείχνουν 95% διαστήματα εμπιστοσύνης.

Σε όλα τα δέκα τρία μοντέλα, το πρότυπο αντιστοιχούσε στην ανθρώπινη προκατάληψη, αλλά ήταν πολύ ισχυρότερο: χωρίς ετικέτες, τα συστήματα AI βαθμολογούσαν το ανθρώπινο και το AI κείμενο περίπου ίσο, επιλέγοντας το AI κείμενο 49,4% του χρόνου. όταν η ετικέτα AI ήταν ορατή, η προτίμηση έπεσε δραματικά στο 29,8%, δείχνοντας σαφή υποτίμηση του αναγνωρισμένου AI έργου. και όταν το ίδιο κείμενο ήταν ετικεταρισμένο ως ανθρώπινη, η προτίμηση ανέβηκε στο 64,1%.

Η διαφορά μεταξύ των δύο συνθηκών ετικέτας ήταν 34,3%, που σημαίνει ότι τα μοντέλα AI άλλαξαν την προτίμησή τους πολύ περισσότερο από ότι οι άνθρωποι όταν οι ετικέτες αντιστρέφονταν. Επιπλέον, τα μοντέλα ήταν πολύ συνεπή σε επαναλαμβανόμενες εκτελέσεις, επιβεβαιώνοντας ότι η προκατάληψη ήταν σταθερή και όχι τυχαία.

Για να ελέγξουν αν η προκατάληψη οφειλόταν στο λεξιλόγιο των ετικετών και όχι στο ποιος έγραψε το κείμενο, οι ερευνητές διεξήγαγαν δύο ακόμη τεστ: ένα χρησιμοποίησε ετικέτες που έκαναν το AI να φαίνεται πιο εντυπωσιακό. και το άλλο χρησιμοποίησε ουδέτερες όρους όπως ‘AI-δημιουργημένο’ και ‘Ανθρωπογενές’.

Και τα δύο έδειξαν την ίδια προκατάληψη, και ακόμη και όταν τα μοντέλα AI παρήγαγαν την ίδια απάντηση κάθε φορά, η προκατάληψη παρέμεινε, υποδεικνύοντας ότι η προκατάληψη οφείλεται στο είδος της ετικέτας (‘ανθρώπινη’ ή ‘AI’), και όχι από τις ακριβείς λέξεις που χρησιμοποιούνται.

Μελέτη 2

Η δεύτερη μελέτη βρήκε την ίδια προκατάληψη υπέρ των ανθρώπων σε όλα τα 13 μοντέλα AI, ανεξάρτητα από την αρχιτεκτονική ή τον παρόχο:

Προκατάληψη ετικέτας για κάθε ένα από τα 13 μοντέλα AI: οι ράβδοι δείχνουν μεγέθη επιπτώσεων με 95% διαστήματα εμπιστοσύνης, και η κόκκινη γραμμή σηματοδοτεί την ανθρώπινη βάση. Όλα τα μοντέλα έδειξαν ισχυρότερη προκατάληψη από τους ανθρώπους, με μικρές διαφορές μεταξύ τους.

Κάθε μοντέλο προτίμησε ιστορίες που ετικεταρίστηκαν ως ανθρωπογενείς, με ισχυρότερες επιπτώσεις από ότι φαίνονταν στους ανθρώπους. Ακόμη και μετά την αφαίρεση του πιο ακραίου przypadίου, η μέση προκατάληψη παρέμεινε περισσότερο από δύο φορές μεγαλύτερη από την ανθρώπινη εκδοχή, υποδεικνύοντας ότι η επίδραση δεν είναι ένα σφάλμα σε ένα μοντέλο, αλλά ένα κοινό χαρακτηριστικό των LLMs γενικά.

Συμπέρασμα

Αν και, όπως σημειώνει το έγγραφο, προηγούμενες μελέτες έχουν δείξει ότι το AI μπορεί να παράγει γραπτό που είναι ίσο ή ακόμη και καλύτερο από το ανθρώπινο έργο, οι συγγραφείς τονίζουν ότι στη λογοτεχνία, η αξία που δίνεται στην συγγραφή και την αυθεντικότητα είναι μια παλιά και βαθιά ριζωμένη σύμβαση:

‘Όταν το GPT-4o Mini απορρίπτει την “δημιουργική και αστεία” προσέγγιση του Queneau ως “υπερβολική” υπό την ετικέτα AI, ενώ επαινεί ταυτόχρονα ταυτόσημα χαρακτηριστικά υπό την ετικέτα ανθρώπινη, αποκαλύπτει暗示ώς πώς αυτές οι ετικέτες προκαλούν υποθέσεις ότι δεν συνέβη κανένας αυθεντικός ψυχολογικός процесс.

‘Οι ετικέτες προέλευσης μεταφέρουν τη διαδικασία πίσω στο προϊόν: “απλή γεννήτρια” φαίνεται αποδεκτή από έναν ανθρώπινο τεχνίτη (αξιολογημένο ως ικανό χέρι), αλλά ύποπτη από ένα μοντέλο (αξιολογημένο ως αλγοριθμική ανασύνθεση).’

Τα LLMs δεν είναι ακόμη αρκετά αξιόπιστα για μη εποπτευόμενη έρευνα βασισμένη σε γεγονότα, αν και προσεκτική επιτήρηση μπορεί ακόμη να τα κάνει παραγωγικά – αλλά η δημιουργική γραφή με βάση το LLM μπορεί να αντιμετωπίσει ένα πιο αβέβαιο μέλλον, εάν τα δημιουργικά έργα του AI γίνουν στιγματισμένα μέσω της ευρύτερης δημόσιας αποδοκιμασίας της εισβολής του AI σε ανθρώπινους τομείς, αντί να βασίζονται στην λογοτεχνική αξία.

Οι επιπτώσεις των ευρημάτων από μελέτες αυτού του είδους επηρεάζονται σημαντικά από τη διάθεση των εταιρειών και των ατόμων να είναι ειλικρινείς σχετικά με το αν το AI συνεισέφερε στο εξόδου τους. Σε ορισμένες περιπτώσεις, η απροθυμία να ομολογήσουν μια τέτοια χρήση μπορεί να οφείλεται περισσότερο σε παραβίαση πνευματικών δικαιωμάτων παρά στην ανησυχία σχετικά με το αν το κοινό θα αποδεχθεί δημιουργικά έργα του AI.

Ωστόσο, νομικές, οικονομικές και πολιτικές λύσεις είναι δυνατές (αν και πολύ δύσκολες) σχετικά με τα πνευματικά δικαιώματα. Εάν μπορεί κανείς να κάνει τους ανθρώπους να απολαύσουν δημιουργικά έργα του AI που δεν έχουν κανένα單一 και σχετικό ανθρώπινο νου πίσω από αυτά – μπορεί να είναι ένα ακόμη πιο δύσκολο προοπτικό.

* Παρακαλώ αναφερθείτε στο πρωτότυπο έγγραφο για τις excised εσωτερικές αναφορές. Όπως απαιτείται, αυτές θα περιλαμβάνονται στο άρθρο.

Πρώτη δημοσίευση Δευτέρα, 13 Οκτωβρίου 2025