Ακόμη και απλή AI μπορεί πλέον να γράφει ειδήσεις που μοιάζουν ανθρώπινες

Νέα έρευνα δείχνει ότι ακόμη και μικρά μοντέλα AI που εκτελούνται τοπικά μπορούν πλέον να γράφουν ειδήσεις που οι άνθρωποι δεν διακρίνουν από την πραγματική δημοσιογραφία, φτάνοντας τα κορυφαία συστήματα και αφήνοντας τους αναγνώστες ανίκανους να καταλάβουν ποιος έγραψε τι.

Σύμφωνα με νέα ερευνητική συνεργασία Γερμανίας και Γαλλίας, οι άνθρωποι δεν μπορούν να καταλάβουν αν ένα ειδησεογραφικό άρθρο γράφτηκε από AI ή από άνθρωπο, ακόμη κι όταν δημιουργείται από μοντέλα ανοικτού κώδικα που κατεβαίνουν και εκτελούνται σε σχετικά συνηθισμένους επιτραπέζιους υπολογιστές καταναλωτών.

Ως ακόμη μία ένδειξη ότι η μικρή AI ανεβαίνει, μια έρευνα με 2.318 κρίσεις από 1.054 συμμετέχοντες σε ειδική ακαδημαϊκή πλατφόρμα διαπίστωσε ότι οι αναγνώστες δεν αναγνώριζαν την προέλευση ενός άρθρου καλύτερα από την τύχη, ακόμη κι όταν το παρήγαν σχετικά μικρά μοντέλα με μόλις επτά δισεκατομμύρια παραμέτρους, μεταξύ των οποίων παραλλαγές των Mistral και Llama.

Μέσες βαθμολογίες προέλευσης και αυθεντικότητας για τα LLM που δοκιμάστηκαν. Τα 200 δισεκατομμύρια παραμέτρων του GPT-4o δεν υπερβαίνουν κατά πολύ τα 7 δισεκατομμύρια παραμέτρων των μικρότερων μοντέλων. Στη μελέτη δοκιμάστηκαν τα Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o και GPT-3.5. Πηγή

Οι συγγραφείς επιστρέφουν σε θέμα που εξέτασαν πρώτη φορά στη δημοσίευση του 2024 Ευλογία ή κατάρα; Έρευνα για την επίδραση της παραγωγικής AI στις ψευδείς ειδήσεις. Τα ίδια τα ευρήματα είναι πρόσφατα δημοσιευμένα αποτελέσματα ενός μεγαλύτερου έργου που αρχικά ανακοινώθηκε τον Ιανουάριο και χρησιμοποιούν το δικό τους JudgeGPT διαδικτυακό πλαίσιο συμμετοχής.

Δύναμη σε μικρό μέγεθος

Με τίτλο Μπορούν οι άνθρωποι να ξεχωρίσουν; Μελέτη δύο αξόνων για την ανθρώπινη αντίληψη ειδήσεων που παράγονται από LLM, η νέα μελέτη των τριών ερευνητών από το Πανεπιστήμιο Εφαρμοσμένων Επιστημών της Φρανκφούρτης και την ερευνητική μονάδα IRISA στη Νάντη διακρίνει ουσιαστικά τις «ψευδείς ειδήσεις» από τις «ειδήσεις γραμμένες από AI»: οι ψευδείς ειδήσεις μπορούν να γραφτούν είτε από ανθρώπους είτε από AI, και οι δύο έννοιες δεν ταυτίζονται αναγκαστικά.

Ίσως όμως το πιο ενδιαφέρον σημείο είναι το συμπέρασμα ότι μικρά μοντέλα, όπως τα Mistral 7B και Gemma 7B μπορούν, με μόλις επτά δισεκατομμύρια παραμέτρους, να ανταγωνιστούν άνετα μοντέλα όπως το ChatGPT (4o) με 200 δισεκατομμύρια παραμέτρους:

«Μοντέλα με ανοικτά βάρη και μόλις 7 δισεκατομμύρια παραμέτρους παράγουν κείμενο που αξιολογείται όπως η έξοδος του GPT-4o, υποδεικνύοντας ότι η δυνατότητα παραγωγής κειμένου αδιαχώριστου από το ανθρώπινο δεν περιορίζεται πλέον στα κορυφαία μοντέλα.»

Ωστόσο, οι «ειδήσεις που παράγονται από AI» μπορεί να περιλαμβάνουν πολλές μορφές συνεργασίας ανθρώπου και AI, από τον ορθογραφικό έλεγχο έως την πλήρη μεταβίβαση της προσπάθειας που μπορεί να τερματίσει μια καριέρα, και η μελέτη δεν διευκρινίζει ακριβώς τι είδους περιεχόμενο AI παρήχθη για τις δοκιμές, αν και περιγράφει τη μεθοδολογία παραγωγής του — δείτε παρακάτω.

Μέθοδος

Οι συμμετέχοντες στην πλατφόρμα JudgeGPT αξιολογούσαν κάθε ειδησεογραφικό απόσπασμα με πλαίσιο δύο αξόνων, δίνοντας τρεις ανεξάρτητες βαθμολογίες σε συνεχείς ολισθητές από το 0 έως το 100:

Η γραφική διεπαφή του JudgeGPT, όπου οι αξιολογητές εξετάζουν την απόδοση προέλευσης, την αυθεντικότητα και την εξοικείωση με το θέμα. Για υψηλότερη ανάλυση, ανατρέξτε στην αρχική εργασία.

Η κρίση προέλευσης κατέγραφε αν ένα απόσπασμα φαινόταν γραμμένο από μηχανή ή άνθρωπο· η κρίση αυθεντικότητας, αν θεωρούνταν ψευδές ή γνήσιο· και η εξοικείωση με το θέμα, πόσο καλά γνώριζε ο αναγνώστης το θέμα.

Χρησιμοποιήθηκαν συνεχείς κλίμακες αντί για κλίμακα Likert, ώστε να αποτυπωθούν ακριβέστερα οι βαθμοί βεβαιότητας και να υποστηριχθεί στατιστική ανάλυση, όπως η συσχέτιση Pearson και η ομαδοποίηση.

Τα αποσπάσματα μηχανικής προέλευσης δημιουργήθηκαν με το ιδιόκτητο πλαίσιο RogueGPT των συγγραφέων, την αρχιτεκτονική τροφοδότησης του JudgeGPT. Το RogueGPT συντονίζει συνεισφορές από έξι μεγάλα γλωσσικά μοντέλα (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B· Gemma 7B· και Mistral 7B.

Για τη δημιουργία των κειμένων χρησιμοποιήθηκαν προτροπές βασισμένες σε χαρακτήρες ή ρόλους. Τα κείμενα AI βασίστηκαν σε πραγματικά ειδησεογραφικά θέματα και ελέγχθηκαν ως προς τα γεγονότα από ανθρώπους.

Αντίθετα, τα ανθρώπινα αποσπάσματα προήλθαν από «καθιερωμένα ειδησεογραφικά μέσα» και απροσδιόριστες «βάσεις πληροφοριών».

Οι συγγραφείς παρατηρούν:

«Το σύνολο ερεθισμάτων είναι σκόπιμα προσανατολισμένο προς αποσπάσματα μηχανικής προέλευσης (∼98%), ενώ τα ανθρώπινα στοιχεία χρησιμεύουν ως σημεία αναφοράς βαθμονόμησης.

«Αυτή η επιλογή σχεδιασμού αντανακλά την εστίαση της μελέτης στη διακύμανση εντός της AI, μεταξύ μοντέλων, αντί για σύγκριση ανθρώπου και AI. Οι συμμετέχοντες δεν γνωρίζουν τη βασική αναλογία, και τα αποτελέσματα ανίχνευσης κοντά στο επίπεδο της τύχης διατηρούνται ακόμη και όταν αναλύεται μόνο το ανθρώπινο υποσύνολο.»

Οι συμμετέχοντες έδωσαν αρχικά ενημερωμένη συγκατάθεση και συμπλήρωσαν δημογραφικό ερωτηματολόγιο για την ηλικία, την εκπαίδευση, τον πολιτικό προσανατολισμό και την εξοικείωση με την AI. Έπειτα αξιολόγησαν τα ειδησεογραφικά αποσπάσματα.

Κάθε άτομο εξέτασε από 5 έως 87 στοιχεία, με διάμεσο 12. Η σειρά παρουσίασης ήταν τυχαία και η κατανομή μοντέλων ισορροπημένη μεταξύ των συμμετεχόντων, για περιορισμό της μεροληψίας. Η πλατφόρμα κατέγραφε τις τρεις βαθμολογίες των ολισθητών, τον χρόνο απόκρισης και έναν ανώνυμο κωδικό, επιτρέποντας τη σύνδεση κάθε κρίσης με παράγοντες υποβάθρου.

Οι συγγραφείς τονίζουν ότι το δείγμα έτεινε προς μορφωμένους Ευρωπαίους: το 68% είχε πανεπιστημιακή εκπαίδευση και το 74% ζούσε στην Ευρώπη. Η εργασία αναγνωρίζει αυτή τη μεροληψία ως περιορισμό για την ευρύτερη γενίκευση.

Δοκιμές

Οι δοκιμές χωρίζονται σε πέντε τύπους ευρημάτων: διάκριση μηχανικού από ανθρώπινο κείμενο· σύγκριση ανίχνευσης μεταξύ διαφορετικών LLM· εξέταση της επίδρασης της ειδίκευσης στο αντικείμενο έναντι του πολιτικού προσανατολισμού στην ακρίβεια· εντοπισμό διαφορετικών στρατηγικών απόκρισης· και παρακολούθηση της μεταβολής της ακρίβειας κατά τις επαναλαμβανόμενες αξιολογήσεις λόγω κόπωσης:

Σύνοψη των πέντε βασικών ευρημάτων από 2.318 κρίσεις 1.054 συμμετεχόντων: η ανθρώπινη ανίχνευση κειμένου AI παρέμεινε στο επίπεδο της τύχης σε όλα τα μοντέλα, η ακρίβεια συνδεόταν με την ειδίκευση και όχι τον πολιτικό προσανατολισμό, οι συμμετέχοντες σχημάτισαν διακριτά προφίλ εμπιστοσύνης και η επίδοση μειώθηκε μετά από περίπου 30 αξιολογήσεις λόγω γνωστικής κόπωσης.

Η δοκιμή δεν έδειξε σημαντική διαφορά πέρα από το επίπεδο της τύχης στις βαθμολογίες προέλευσης μεταξύ συνθηκών, υποδεικνύοντας φαινομενικά ότι οι συμμετέχοντες δεν μπορούν να διακρίνουν κείμενο AI από ανθρώπινο:

Οι κατανομές βαθμολογιών προέλευσης και αυθεντικότητας για μηχανικά και ανθρώπινα αποσπάσματα επικαλύπτονται σημαντικά, χωρίς ουσιαστικό διαχωρισμό μεταξύ συνθηκών. Ο στατιστικός έλεγχος δείχνει ότι οι συμμετέχοντες δεν μπορούσαν να διακρίνουν αξιόπιστα κείμενο AI από ανθρώπινο περιεχόμενο.

Στη δεύτερη πτυχή, όπως φαίνεται στο αρχικό γράφημα, η αποτυχία ανίχνευσης δεν διέφερε ανά μοντέλο: οι έξοδοι όλων των LLM συγκεντρώνονταν γύρω από κρίσεις στο επίπεδο της τύχης, χωρίς σημαντικές διαφορές. Ακόμη και μικρότερα συστήματα ανοικτών βαρών, όπως τα Mistral 7B και Gemma 7B, αξιολογήθηκαν όπως το GPT-4o. Αυτό υποδεικνύει ότι κείμενο αδιαχώριστο από το ανθρώπινο ίσως δεν περιορίζεται πλέον στα μεγαλύτερα μοντέλα.

Στην τρίτη πτυχή, η ακρίβεια συνδεόταν ισχυρότερα με την ειδίκευση στο αντικείμενο παρά με τον πολιτικό προσανατολισμό: η εξοικείωση με τις ψευδείς ειδήσεις συσχετιζόταν με καλύτερες κρίσεις, ενώ οι πολιτικές απόψεις δεν είχαν ουσιαστική επίδραση. Αυτό υποδεικνύει ότι οι επίκτητες αναλυτικές δεξιότητες ίσως έχουν μεγαλύτερη σημασία από την ιδεολογία:

Τα αποτελέσματα της τρίτης γραμμής έρευνας έδειξαν ότι ο πολιτικός προσανατολισμός δεν είχε ουσιαστική επίδραση στην απόδοση προέλευσης ή στην αυθεντικότητα, παρά μόνο ασθενείς, μη σημαντικές τάσεις. Η δηλωμένη εξοικείωση με τις ψευδείς ειδήσεις συνδεόταν με υψηλότερη ακρίβεια και στους δύο άξονες. Αυτό υποδεικνύει ότι η αναλυτική δεξιότητα βάσει εμπειρίας προέβλεπε την επίδοση ισχυρότερα από την ιδεολογική θέση. Για υψηλότερη ανάλυση, δείτε την αρχική εργασία.

Το τέταρτο εύρημα έδειξε ότι οι συμμετέχοντες σχημάτισαν δύο διακριτά στυλ απόκρισης: «Σκεπτικιστές», που απέδιδαν χαμηλή εμπιστοσύνη στο περιεχόμενο ανεξαρτήτως προέλευσης, και «Πιστούς», που διατηρούσαν υψηλότερο βασικό επίπεδο εμπιστοσύνης.

Τέλος, για τον πέμπτο στόχο, μια κυλιόμενη ανάλυση των διαδοχικών κρίσεων έδειξε ότι οι συμμετέχοντες αρχικά βελτιώνονταν, με την ακρίβεια να αυξάνεται στη διάρκεια περίπου των πρώτων 15–20 αξιολογήσεων καθώς προσαρμόζονταν στη μορφή:

Οι κυλιόμενοι μέσοι όροι των βαθμολογιών προέλευσης και αυθεντικότητας στη σειρά αξιολογήσεων δείχνουν σύντομη αρχική βελτίωση, καθώς οι χρήστες φαίνεται να προσαρμόζονται στα πρώτα 15–20 στοιχεία, και σταθερή μείωση και των δύο μετρήσεων μετά από περίπου 30 αξιολογήσεις. Για υψηλότερη ανάλυση, ανατρέξτε στην αρχική εργασία.

Ωστόσο, το αποτέλεσμα ήταν βραχύβιο: η επίδοση άρχισε να μειώνεται μετά από περίπου 30 στοιχεία και οι συμμετέχοντες όλο και συχνότερα χαρακτήριζαν το περιεχόμενο ψευδές ως προεπιλογή. Η μεταβολή ερμηνεύτηκε ως γνωστική κόπωση και υποδεικνύει σαφή όρια στη διάρκεια πρακτικής αποτελεσματικότητας των μεθόδων ανίχνευσης.

Αυτό ίσως αποτελεί εμπειρική ένδειξη ότι, εξαντλημένοι από τη διάκριση ψευδών και αληθινών ειδήσεων ή ειδήσεων AI και ανθρώπων, ίσως τείνουμε να θεωρούμε εξ ορισμού ότι οι ειδήσεις είναι AI ή/και ψευδείς — όχι αναγκαστικά το ίδιο — για να είμαστε ασφαλείς. Όσοι το θεωρούν τεμπελιά και πιστεύουν ότι ο κόσμος πρέπει να κάνει δική του έρευνα για να επαληθεύσει μια πιθανώς ψευδή είδηση ίσως ενδιαφερθούν για μελέτη του 2024 που έδειξε ότι αυτό απλώς επιδεινώνει τα προβλήματα.

Οι συγγραφείς προτείνουν ότι η αποτυχία της ανθρώπινης κρίσης στα αποτελέσματα δείχνει πως ίσως χρειάζεται να αναθέσουμε τέτοια ζητήματα σε τεχνολογίες κρυπτογραφικής επαλήθευσης προέλευσης, όπως η πρωτοβουλία C2PA υπό την Adobe. Άλλες πιθανές λύσεις είναι το δικό τους πλαίσιο OriginLens και ένα άλλο έργο στο οποίο συμμετέχουν, το CRED-1.

Οι συγγραφείς καταλήγουν:

«Μπορούν οι άνθρωποι να ξεχωρίσουν; Η μελέτη μας δύο αξόνων με 2.318 κρίσεις σε έξι οικογένειες LLM δίνει σαφή εμπειρική απάντηση: δεν μπορούν.

«Το μηχανικό κείμενο δεν διακρίνεται από το ανθρώπινο ανεξαρτήτως μεγέθους ή οικογένειας μοντέλου. Η ειδίκευση προβλέπει την ακρίβεια ανίχνευσης ισχυρότερα από τον πολιτικό προσανατολισμό, οι συμμετέχοντες υιοθετούν διαφορετικές στρατηγικές εμπιστοσύνης και η γνωστική κόπωση περιορίζει την παρατεταμένη ανίχνευση.

«Τα ευρήματα στηρίζουν τη μετάβαση από την ανίχνευση από τον χρήστη σε αντίμετρα σε επίπεδο συστήματος, όπως η προέλευση περιεχομένου, οι προσαρμοστικοί δείκτες εμπιστοσύνης και περιορισμένες παρεμβάσεις εμβολιασμού.»

Συμπέρασμα

Το ανησυχητικό σημείο αυτής της εργασίας είναι το περιβάλλον υποστηρικτικό δίκτυο έργων και δημοσιεύσεων που οι συγγραφείς — ή κάποιοι από αυτούς, ανάλογα με την εργασία — έχουν ξεκινήσει ή στα οποία συμμετέχουν. Θα ήταν ασφαλώς διαφωτιστικό να εξετάσουμε δείγματα κειμένου AI και ανθρώπων που παρήγαγαν τα αποτελέσματα, ώστε να κατανοήσουμε καλύτερα τι παράγει η περιγραφόμενη μεθοδολογία.

Παρ’ όλα αυτά, έχει ενδιαφέρον ότι μοντέλα ανοικτών βαρών και ανοικτού κώδικα μπορούν να συγκριθούν με γίγαντες μέσω API, όπως η σειρά ChatGPT. Μήπως το συγκεκριμένο έργο δεν είναι τόσο δύσκολο και ένα μοντέλο 200 δισεκατομμυρίων παραμέτρων είναι υπερβολικό; Για να απαντήσουμε, θα έπρεπε να γνωρίζουμε περισσότερα για τα υποβληθέντα δείγματα AI και ανθρώπινου κειμένου.

Στο μεταξύ, σύμφωνα με τον ιστότοπο canirun.ai, το Mistral 7B, που στις δοκιμές ήταν περίπου ισοδύναμο με το ChatGPT-4o, «τρέχει εξαιρετικά» σε NVIDIA RTX 3080 με 16GB VRAM και τρέχει «ικανοποιητικά» σε 3060 με 6GB VRAM — κάρτες γραφικών που δεν είναι οι νεότερες ή οι καλύτερες της αγοράς*. Επομένως, όποιος θέλει να επινοήσει δική του μεθοδολογία υποβολής δειγμάτων μπορεί προφανώς να συμμετάσχει και σε αυτά τα πειράματα.

* Το Gemma 7B δεν περιλαμβάνεται στον ιστότοπο.

Πρώτη δημοσίευση: Πέμπτη 9 Απριλίου 2026