Η γωνία του Anderson

Η γραφή που παράγεται από το AI δεν “κουράζεται” ποτέ και έτσι αποκαλύπτεται

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image, by Z-Image Turbo (V1) via Krita AI Diffusion. Prompt: 'An American, hot high-school exam room in Texas,, with all the students seated exhausted in the heat, at lines of desks, trying to concentrate on winning their exams. In the center of the picture we focus on an industrial humanoid robot who is filling out the exam papers so quickly that the A$ sheets are flying around its desk in a flurry of activity. Some of the nearby, sweating and exhausted young students are looking at the tireless robot with annoyance and/or jealousy.'
Βασικά σημείαΤο κείμενο που παράγεται από τεχνητή νοημοσύνη γίνεται πιο συνεπές στο δεύτερο μισό…
Δείτε περισσότερα
  • Το κείμενο που παράγεται από τεχνητή νοημοσύνη γίνεται πιο συνεπές στο δεύτερο μισό του, ενώ η ανθρώπινη γραφή παραμένει ασταθής.
  • Μια νέα μέθοδος ανίχνευσης αναλύει τη σταθερότητα των πιθανοτήτων των τελικών λεκτικών μονάδων για να εντοπίσει περιεχόμενο από τεχνητή νοημοσύνη.
  • Αυτή η χρονική προσέγγιση ξεπερνά τις υπάρχουσες μεθόδους ανίχνευσης, ειδικά σε μακροσκελή αποτελέσματα από μοντέλα όπως το GPT-4.

Η AI τύπου ChatGPT προδίδεται επειδή γίνεται ολοένα πιο συνεπής, ενώ η ανθρώπινη γραφή παραμένει ακανόνιστη σε όλο το κείμενο.

 

Το περιορισμένο παράθυρο συμφραζομένων των περισσότερων μεγάλων γλωσσικών μοντέλων (LLM) που απευθύνονται στους καταναλωτές είναι ένας από τους παράγοντες που μπορεί να τα κάνει να ξεχνούν ή να ανακαλούν λανθασμένα προηγούμενα μέρη των συνομιλιών των χρηστών. Αυτά τα σφάλματα μνήμης μπορούν σταδιακά να μετατρέψουν το αποτέλεσμα σε πλήρη ασυναρτησία ή, ακόμη χειρότερα, σε παραπλανητικά συνεκτικό κείμενο που περιέχει λεπτά σφάλματα.

Επειδή αυτές οι συνθήκες οδηγούν σε παραισθήσεις, και επειδή οι παραισθήσεις παραμένουν το μεγαλύτερο εμπόδιο για την πλήρη επέκταση της AI στην αγορά, έχει καταβληθεί μεγάλη ερευνητική προσπάθεια για τη δημιουργία συστημάτων παραγωγικής AI που μπορούν να παράγουν μεγαλύτερα αλλά πολύ πιο συνεπή τμήματα κειμένου.

Μάλιστα, η πρόοδος είναι τόσο μεγάλη ώστε η αναγνώριση μακροσκελούς περιεχομένου AI, δηλαδή περιεχομένου που παράγεται εξ ολοκλήρου από AI με, κατά πάσα πιθανότητα, ελάχιστη ή καθόλου μεταγενέστερη ανθρώπινη επιμέλεια, θεωρείται αυξανόμενο πρόβλημα.

Αποκαλύπτοντας έναν μακροσκελή μονόλογο AI

Ωστόσο, πρόσφατες εμπειρικές μελέτες υποστηρίζουν ότι όσο περισσότερο κείμενο παράγουν οι γεννήτριες κειμένου AI σε μία φορά, τόσο ευκολότερα μπορεί να προσδιοριστεί αν γράφτηκε από άνθρωπο. Η συμβατική άποψη για αυτό το «σημείο αναφοράς» της ανίχνευσης υπέθετε ότι η AI διακρίνεται επειδή οτιδήποτε κι αν κάνει διαφορετικά από τους ανθρώπους, έχει την ευκαιρία να το κάνει συχνότερα σε μεγαλύτερα κείμενα.

Δεν γίνονται υποθέσεις για την κατανομή αυτών των αποκαλυπτικών «σημαδιών» μέσα στο ίδιο το κείμενο.

Για να αμφισβητήσει αυτή την άποψη και να διερευνήσει περαιτέρω το πρόβλημα, μια ενδιαφέρουσα πρόσφατη μελέτη από την Κίνα προτείνει νέα μέθοδο διάκρισης των νεότερων γεννητριών μακροσκελούς περιεχομένου AI από πραγματικούς ανθρώπινους συγγραφείς. Οι ερευνητές υποστηρίζουν ότι ο τρόπος παραγωγής του κειμένου AI token προς token σημαίνει ότι αυτό γίνεται πιο συνεπές όσο αυξάνεται το μήκος, ενώ οι προσωπικές ιδιομορφίες των ανθρώπων δεν μειώνονται με το μήκος.

Έτσι, οι συγγραφείς προτείνουν ότι η παρατήρησή τους προσφέρει ένα πιθανό νέο μέτρο για συστήματα ανίχνευσης κειμένου AI*:

«Τα token που παράγονται από AI στο τελευταίο τμήμα του κειμένου εμφανίζουν μικρότερες και πιο σταθερές διακυμάνσεις πιθανότητας, καθώς οι προβλέψεις του μοντέλου γίνονται ολοένα πιο συνεπείς όσο συσσωρεύονται τα συμφραζόμενα.

«Ονομάζουμε αυτό το μοτίβο Μείωση της μεταβλητότητας στο τελικό στάδιο. Το φαινόμενο αντανακλά την εγγενή συμπεριφορά της αυτοπαλινδρομικής παραγωγής: όσο διατίθενται περισσότερα συμφραζόμενα, η κατανομή πρόβλεψης του μοντέλου γίνεται πιο οξεία, οδηγώντας σε μειωμένη μεταβλητότητα των στατιστικών σε επίπεδο token.

«Η ανθρώπινη γραφή, αντίθετα, συνεχίζει να εισάγει απροσδόκητες λεξιλογικές επιλογές και διατηρεί υψηλότερη μεταβλητότητα σε όλη την έκταση του κειμένου.»

Για να αποτυπώσουν αυτή την παράξενη «ομαλότητα» που συσσωρεύεται στο κείμενο AI προς το τέλος, οι ερευνητές ορίζουν δύο απλά χαρακτηριστικά: το πρώτο μετρά πόσο «μεταπηδά» η στατιστική συμπεριφορά της γραφής μεταξύ token· το δεύτερο ελέγχει πόσο σταθερή παραμένει σε μικρά τμήματα κειμένου.

Και τα δύο υπολογίζονται μόνο από το δεύτερο μισό του αποτελέσματος, όπου η AI γίνεται αισθητά πιο κανονική, ενώ η ανθρώπινη γραφή όχι. Οι συγγραφείς σημειώνουν ότι, παρότι αυτά τα σήματα λειτουργούν καλά μόνα τους, είναι ακόμη αποτελεσματικότερα όταν συνδυάζονται με παλαιότερες μεθόδους ανίχνευσης που εξετάζουν ευρύτερα μοτίβα. Σημειώνουν επίσης ότι η προσέγγιση αποδίδει καλύτερα σε μεγαλύτερα κείμενα, όπου η αντίθεση μπορεί να γίνει πιο εμφανής.

Η νέα εργασία προτείνει μεθοδολογία ελέγχου του κατά πόσο ένα κείμενο έχει παραχθεί από AI μέσω ανάλυσης χρονικών χαρακτηριστικών του δεύτερου μισού, χωρίς πρόσθετη εκπαίδευση ή λεπτομερή προσαρμογή και χωρίς προνομιακή πρόσβαση στο μοντέλο.

Η νέα εργασία τιτλοφορείται Όταν η AI σταθεροποιείται: Η σταθερότητα στο τελικό στάδιο ως υπογραφή για την ανίχνευση κειμένου που παράγεται από AI και προέρχεται από τέσσερις συγγραφείς του Πανεπιστημίου Westlake στο Hangzhou.

Μέθοδος

Για να αποτυπώσουν την αυξανόμενη ομαλότητα του κειμένου που παράγεται από AI, οι ερευνητές σχεδίασαν δύο μετρήσεις που εστιάζουν μόνο στο δεύτερο μισό ενός αποσπάσματος. Αυτές βασίζονται σε βαθμολογίες λογαριθμικής πιθανότητας από ένα τυπικό γλωσσικό μοντέλο και δεν απαιτούν λεπτομερή προσαρμογή, επανεκπαίδευση ή πρόσθετα δείγματα:

Από τη νέα εργασία - κάθε γραμμή δείχνει τη συμπεριφορά ενός βασικού μέτρου του EvoBench κατά μήκος της ακολουθίας token: αρχική τιμή (αριστερά), απόλυτη παράγωγος (κέντρο) και τοπική τυπική απόκλιση (δεξιά). Οι γραμμές ανθρώπου και AI εμφανίζονται με μπλε και κόκκινο. Η μεγαλύτερη απόκλιση εμφανίζεται στο δεύτερο μισό του κειμένου, ιδιαίτερα για τη Λογαριθμική πιθανότητα και την Απόκλιση δειγματοληψίας, που δείχνουν αυξανόμενο διαχωρισμό και ομαλότερο αποτέλεσμα AI. Η Εντροπία και η Συγκέντρωση Top-K παρουσιάζουν μικρή μεταβολή με τον χρόνο. Πηγή - https://arxiv.org/pdf/2601.04833

Από τη νέα εργασία – κάθε γραμμή δείχνει τη συμπεριφορά ενός βασικού μέτρου του EvoBench κατά μήκος της ακολουθίας token: αρχική τιμή (αριστερά), απόλυτη παράγωγος (κέντρο) και τοπική τυπική απόκλιση (δεξιά). Οι γραμμές ανθρώπου και AI εμφανίζονται με μπλε και κόκκινο. Η μεγαλύτερη απόκλιση εμφανίζεται στο δεύτερο μισό του κειμένου, ιδιαίτερα για τη Λογαριθμική πιθανότητα και την Απόκλιση δειγματοληψίας, που δείχνουν αυξανόμενο διαχωρισμό και ομαλότερο αποτέλεσμα AI. Η Εντροπία και η Συγκέντρωση Top-K παρουσιάζουν μικρή μεταβολή με τον χρόνο. Πηγή

Το πρώτο μέτρο, που ονομάζεται Διασπορά παραγώγου (DD), παρακολουθεί πόσο απότομα αλλάζει η βεβαιότητα του μοντέλου από τη μία λέξη στην επόμενη. Το κείμενο AI τείνει να βρίσκει έναν ρυθμό, οπότε αυτές οι αλλαγές γίνονται μικρότερες και πιο προβλέψιμες στο δεύτερο μισό. Αντίθετα, η ανθρώπινη γραφή παραμένει «ανομοιόμορφη».

Το δεύτερο μέτρο, η Τοπική μεταβλητότητα (LV), εξετάζει πόσο «μεταπηδά» η βεβαιότητα του μοντέλου μέσα σε ένα μικρό παράθυρο κειμένου. Και εδώ η AI τείνει να γίνεται σταθερότερη με την πάροδο του χρόνου, ενώ οι ανθρώπινες επιλογές παραμένουν πιο απρόβλεπτες και λιγότερο συνεπείς:

Το κείμενο AI γίνεται ομαλότερο όσο προχωρά, ενώ η ανθρώπινη γραφή παραμένει ανομοιόμορφη. Αυτά τα γραφήματα παρακολουθούν πώς μεταβάλλεται η βεβαιότητα του μοντέλου σε ένα απόσπασμα, αποτυπώνοντας τόσο την ένταση της αλλαγής μεταξύ διαδοχικών λέξεων όσο και το μέγεθος της μεταβολής μέσα σε τοπικά τμήματα κειμένου. Και στις δύο περιπτώσεις, η πτώση είναι πολύ πιο απότομη στο μηχανικά παραγόμενο αποτέλεσμα, με την αντίθεση να γίνεται ιδιαίτερα σαφής μετά το μέσο. Τα κίτρινα πλαίσια τονίζουν αυτό το διευρυνόμενο χάσμα στο δεύτερο μισό, όπου η γραφή AI φτάνει έως και 32% μεγαλύτερη σταθερότητα από την ανθρώπινη.

Το κείμενο AI γίνεται ομαλότερο όσο προχωρά, ενώ η ανθρώπινη γραφή παραμένει ανομοιόμορφη. Αυτά τα γραφήματα παρακολουθούν πώς μεταβάλλεται η βεβαιότητα του μοντέλου σε ένα απόσπασμα, αποτυπώνοντας τόσο την ένταση της αλλαγής μεταξύ διαδοχικών λέξεων όσο και το μέγεθος της μεταβολής μέσα σε τοπικά τμήματα κειμένου. Και στις δύο περιπτώσεις, η πτώση είναι πολύ πιο απότομη στο μηχανικά παραγόμενο αποτέλεσμα, με την αντίθεση να γίνεται ιδιαίτερα σαφής μετά το μέσο. Τα κίτρινα πλαίσια τονίζουν αυτό το διευρυνόμενο χάσμα στο δεύτερο μισό, όπου η γραφή AI φτάνει έως και 32% μεγαλύτερη σταθερότητα από την ανθρώπινη.

Και πάλι, και τα δύο μέτρα υπολογίζονται μόνο από το δεύτερο μισό του κειμένου, όπου η διαφορά ανθρώπινης και μηχανικής γραφής είναι πιο εμφανής. Στη συνέχεια ενσωματώνονται σε μία τιμή, τη βαθμολογία Ανίχνευσης χρονικής σταθερότητας (TSD), η οποία τείνει να αυξάνεται όσο η γραφή γίνεται πιο «ομαλή» και συνεπώς πιθανότερα παράγεται από AI. Ένα απλό κατώφλι χρησιμοποιείται κατόπιν για να αποφασιστεί αν ένα συγκεκριμένο απόσπασμα γράφτηκε πιθανότατα από μηχανή.

Επειδή αυτά τα χαρακτηριστικά εστιάζουν στο πότε εμφανίζεται ένα μοτίβο και όχι μόνο στη μορφή του, συμπληρώνονται από παλαιότερες μεθόδους που αναζητούν στατιστικές ιδιομορφίες σε ολόκληρο το απόσπασμα. Η προσθήκη της βαθμολογίας TSD στο αποτέλεσμα του Fast‑DetectGPT, που παρουσιάστηκε στα τέλη του 2024 επίσης σε συνεργασία με το Westlake, προσφέρει επιπλέον βελτίωση των αποτελεσμάτων, ιδίως για μακροσκελές περιεχόμενο όπου η ομαλοποίηση στο τελικό στάδιο είναι εντονότερη.

Δεδομένα και δοκιμές

Οι συγγραφείς πραγματοποίησαν δοκιμές σε δύο συναφή σύνολα δεδομένων αναφοράς: το EvoBench περιέχει 32.000 ζεύγη ανθρώπινου κειμένου και κειμένου AI από επτά οικογένειες μοντέλων, μεταξύ των οποίων GPT-4, GPT-4o, Claude, Google Gemini, LLaMA-3 και Qwen, με συνολικά 29 εκδόσεις μοντέλων.

Το άλλο πλαίσιο ήταν το MAGE, που προσφέρει 30.000 ζεύγη δοκιμής από οκτώ οικογένειες μοντέλων, περιλαμβάνοντας, μεταξύ άλλων, τη σειρά GPT της OpenAI και τις οικογένειες LLaMA, OPT και FLAN-T5.

Ανταγωνιστικές μέθοδοι

Η νέα μέθοδος δοκιμάστηκε έναντι μιας σειράς ανιχνευτών zero-shot με το ίδιο υποκατάστατο μοντέλο. Οι μέθοδοι Likelihood, Entropy, Rank και Log-Rank (DetectGPT) μέτρησαν στατιστικά σε επίπεδο token σε ολόκληρο το απόσπασμα· η LLR (DetectLLM) εφάρμοσε κανονικοποίηση ώστε να επιτρέπεται άμεση σύγκριση μεταξύ μοντέλων· και η Fast-Detect εκτίμησε την τοπική καμπυλότητα μέσω διαταραχών βασισμένων στη δειγματοληψία.

Η Lastde ανέλυσε διακριτικές υποακολουθίες στο σήμα πιθανότητας, ενώ η FourierGPT λειτούργησε στο πεδίο συχνοτήτων. Η Diveye κατέγραψε μεταβολές στην ποικιλία της «έκπληξης» κατά μήκος της ακολουθίας.

Τέλος, η UCE αξιολόγησε το προφίλ αβεβαιότητας των προβλέψεων token, για να εντοπίσει αφύσικα μοτίβα βεβαιότητας.

Υλοποίηση και αποτελέσματα

Όλες οι μέθοδοι ανίχνευσης εκτελέστηκαν με το Llama-3-8B-Instruct ως κοινό υποκατάστατο μοντέλο, με ακολουθίες εισόδου περιορισμένες σε 512 token. Τα χρονικά χαρακτηριστικά εξήχθησαν μόνο από το δεύτερο μισό κάθε αποσπάσματος, με κινούμενο παράθυρο 20 token για τη μέτρηση της μεταβλητότητας. Μια συνδυασμένη εκδοχή της μεθόδου, η TSD+, ένωσε το προτεινόμενο σήμα με το Fast-DetectGPT.

Το εμβαδόν κάτω από την καμπύλη χαρακτηριστικών λειτουργίας δέκτη (AUROC) ήταν το κύριο μέτρο αξιολόγησης†:

Διαφορετικές επιδόσεις μεταξύ των μεθόδων που δοκιμάστηκαν έναντι κειμένου παραγόμενου από AI. Η ακρίβεια ανίχνευσης παρουσιάζεται σε δύο σύνολα αναφοράς: το EvoBench, που καλύπτει πολλά γνωστά LLM, και το MAGE, ένα συμπληρωματικό σύνολο δεδομένων. Τα μέτρα ομαδοποιούνται ανά τύπο μεθόδου: καθολικά στατιστικά, χρονικά χαρακτηριστικά και προτεινόμενες παραλλαγές. Οι μέσες βαθμολογίες AUROC δίνονται στις τελευταίες στήλες. Οι παραλλαγές της μεθόδου των συγγραφέων ξεπερνούν σταθερά τις προηγούμενες μεθόδους αναφοράς, με την TSD+ να αποδίδει τις υψηλότερες βαθμολογίες σχεδόν σε κάθε διαμόρφωση μοντέλου.

Διαφορετικές επιδόσεις μεταξύ των μεθόδων που δοκιμάστηκαν έναντι κειμένου παραγόμενου από AI. Η ακρίβεια ανίχνευσης παρουσιάζεται σε δύο σύνολα αναφοράς: το EvoBench, που καλύπτει πολλά γνωστά LLM, και το MAGE, ένα συμπληρωματικό σύνολο δεδομένων. Τα μέτρα ομαδοποιούνται ανά τύπο μεθόδου: καθολικά στατιστικά, χρονικά χαρακτηριστικά και προτεινόμενες παραλλαγές. Οι μέσες βαθμολογίες AUROC δίνονται στις τελευταίες στήλες. Οι παραλλαγές της μεθόδου των συγγραφέων ξεπερνούν σταθερά τις προηγούμενες μεθόδους αναφοράς, με την TSD+ να αποδίδει τις υψηλότερες βαθμολογίες σχεδόν σε κάθε διαμόρφωση μοντέλου.

Για αυτά τα αρχικά αποτελέσματα, οι συγγραφείς δηλώνουν:

«Τα απλά χρονικά χαρακτηριστικά μας επιτυγχάνουν κορυφαίες επιδόσεις μεταξύ των αυτόνομων μεθόδων, με την TSD να φτάνει το 83,36% στο EvoBench και το 71,56% στο MAGE, ξεπερνώντας όλες τις μεθόδους αναφοράς, συμπεριλαμβανομένου του Fast-DetectGPT.

«Αυτό είναι αξιοσημείωτο δεδομένης της απλότητας της μεθόδου μας: υπολογίζουμε μόνο στατιστικά δεύτερης τάξης από το δεύτερο μισό των ακολουθιών, χωρίς δειγματοληψία διαταραχών ή μετασχηματισμούς στο πεδίο συχνοτήτων.»

Η νέα μέθοδος λειτούργησε ιδιαίτερα καλά σε νεότερα μοντέλα AI όπως τα GPT-4 και GPT-4o, αναγνωρίζοντας κείμενο AI ακριβέστερα από τον πλησιέστερο κορυφαίο ανιχνευτή, με διαφορά επίδοσης έως 9,66%. Παρότι τα νεότερα προηγμένα μοντέλα παράγουν λιγότερο εμφανώς «συνεπές» κείμενο, κρύβοντας ορισμένα σημάδια αυτοματοποίησης, κάποια λεπτά χρονικά μοτίβα παραμένουν εμφανή προς το τέλος.

Οι ανταγωνιστικές προσεγγίσεις που εστιάζουν σε γενικά δομικά χαρακτηριστικά απέτυχαν να καταγράψουν αυτά τα μοτίβα του τελικού σταδίου. Με την ενσωμάτωση ενός καθολικού ανιχνευτή, το υβριδικό σύστημα φαίνεται να ανακτά αυτά τα χαμένα σήματα και να βελτιώνει την επίδοση, ιδιαίτερα σε σύνολα αναφοράς όπου τα μικρότερα αποτελέσματα AI μπορούν να αποδυναμώνουν τις χρονικές ενδείξεις.

Συμπέρασμα

Μια πτυχή που δεν εξετάζεται άμεσα στη νέα εργασία είναι η τάση των ανθρώπινων συγγραφέων να επανεπεξεργάζονται το έργο τους μέσω προσχεδίων και διαφόρων επιπέδων ελέγχου. Μερικές φορές αυτά περιλαμβάνουν εξωτερικό έλεγχο, όπως τη συμβολή συντακτών και διορθωτών, αλλά και πιθανές αλλαγές που προτείνουν νομικά τμήματα, ανάλογα με το πλαίσιο.

Οι πολλοί εμπλεκόμενοι σε τόσο απλά έγγραφα όσο ένα άρθρο χωμένο στις εσωτερικές σελίδες μιας εφημερίδας μπορούν σχεδόν να εξαλείψουν τις ιδιομορφίες στις οποίες εστιάζει το νέο προτεινόμενο σύστημα. Αυτό ουσιαστικά ισοδυναμεί με ένα είδος «αναλογικής εκδοχής» μιας διαδικασίας σύνταξης με υποβοήθηση AI.

Επιπλέον, τα υπό μελέτη συστήματα έχουν και τα ίδια εκπαιδευτεί σε τέτοια έργα. Καθώς τα δεδομένα εκπαίδευσης κατατάσσονται όλο και περισσότερο βάσει του κύρους τους κατά την εκπαίδευση, οι πηγές με τη μεγαλύτερη «βαρύτητα» ή εκτίμηση μπορεί να είναι οι λιγότερο «φυσικές»· τουλάχιστον σε σύγκριση με κάποιον που συντάσσει γρήγορα ένα ανεπίσημο email προς συνάδελφο αντί να καταρτίζει ετήσια έκθεση για μια γενική συνέλευση.

Μια επιπλέον, αντίθετη παράμετρος είναι ότι κείμενα στα οποία έχουν συνεισφέρει πολλοί άνθρωποι μπορεί επίσης να συγκαταλέγονται στα πιο κατακερματισμένα, ελαττωματικά και επαναληπτικά κομμάτια πεζού λόγου που εισέρχονται σε ένα σύνολο δεδομένων. Συχνά δεν έχουν ωφεληθεί από μια τελική ενοποιητική φωνή, αφήνοντας εμφανή στον λόγο την αποσπασματική φύση της ανάπτυξής τους.

 

* Αναπαράγεται η αρχική μορφοποίηση του κειμένου των συγγραφέων από την εργασία· οι εμφάσεις δεν είναι δικές μου.

† Οι συγγραφείς αναφέρουν «κύριο», χωρίς να παραθέτουν άλλα μέτρα αξιολόγησης.

Δημοσιεύτηκε για πρώτη φορά τη Δευτέρα 26 Ιανουαρίου 2026

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai