Η γραφή που παράγεται από το AI δεν “κουράζεται” ποτέ και έτσι αποκαλύπτεται

Η γραφή τύπου ChatGPT προδίδεται επειδή γίνεται ολοένα πιο συνεπής όσο προχωρά, ενώ η ανθρώπινη γραφή παραμένει ακανόνιστη σε όλο το κείμενο.

Το περιορισμένο παράθυρο συμφραζομένων των περισσότερων μεγάλων γλωσσικών μοντέλων μπορεί να τα κάνει να ξεχνούν ή να ανακαλούν λανθασμένα προηγούμενα μέρη μιας συνομιλίας. Τα λάθη αυτά μπορούν να οδηγήσουν σε ασυναρτησίες ή, ακόμη χειρότερα, σε πειστικό κείμενο που περιέχει λεπτές ανακρίβειες.

Επειδή οι παραισθήσεις παραμένουν μεγάλο εμπόδιο για την ευρεία υιοθέτηση της AI, έχει γίνει μεγάλη πρόοδος στη δημιουργία μεγαλύτερων και πιο συνεπών κειμένων. Ως αποτέλεσμα, η αναγνώριση μακροσκελούς περιεχομένου που έχει παραχθεί αποκλειστικά από AI θεωρείται πλέον αυξανόμενο πρόβλημα.

Αποκαλύπτοντας έναν μακροσκελή μονόλογο AI

Πρόσφατες εμπειρικές μελέτες δείχνουν ότι όσο περισσότερο κείμενο δημιουργεί ένα σύστημα AI σε μία συνέχεια, τόσο ευκολότερα μπορεί να διακριθεί από ανθρώπινο κείμενο. Η συμβατική εξήγηση ήταν ότι τα ιδιαίτερα «σημάδια» της μηχανής εμφανίζονται περισσότερες φορές σε μεγαλύτερα κείμενα.

Νέα μελέτη από την Κίνα προτείνει κάτι πιο συγκεκριμένο: επειδή το AI παράγει το κείμενο διαδοχικά, token προς token, γίνεται στατιστικά πιο συνεπές όσο συσσωρεύονται συμφραζόμενα. Οι ιδιομορφίες της ανθρώπινης γραφής, αντίθετα, δεν εξαφανίζονται με το μήκος.

Οι συγγραφείς ονομάζουν το μοτίβο Late-Stage Volatility Decay. Στο δεύτερο μισό ενός κειμένου, οι πιθανότητες των token που παράγει η AI παρουσιάζουν μικρότερες και πιο σταθερές διακυμάνσεις, επειδή η κατανομή πρόβλεψης οξύνεται καθώς αυξάνεται το διαθέσιμο πλαίσιο. Η ανθρώπινη γραφή συνεχίζει να εισάγει απροσδόκητες λεξιλογικές επιλογές και διατηρεί υψηλότερη μεταβλητότητα.

Για να μετρήσουν αυτή τη συσσωρευόμενη «ομαλότητα», οι ερευνητές ορίζουν δύο απλά χαρακτηριστικά. Το πρώτο εξετάζει πόσο απότομα αλλάζει η στατιστική συμπεριφορά από token σε token. Το δεύτερο ελέγχει πόσο σταθερή παραμένει σε μικρά τοπικά τμήματα. Και τα δύο υπολογίζονται μόνο στο δεύτερο μισό του κειμένου, όπου η AI γίνεται αισθητά πιο κανονική.

Τα σήματα λειτουργούν μόνα τους, αλλά είναι ακόμη αποτελεσματικότερα όταν συνδυάζονται με παλαιότερους ανιχνευτές που αναζητούν ευρύτερα μοτίβα σε ολόκληρο το κείμενο. Η μέθοδος αποδίδει καλύτερα σε μεγάλα κείμενα και δεν απαιτεί πρόσθετη εκπαίδευση, fine-tuning ή προνομιακή πρόσβαση στο μοντέλο.

Η εργασία έχει τίτλο When AI Settles Down: Late-Stage Stability as a Signature of AI-Generated Text Detection και προέρχεται από τέσσερις ερευνητές του Westlake University στο Hangzhou.

Μέθοδος

Οι δύο μετρήσεις βασίζονται σε log-probability βαθμολογίες από ένα τυπικό γλωσσικό μοντέλο και εξετάζουν αποκλειστικά το δεύτερο μισό κάθε αποσπάσματος.

Κάθε σειρά δείχνει τη συμπεριφορά ενός βασικού μέτρου του EvoBench κατά μήκος της ακολουθίας token: αρχική τιμή, απόλυτη παράγωγος και τοπική τυπική απόκλιση. Οι ανθρώπινες και AI γραμμές εμφανίζονται με μπλε και κόκκινο. Η μεγαλύτερη απόκλιση παρουσιάζεται στο δεύτερο μισό, ιδιαίτερα για το Log Probability και το Sampling Discrepancy. Πηγή

Το πρώτο μέτρο, Derivative Dispersion (DD), παρακολουθεί πόσο απότομα αλλάζει η εμπιστοσύνη του μοντέλου από τη μία λέξη στην επόμενη. Το κείμενο AI τείνει να βρίσκει ρυθμό, οπότε οι αλλαγές γίνονται μικρότερες και πιο προβλέψιμες στο δεύτερο μισό. Η ανθρώπινη γραφή παραμένει ανομοιόμορφη.

Το δεύτερο, Local Volatility (LV), μετρά πόσο μεταβάλλεται η εμπιστοσύνη μέσα σε ένα μικρό παράθυρο κειμένου. Η AI γίνεται σταθερότερη με τον χρόνο, ενώ οι ανθρώπινες επιλογές παραμένουν πιο απρόβλεπτες.

Το κείμενο AI γίνεται ομαλότερο όσο προχωρά, ενώ η ανθρώπινη γραφή παραμένει ακανόνιστη. Η διαφορά διευρύνεται μετά το μέσο του κειμένου, όπου η γραφή AI φτάνει έως και 32% μεγαλύτερη σταθερότητα από την ανθρώπινη.

Τα δύο μέτρα συνδυάζονται σε μία βαθμολογία Temporal Stability Detection (TSD). Όσο πιο «ομαλό» γίνεται το κείμενο, τόσο αυξάνεται η βαθμολογία και η πιθανότητα να έχει παραχθεί από μηχανή. Ένα απλό κατώφλι χρησιμοποιείται για την τελική απόφαση.

Επειδή η TSD εντοπίζει πότε αναδύεται το μοτίβο, συμπληρώνει μεθόδους που εξετάζουν στατιστικές ανωμαλίες σε ολόκληρο το κείμενο. Ο συνδυασμός με το Fast-DetectGPT του 2024 βελτιώνει περαιτέρω τα αποτελέσματα, ιδιαίτερα σε μακροσκελές περιεχόμενο.

Δεδομένα και δοκιμές

Οι δοκιμές χρησιμοποίησαν δύο συναφή benchmark. Το EvoBench περιέχει 32.000 ζεύγη ανθρώπινου και AI κειμένου από επτά οικογένειες μοντέλων, μεταξύ των οποίων GPT-4, GPT-4o, Claude, Google Gemini, LLaMA-3 και Qwen, με συνολικά 29 εκδόσεις μοντέλων. Το MAGE περιέχει 30.000 ζεύγη δοκιμής από οκτώ οικογένειες, όπως οι σειρές GPT, LLaMA, OPT και FLAN-T5.

Ανταγωνιστικές μέθοδοι

Η νέα μέθοδος συγκρίθηκε με zero-shot ανιχνευτές χρησιμοποιώντας το ίδιο surrogate μοντέλο. Τα Likelihood, Entropy, Rank και Log-Rank μέτρησαν στατιστικά token σε ολόκληρο το απόσπασμα. Το LLR πρόσθεσε κανονικοποίηση για σύγκριση μεταξύ μοντέλων και το Fast-Detect εκτίμησε την τοπική καμπυλότητα με διαταραχές μέσω δειγματοληψίας.

Το Lastde ανέλυσε διακριτικές υποακολουθίες στο σήμα πιθανότητας, το FourierGPT εργάστηκε στο πεδίο συχνοτήτων, το Diveye κατέγραψε μεταβολές στην ποικιλία της έκπληξης και το UCE εξέτασε το προφίλ αβεβαιότητας για αφύσικα μοτίβα εμπιστοσύνης.

Υλοποίηση και αποτελέσματα

Όλες οι μέθοδοι έτρεξαν με το Llama-3-8B-Instruct ως κοινό surrogate μοντέλο, με ακολουθίες έως 512 token. Τα χρονικά χαρακτηριστικά εξήχθησαν μόνο από το δεύτερο μισό κάθε κειμένου, με κινούμενο παράθυρο 20 token. Η συνδυασμένη παραλλαγή TSD+ ένωσε το νέο σήμα με το Fast-DetectGPT. Βασικό μέτρο αξιολόγησης ήταν το AUROC.

Απόδοση των μεθόδων ανίχνευσης στα EvoBench και MAGE. Οι παραλλαγές της προτεινόμενης μεθόδου ξεπερνούν συστηματικά τις προηγούμενες βάσεις, ενώ το TSD+ πετυχαίνει την υψηλότερη βαθμολογία σχεδόν σε κάθε μοντέλο.

Η απλή TSD πέτυχε AUROC 83,36% στο EvoBench και 71,56% στο MAGE, ξεπερνώντας όλες τις βασικές μεθόδους, συμπεριλαμβανομένου του Fast-DetectGPT. Αυτό είναι αξιοσημείωτο επειδή χρησιμοποιεί μόνο στατιστικά δεύτερης τάξης από το δεύτερο μισό της ακολουθίας, χωρίς perturbation sampling ή μετασχηματισμούς συχνοτήτων.

Η μέθοδος λειτούργησε ιδιαίτερα καλά σε νεότερα μοντέλα όπως GPT-4 και GPT-4o, με πλεονέκτημα έως 9,66% έναντι του πλησιέστερου ισχυρού ανιχνευτή. Τα προηγμένα μοντέλα παράγουν λιγότερο εμφανώς ομοιόμορφο κείμενο, αλλά λεπτά χρονικά μοτίβα παραμένουν προς το τέλος. Οι μέθοδοι που εξετάζουν μόνο γενικά δομικά χαρακτηριστικά δεν τα καταγράφουν.

Η προσθήκη ενός καθολικού ανιχνευτή στη χρονική βαθμολογία ανακτά ορισμένα από τα χαμένα σήματα και βοηθά ιδιαίτερα όταν τα μικρότερα κείμενα αποδυναμώνουν τις χρονικές ενδείξεις.

Συμπέρασμα

Η εργασία δεν εξετάζει άμεσα το γεγονός ότι οι άνθρωποι συχνά επεξεργάζονται ένα κείμενο σε πολλά στάδια, με συντάκτες, διορθωτές ή νομικά τμήματα. Η συμμετοχή πολλών προσώπων μπορεί να εξαλείψει τις ιδιομορφίες στις οποίες βασίζεται η νέα μέθοδος και να δημιουργήσει ένα αναλογικό ισοδύναμο της σύνταξης με AI.

Τα μοντέλα έχουν επίσης εκπαιδευτεί σε επαγγελματικά επιμελημένα έργα. Καθώς οι πηγές υψηλού κύρους αποκτούν μεγαλύτερο βάρος στην εκπαίδευση, τα κείμενα με τη μεγαλύτερη επιρροή μπορεί να είναι τα λιγότερο «φυσικά» σε σύγκριση με ένα πρόχειρο μήνυμα ηλεκτρονικού ταχυδρομείου.

Από την άλλη πλευρά, κείμενα με πολλούς ανθρώπινους συντελεστές μπορεί να είναι κατακερματισμένα, επαναληπτικά και χωρίς ενιαία φωνή. Αυτές οι αντίθετες περιπτώσεις δείχνουν ότι η χρονική σταθερότητα είναι χρήσιμο σήμα, αλλά δεν αποτελεί αλάνθαστη απόδειξη συγγραφής από AI.

* Διατηρήθηκε η έμφαση του πρωτότυπου κειμένου των συγγραφέων. † Οι συγγραφείς χαρακτηρίζουν το AUROC ως «βασικό» μέτρο χωρίς να αναφέρουν άλλο.

Δημοσιεύτηκε για πρώτη φορά τη Δευτέρα 26 Ιανουαρίου 2026.