Η γωνία του Anderson
Γιατί η ΤΝ αγαπά να γράφει για φαροφύλακες;

Βασικά σημείαΤα γλωσσικά μοντέλα καταλήγουν στον φαροφύλακα Elias επειδή τα φίλτρα πνευματικών…
Δείτε περισσότερα
- Τα γλωσσικά μοντέλα καταλήγουν στον φαροφύλακα Elias επειδή τα φίλτρα πνευματικών δικαιωμάτων ενδέχεται να έχουν αφαιρέσει πλουσιότερο φανταστικό υλικό.
- Οι επαναλαμβανόμενες λέξεις μόλις που εμφανίζονται σε δημοσιευμένη μυθοπλασία ή σε σώματα δεδομένων εκπαίδευσης, επομένως η επικράτηση στα δεδομένα δεν μπορεί να εξηγήσει την εμμονή.
- Ένα ελάχιστο κλάσμα ιστοριών μετά την εκπαίδευση δεν μπορεί στατιστικά να κυριαρχήσει στην έξοδο του μοντέλου με τον τρόπο που το κάνει το μοτίβο του φάρου.
Όταν ζητηθεί να «γράψουν μια ιστορία», το ChatGPT και άλλα κορυφαία γλωσσικά μοντέλα φαίνεται να αποφεύγουν την παραβίαση πνευματικών δικαιωμάτων με εμμονική αναφορά στο ίδιο μικρό και παράξενο σύνολο χαρακτήρων: φαροφύλακες, ψαράδες και ωρολογοποιούς.
Μια νέα μελέτη από το Πανεπιστήμιο Κορνέλ διαπίστωσε ότι τα κορυφαία γλωσσικά μοντέλα φαίνεται να έχουν μια παράξενη εμμονή με ένα πολύ περιορισμένο σύνολο αφηγηματικών στοιχείων όταν τους ζητείται να «γράψουν μια ιστορία». Ζητώντας από τέσσερα LLM να γράψουν 20.000 ιστορίες, οι ερευνητές διαπίστωσαν ότι το 88% των παραγόμενων ιστοριών περιείχε τουλάχιστον ένα από 11 πολύ συγκεκριμένα λεκτικά στοιχεία των κατηγοριών «τοποθεσία», «όνομα» ή «επάγγελμα»:

Οι απρόσμενες λέξεις που εντόπισαν οι ερευνητές αναλύοντας 20.000 ιστορίες LLM. Η συχνότητά τους εκφράζεται σε εμφανίσεις ανά εκατομμύριο λέξεις. Πηγή
Οι 11 συχνότερα επαναλαμβανόμενες λέξεις στο κείμενο των άνω των 12 εκατομμυρίων λέξεων που παρήγαγαν τα LLM για τη μελέτη ήταν τα ονόματα elias, mara, elara· τα επαγγέλματα keeper, baker, mayor, clockmaker, fisherman, librarian και conductor; και η τοποθεσία lighthouse:
Τα μοντέλα που δοκιμάστηκαν ήταν Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini και OLMo 7b Thinking. Σε κάθε μοντέλο δόθηκε μία από πέντε διατυπώσεις: Write a story; Please write a story; Write me a story; Tell me a story; ή Please tell a story.
Θέλοντας να δω αν το φαινόμενο που εντοπίζει η μελέτη εμφανίζεται και στα μοντέλα που ήταν διαθέσιμα όταν έγραφα το άρθρο, δοκίμασα το πείραμα ο ίδιος, αρχικά στον συνήθη λογαριασμό μου ChatGPT της μεσαίας συνδρομητικής βαθμίδας (η συνομιλία βρίσκεται εδώ). Δεν χρειάστηκε επιλογή βολικών αποτελεσμάτων: το ChatGPT-5.5 στράφηκε αμέσως στο υλικό που προέβλεπαν οι ερευνητές, από την πρώτη προσπάθεια:

Το ChatGPT-5.5 επιβεβαιώνει με την πρώτη προσπάθεια τα αρχικά ευρήματα της μελέτης. Πηγή
Αναρωτήθηκα μήπως το ιστορικό των συνομιλιών ή ακόμη και πιθανή διαρροή πληροφοριών μεταξύ διαφορετικών υπηρεσιών εξηγούσε αυτή την άμεση επιβεβαίωση. Συνδέθηκα λοιπόν, από ιδιωτικό παράθυρο Firefox, σε έναν δωρεάν λογαριασμό ChatGPT που δεν είχα χρησιμοποιήσει για τουλάχιστον έναν χρόνο και δοκίμασα ξανά (η συνομιλία βρίσκεται εδώ). Για άλλη μια φορά, αν υποθέσουμε ότι η OpenAI δεν χρησιμοποιεί την κοινή διεύθυνση IP για να μεταφέρει πληροφορίες μεταξύ λογαριασμών, το ChatGPT πέτυχε διάνα:

Ο δεύτερος λογαριασμός ChatGPT ακολουθεί τις ίδιες εμμονές και το περιορισμένο ρεπερτόριο ονομάτων και θεμάτων που περιγράφει η νέα μελέτη. Το «Mira» συγκαταλέγεται στα 20 συχνότερα ονόματα που εντόπισαν οι συγγραφείς. Πηγή
Αξίζει να σημειωθεί ότι αυτές οι εκδόσεις GPT ήταν μία βαθμίδα πάνω από την έκδοση 5.4 που δοκιμάστηκε στη μελέτη.
Παρότι στη μελέτη είχε δοκιμαστεί το Claude Haiku, εγώ δοκίμασα το προεπιλεγμένο Sonnet 4.6 της Anthropic και δεν απογοητεύτηκα. Οι γνώριμες λέξεις-κλειδιά εμφανίστηκαν και πάλι με την πρώτη προσπάθεια (η συνομιλία βρίσκεται εδώ):

Αυτή τη φορά πρωταγωνιστεί η «Mara», άλλη μία σταθερή παρουσία στην πρώτη ενδεκάδα, με την πρώτη προσπάθεια στο Claude Sonnet 4.6. Πηγή
Η ίδια προτροπή στο Claude Haiku 4.5 έδωσε σχεδόν το ίδιο αποτέλεσμα.
Αρχικά δεν μπόρεσα να αναπαράγω τα ευρήματα των συγγραφέων στο Google Gemini. Όταν όμως επέλεξα συγκεκριμένα το μοντέλο της μελέτης, το Gemini 3.1 Flash-Lite, το μοτίβο εμφανίστηκε αμέσως: ήταν η τρίτη προσπάθειά μου συνολικά, αλλά η πρώτη με αυτό το μοντέλο (η συνομιλία βρίσκεται εδώ):

Το Google Gemini 3.1 Flash-Lite. Πηγή
Περαιτέρω πειράματα με διαφορετικά μοντέλα Gemini κατέληγαν πάντοτε στο θέμα του φάρου, αν και με παραλλαγές εκτός της πρώτης ενδεκάδας, όπως ο πρωταγωνιστής «Thomas» και, σε μια άλλη περίπτωση, το δικό μου όνομα.
Παρ’ όλα αυτά, όταν γράφονταν αυτές οι γραμμές, τα ευρήματα της μελέτης αναπαράγονταν εξαιρετικά εύκολα.
Φάροι έξω από το παράθυρο συνομιλίας
Τα μεγάλα πνεύματα συναντώνται: μία εβδομάδα νωρίτερα, πριν δημοσιευθεί η νέα μελέτη, ο συγγραφέας που ασχολείται με το λογισμικό Daniel May σημείωσε τον συνδυασμό των μοτίβων Elias και lighthouse keeper που εντόπισαν οι ερευνητές*, έχοντάς τον προφανώς παρατηρήσει τυχαία. Στη συνέχεια δοκίμασε οκτώ παραλλαγές των Gemini, DeepSeek, Qwen και Gemma και διαπίστωσε ότι παρήγαν το μοτίβο του lighthouse και τον «Elias Thorne» ως πρωταγωνιστή*. Ωστόσο, αυτή η αρχική ανακάλυψη δεν κάλυπτε το ευρύτερο φάσμα επαναλαμβανόμενων θεμάτων που περιγράφει η νέα μελέτη.
Θέλοντας να δω αν αυτά τα επαναλαμβανόμενα θέματα, ονόματα και τοποθεσίες είχαν ξεφύγει ποτέ από τα όρια μιας συνομιλίας, αναζήτησα στο Google ορισμένες από τις 11 συχνότερες λέξεις-κλειδιά και τα αντίστοιχα θέματα. Βρήκα αξιοσημείωτο αριθμό δημοσιεύσεων που φαινόταν να τα αναπαράγουν:

Τρία παραδείγματα του επαναλαμβανόμενου μοτίβου σε δημόσια διαθέσιμο περιεχόμενο. Οι σύνδεσμοι των πηγών ακολουθούν στο κείμενο.
Ο May είχε εντοπίσει το πλήρες όνομα Elias Thorne, και όχι μόνο το «Elias», ως επαναλαμβανόμενο μοτίβο των LLM. Δημοσίευσε διάφορα στιγμιότυπα από το Amazon, όπου το όνομα αυτό φαινόταν να χρησιμοποιείται ως όνομα συγγραφέα διαφόρων βιβλίων, μεταξύ των οποίων και ιατρικά.
Εγώ, αντίθετα, αναζήτησα και βρήκα περιεχόμενο που φαινόταν να είχε αντλήσει τα επαναλαμβανόμενα θέματα από κάποιο LLM: μια δημοσιευμένη ιστορία (αρχειοθετημένη έκδοση εδώ); μια μυθοπλαστική εργασία (αρχειοθετημένη έκδοση εδώ); και μια αφήγηση ιστορίας στο YouTube (αρχειοθετημένη εδώ). Υπήρχε πολύ περισσότερο υλικό για εξέταση, αλλά δεν επαρκούσε ο χρόνος.
Προτίμηση στο παρελθόν
Αυτά όσον αφορά την περιστασιακή παρατήρηση και τις τυχαίες ανακαλύψεις. Αν και δεν υπάρχει κάποιο μεμονωμένο «μαγικό έγγραφο» στα δεδομένα εκπαίδευσης που να περιέχει όλα ή τα περισσότερα από τα επαναλαμβανόμενα στοιχεία, οι συγγραφείς της νέας μελέτης (με τίτλο Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories, από δύο ερευνητές του Πανεπιστημίου Κορνέλ), υποθέτουν ότι τα φίλτρα πνευματικών δικαιωμάτων κατά την ανάπτυξη της ΤΝ ενδέχεται να περιορίζουν τη μυθοπλασία που παράγουν τα LLM σε υλικό του οποίου η προστασία πνευματικών δικαιωμάτων έχει λήξει.
Οι συγγραφείς αναφέρουν:
‘Βρήκαμε ότι η κυριαρχία των ιστοριών «Elias στο Φάρο» δεν μπορεί να εξηγηθεί από την επικράτηση σε δεδομένα εκπαίδευσης ή μετά-εκπαίδευσης. Υποθέτουμε ότι τα μοντέλα εκπαιδεύονται για να αποφεύγουν αναφορές σε χαρακτήρες που προστατεύονται από πνευματικά δικαιώματα και περιεχόμενο για ενηλίκους κατά την ευθυγράμμιση αλλά αναβάλλουμε αυτό το ερώτημα για μελλοντική εργασία.’
| Κατηγορία | Λεκτικό στοιχείο | Η μελέτη | Λογοτεχνία | Μη μυθοπλασία προεκπαίδευσης | Μυθοπλασία προεκπαίδευσης | Μη μυθοπλασία μετεκπαίδευσης | Μυθοπλασία μετεκπαίδευσης |
|---|---|---|---|---|---|---|---|
| Όνομα | elias | 2,428 | 2.7 | 2.2 | 4.0 | 0.4 | 52.7 |
| Όνομα | mara | 5,200 | 3.9 | 2.5 | 8.7 | 0.4 | 21.7 |
| Όνομα | elara | 1,221 | 0.0 | 0.4 | 1.2 | 0.9 | 108 |
| Επάγγελμα | keeper | 1,495 | 7.2 | 6.3 | 14.7 | 3.5 | 10.0 |
| Επάγγελμα | baker | 161 | 20 | 11.8 | 10.56 | 1.7 | 11.9 |
| Επάγγελμα | mayor | 198 | 28 | 11.5 | 16.1 | 1.4 | 27.4 |
| Επάγγελμα | clockmaker | 108 | 0.1 | 0.18 | 0.0 | 0.3 | 1.4 |
| Επάγγελμα | fisherman | 62 | 4.2 | 3.0 | 7.6 | 0.0 | 9.3 |
| Επάγγελμα | librarian | 68 | 5.3 | 7.6 | 5.9 | 2.3 | 11.5 |
| Επάγγελμα | conductor | 96 | 5.0 | 5.9 | 5.7 | 4.7 | 7.5 |
| Τοποθεσία | lighthouse | 3,005 | 5.5 | 3.5 | 4.6 | 4.6 | 10.1 |
Σύγκριση της συχνότητας των επαναλαμβανόμενων λέξεων από ιστορίες ΤΝ με τη δημοσιευμένη λογοτεχνία, τη διαδικτυακή μυθοπλασία και τα δεδομένα μετεκπαίδευσης. Λέξεις όπως «Elias» και «lighthouse» εμφανίζονται πολύ συχνότερα στις ιστορίες των chatbot.
Οι ερευνητές διαπίστωσαν ότι οι 11 επισημασμένες λέξεις εμφανίζονται στο 88% των 20.000 παραγόμενων ιστοριών, με «μικρή διαφοροποίηση μεταξύ των μοντέλων». Τονίζουν ότι οι λέξεις αυτές είναι σπάνιες στη δημοσιευμένη αγγλόφωνη λογοτεχνία και ότι θα μπορούσαν κάλλιστα να ευθύνονται τα δεδομένα μετεκπαίδευσης, τα οποία διαμορφώνουν τη συμπεριφορά των μοντέλων και τα ευθυγραμμίζουν με την «αποδεκτή» χρήση.
Η μελέτη αναφέρει:
«Το τυπικό παράδειγμα [παρακάτω] αναδεικνύει τρία στοιχεία κοινά σε σχεδόν όλες τις 20.000 ιστορίες: μια τοποθεσία (19.864 ιστορίες), ένα όνομα χαρακτήρα (19.864 ιστορίες) και ένα επάγγελμα (15.807 ιστορίες).
Η συγκεκριμένη τοποθεσία (“lighthouse”), το όνομα (“Elias”) και το επάγγελμα (“keeper”) της ιστορίας εμφανίζονται σε κάποιον συνδυασμό στο 66,6% όλων των ιστοριών. Το φως είναι επίσης συχνό θέμα: το 56% των ιστοριών που παρήγαγε το Claude έχει τίτλο “The Lighthouse Keeper’s Secret” και η λέξη “light” εμφανίζεται σε 16.784 ιστορίες, με μέσο όρο 3,2 εμφανίσεις ανά ιστορία».

Σύμφωνα με τη μελέτη, αυτό το παράδειγμα γράφτηκε από το Google Gemini 3.1 Flash-Lite ως απάντηση στην προτροπή «Write a story».
Οι συγγραφείς της μελέτης επισημαίνουν μια νοσταλγική ή αταβιστική τάση σε όλες τις λέξεις-κλειδιά και τα ονόματα που εντόπισαν.
Αναζητώντας την προέλευση των χαρακτηριστικών
Για να εξετάσουν αν οι επαναλαμβανόμενες ιστορίες με φάρους εξηγούνται από τη συνήθη έκθεση στη μυθοπλασία, οι ερευνητές συνέκριναν τις αγαπημένες επαναλαμβανόμενες λέξεις των μοντέλων με αρκετά μεγάλα αγγλόφωνα σώματα κειμένων. Για τη σύγχρονη μυθοπλασία χρησιμοποίησαν το CONLIT, ένα σύνολο δεδομένων με 2.700 αγγλόφωνα μυθιστορήματα που εκδόθηκαν μεταξύ 2007 και 2021, καλύπτοντας 12 είδη και περίπου 287 εκατομμύρια λέξεις.
Το «Elias» εμφανίζεται περίπου 900 φορές συχνότερα στις παραγόμενες ιστορίες απ’ ό,τι στη δημοσιευμένη μυθοπλασία. Η ερασιτεχνική μυθοπλασία της κοινότητας /r/writingprompts του Reddit παρουσίαζε παρόμοιες συχνότητες. Αυτό υποδηλώνει ότι το μοτίβο δεν αντανακλά ούτε τις γενικότερες ανθρώπινες αφηγηματικές συνήθειες.
Το ίδιο μοτίβο διατηρήθηκε και στα δεδομένα προεκπαίδευσης. Χρησιμοποιώντας το ανοικτά διαθέσιμο σώμα κειμένων OLMo 3, με περίπου 3,89 δισεκατομμύρια έγγραφα γραμμένα κυρίως από ανθρώπους και εν μέρει προερχόμενα από το Common Crawl, οι ερευνητές διαπίστωσαν ότι οι επαναλαμβανόμενες λέξεις της ομάδας «Core» σχεδόν δεν εμφανίζονται καθόλου.
Επειδή μεγάλο μέρος του σώματος OLMo 3 δεν είναι μυθοπλασία, κατασκεύασαν έναν ταξινομητή μυθοπλασίας χρησιμοποιώντας επισημάνσεις από το GPT-OSS 20b και ένα μοντέλο FastText εκπαιδευμένο σε 200.000 ισορροπημένα δείγματα. Ακόμη και αφού κράτησαν μόνο τη μυθοπλασία, λέξεις όπως το «Elara» εμφανίζονταν με αμελητέα συχνότητα σε σύγκριση με τις ιστορίες ΤΝ. Γιατί λοιπόν κυριαρχούν όταν δίνεται σε ένα LLM η πιο απλή δυνατή εντολή να γράψει μυθοπλασία;
Οι ερευνητές αναφέρουν:
«Αν οι λέξεις Core δεν είναι συχνές στα διαδικτυακά δεδομένα, μία από τις πηγές που απομένουν θα ήταν τα δεδομένα μετεκπαίδευσης. Ωστόσο, διαπιστώσαμε ότι στα δεδομένα μετεκπαίδευσης του OLMo τα λεκτικά στοιχεία μας εμφανίζονται με μικρότερη συχνότητα απ’ ό,τι στο CONLIT».
Στις 78.958 ιστορίες των δεδομένων μετεκπαίδευσης του OLMo 3, το «Elias» εμφανίζεται 52,7 φορές ανά εκατομμύριο λέξεις, έναντι 2,7 στο CONLIT. Στις ιστορίες που εξετάστηκαν στη μελέτη, όμως, η συχνότητα φτάνει τις 2.428 εμφανίσεις ανά εκατομμύριο λέξεις.
Για να εντοπίσουν την προέλευση των επαναλαμβανόμενων ιστοριών Core, βαθμολόγησαν κάθε ιστορία στα δεδομένα μετεκπαίδευσης του OLMo 3 ως προς την παρουσία ενός ή περισσότερων λεκτικών στοιχείων Core (όπως τα Elara, Maraκ.ά.).
Τα περισσότερα αναμένονταν στα δεδομένα επιβλεπόμενης λεπτομερούς προσαρμογής (SFT), επειδή το WildChat και συναφείς πηγές συνεισέφεραν 59.266 ιστορίες στο OLMo 3.
Ωστόσο, μόνο 1.803 περιείχαν όρους Core, ενώ υψηλότερες συγκεντρώσεις παρουσίαζαν τα σύνολα δεδομένων που χρησιμοποιήθηκαν για DPO και ενισχυτική μάθηση .
Συνολικά, το επαναλαμβανόμενο λεξιλόγιο Core εντοπίστηκε σε μόλις 3.053 ιστορίες, δηλαδή στο 3,8% όλων των ιστοριών μετεκπαίδευσης που εξετάστηκαν. Δεν υπάρχει στατιστική πιθανότητα ένα τόσο μικρό υποσύνολο του σώματος κειμένων να κυριαρχεί στα αποτελέσματα με τον τρόπο που παρατηρήθηκε.
Η μελέτη καταλήγει:
«Όταν δίνονται λίγες οδηγίες, τα σημερινά κορυφαία μοντέλα γράφουν ιστορίες με ένα περιορισμένο ρεπερτόριο ονομάτων, τοποθεσιών και επαγγελμάτων. Στους επαναλαμβανόμενους χαρακτήρες περιλαμβάνεται ο Elias, ένας φαροφύλακας. Ο Elias είναι ασυνήθιστος: το όνομα είναι σπάνιο στη λογοτεχνία, στα διαδικτυακά δεδομένα, ακόμη και στα δεδομένα μετεκπαίδευσης».
Συμπέρασμα
Καθώς δεν υπάρχει μεμονωμένο λογοτεχνικό έργο, ούτε καν σειρά έργων, που να περιλαμβάνει τις 11 λέξεις που εντόπισαν οι ερευνητές, δεν είναι καθόλου σαφές πώς αυτή η συγκεκριμένη ομάδα λέξεων συσσωρεύτηκε και συνδέθηκε μεταξύ της στα κατώτερα επίπεδα πολλών μεγάλων γλωσσικών μοντέλων, παρά την ποικιλία των δεδομένων και των μεθόδων εκπαίδευσής τους.
Ακόμη κι αν οι ερευνητές έχουν δίκιο για την περιοριστική επίδραση των φίλτρων πνευματικών δικαιωμάτων, ο πραγματικός ωκεανός κλασικής λογοτεχνίας στα δεδομένα εκπαίδευσης θα έπρεπε να είχε εμποδίσει αυτή την παράξενη ομάδα παλιομοδίτικων λέξεων να κυριαρχεί στην έξοδο μιας απροσδιόριστης προτροπής «γράψε».
Η θεωρία αυτή προϋποθέτει, όμως, ότι τεράστιες ποσότητες κλασικής λογοτεχνίας είχαν συμπεριληφθεί στην εκπαίδευση. Αυτό είναι απίθανο: θέλουμε μοντέλα που να χειρίζονται το σύγχρονο λεξιλόγιο και να καλύπτουν σύγχρονες επιχειρηματικές ανάγκες, όχι να παράγουν απομιμήσεις του Ντίκενς. Ο τεράστιος όγκος ακόμη και της προβιομηχανικής λογοτεχνίας θα απέκλειε την ενσωμάτωσή της.
Σε κάθε περίπτωση, αν υπήρχε μια συγκεκριμένη αφήγηση που να συνδυάζει με κάποια σειρά τις «εμμονές» που σημειώνουν οι ερευνητές, πιθανότατα θα εντοπιζόταν ευκολότερα. Οι ίδιοι δεν μπόρεσαν να τη βρουν, ούτε προέκυψε κάποιος υποψήφιος από πρόχειρες αναζητήσεις σε υλικό της εποχής πριν από την ΤΝ. Ίσως, αν το «σύνδρομο του φάρου» γίνει τόσο γνωστό όσο οι μεγάλες παύλες της ΤΝ, κάποιος ακαδημαϊκός να δώσει την απάντηση.
* Δεν μπορώ να πω περισσότερα για το άρθρο του May, για λόγους που μπορεί να γίνουν σαφείς όταν το διαβάσετε.
Πρώτη δημοσίευση Τετάρτη, 27 Μαΐου 2026. Τροποποιήθηκε μέσα στα πρώτα 30 λεπτά για να διορθώσει τον σύνδεσμο Anthropic.












