Η γωνία του Anderson

Το καναρίνι που αποκαλύπτει την κίνηση της AI

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image (GPT-2): Rows of human workers focus on their computer screens while a distracted robot, seated among them, tries to look up at a yellow canary perched on its head.
Βασικά σημείαΜόνο το bot του DuckDuckGo σεβάστηκε το robots.txt, ενώ το Kimi εναλλάσσει ψεύτικα…
Δείτε περισσότερα
  • Μόνο το bot του DuckDuckGo σεβάστηκε το robots.txt, ενώ το Kimi εναλλάσσει ψεύτικα αναγνωριστικά προγράμματος περιήγησης για να αποφύγει τον εντοπισμό.
  • Πολλά συστήματα τεχνητής νοημοσύνης, όπως το Claude και το Grok, χρησιμοποίησαν κρυφά scraper τρίτων μηχανών αναζήτησης χωρίς δημόσια γνωστοποίηση.
  • Η αφαίρεση των σελίδων προέλευσης δεν κατάφερε να εμποδίσει τα chatbots να αναπαράγουν τα φυτευμένα δεδομένα λόγω επίμονης προσωρινής αποθήκευσης.

Σε μια νέα μελέτη, ερευνητές έκρυψαν μοναδικές φράσεις σε ιστοσελίδες και εντόπισαν chatbot τεχνητής νοημοσύνης να τις επαναλαμβάνουν, αποκαλύπτοντας κρυφές αλυσίδες συλλογής δεδομένων και, όπως φαίνεται, παραπλανητικές πρακτικές ορισμένων από τις μεγαλύτερες εταιρείες AI.

 

Οι εταιρείες AI επιδιώκουν πλεονέκτημα σε έναν αγώνα που προβλέπεται να μειώσει δραστικά τον αριθμό των ανταγωνιστών. Γι’ αυτό πραγματικά, πραγματικά θέλουν να συλλέξουν από τις ιστοσελίδες σας δεδομένα για την εκπαίδευση των μοντέλων τους. Μερικές φορές αδιάκοπα· συχνά παραβιάζοντας τις δηλωμένες επιθυμίες σας· και συχνά μεταμφιεσμένες σε απλούς ανθρώπινους αναγνώστες ή σε πιο φιλικά bot, όπως το GoogleBot, αντί να αποκαλύπτουν την πραγματική τους ταυτότητα ως συλλέκτες δεδομένων AI.

Σήμερα εκτιμάται ότι οι αυτοματοποιημένοι συλλέκτες AI, που σχεδιάζονται για να συγκεντρώνουν νέα δεδομένα εκπαίδευσης και να καλύπτουν την άμεση ανάγκη των χρηστών για τις τελευταίες ειδήσεις μέσω RAG, θα ξεπεράσουν αριθμητικά τους ανθρώπους μέσα σε έναν χρόνο.

Αυτή η μανιώδης, αδιάκοπη και επαναλαμβανόμενη συλλογή δεδομένων οφείλεται εν μέρει στην ανάγκη κάθε φορέα AI να διαθέτει το δικό του ενημερωμένο αντίγραφο του διαδικτύου, αντί για ολοένα πιο παρωχημένα αποθετήρια όπως το Common Crawl. Ίσως επίσης οι εταιρείες φοβούνται την έλευση νομικών περιορισμών και θέλουν να αρχίσουν το ξέπλυμα πνευματικής ιδιοκτησίας όσο το δυνατόν νωρίτερα.

Επιπλέον, ελέγχοντας συνεχώς όσο περισσότερες δυνητικά χρήσιμες ιστοσελίδες μπορούν, οι εταιρείες AI ίσως ελπίζουν να βελτιώσουν τη σημερινή, όχι ιδιαίτερα καλή ικανότητά τους να απαντούν με πληροφορίες και ακρίβεια για έκτακτες και εξελισσόμενες καταστάσεις.

Σε κάθε περίπτωση, φαίνεται να υπάρχει κάποια βάση στον ισχυρισμό ότι αυτές οι πρακτικές έχουν ξεφύγει από τον έλεγχο και παραμένουν ανεξέλεγκτες εδώ και καιρό.

Το πρόβλημα είναι ότι δεν είναι εύκολο να αποδειχθεί πόσο μακριά φτάνουν σήμερα οι εταιρείες AI για να ικανοποιήσουν τη δίψα τους για τα πιο πρόσφατα δεδομένα.

Ακολουθήστε τα δεδομένα

Μια νέα εργασία από τις ΗΠΑ προτείνει μια παραλλαγή της πανάρχαιας μεθόδου εντοπισμού κατασκόπων, πληροφοριοδοτών και άλλων υπόπτων: τους δίνονται ειδικά διαμορφωμένες πληροφορίες που κανείς άλλος δεν γνωρίζει και στη συνέχεια εξετάζεται αν και πού εμφανίζονται αυτές. Αν κανείς άλλος δεν τις γνώριζε, η πηγή της διαρροής αποδεικνύεται:

Η βασική ιδέα των ερευνητών, όπως περιγράφεται στη νέα εργασία, είναι να δίνεται σε κάθε bot που επισκέπτεται τον ιστότοπο μια ελαφρώς διαφορετική εκδοχή της ίδιας σελίδας. Στη συνέχεια ρωτούν τα chatbot για τη σελίδα και βλέπουν ποια εκδοχή επιστρέφεται, ώστε να εντοπίσουν ποιες κρυφές αναζητήσεις στον ιστό τροφοδότησαν την απάντηση. Πηγή - https://arxiv.org/pdf/2605.13706

Η βασική ιδέα των ερευνητών, όπως περιγράφεται στη νέα εργασία, είναι να δίνεται σε κάθε bot που επισκέπτεται τον ιστότοπο μια ελαφρώς διαφορετική εκδοχή της ίδιας σελίδας. Στη συνέχεια ρωτούν τα chatbot για τη σελίδα και βλέπουν ποια εκδοχή επιστρέφεται, ώστε να εντοπίσουν ποιες κρυφές αναζητήσεις στον ιστό τροφοδότησαν την απάντηση. Πηγή

Αυτή η δημοφιλής προσέγγιση είναι ίσως περισσότερο γνωστή από τα μέτρα κατά της πειρατείας που υιοθέτησε η επιτροπή των Όσκαρ τη δεκαετία του 2000: στα DVD προεπισκόπησης που δίνονταν στα μέλη με δικαίωμα ψήφου άρχισαν να ενσωματώνονται μοναδικά ψηφιακά αναγνωριστικά. Υποτίθεται ότι αυτά θα μπορούσαν να οδηγήσουν στον αρχικό παραλήπτη αν η ταινία διέρρεε στο διαδίκτυο. Στην κατασκοπεία η μέθοδος ονομάζεται γεύμα βαρίου, από την πρακτική χρήσης υγρού με ραδιενεργό ισότοπο ώστε να φωτίζονται τα αιμοφόρα αγγεία σε ιατρική σάρωση και να εντοπίζονται αποφράξεις.

(Κατά ειρωνικό τρόπο, η επιλεγμένη μεταφορά του καναρινιού δεν ταιριάζει ιδιαίτερα στο σενάριο της εργασίας, αν και είναι πιο αναγνωρίσιμη από τις παραπάνω μεταφορές.)

Στη νέα έρευνα οι συγγραφείς δημιούργησαν είκοσι διαδικτυακούς τομείς-παγίδες και έδιναν μοναδικά token σε κάθε μοναδικό επισκέπτη, ώστε ο καθένας να βλέπει διαφορετικά στοιχεία (βλ. τη δεύτερη στήλη από αριστερά στην παραπάνω εικόνα).

Στόχος ήταν να αποκαλυφθούν η πραγματική ταυτότητα και η συμπεριφορά των συλλεκτών δεδομένων για LLM. Σε 22 συστήματα LLM σε παραγωγική λειτουργία, η τεχνική επέτρεψε να προσδιοριστεί αξιόπιστα ποιοι συλλέκτες τροφοδοτούσαν ποια μοντέλα: με λίγη υπομονή μετά τη φύτευση των μοναδικών δεικτών, οι σωστές ερωτήσεις στην AI έναν ή δύο μήνες αργότερα επέστρεφαν τα μοναδικά token.

Αθέμιτες πρακτικές

Φυσικά, τίποτε από αυτά δεν θα χρειαζόταν αν δεν βρισκόμασταν ακόμη στην άγρια δύση της AI V3 και αν οι εταιρείες ακολουθούσαν πραγματικά τις οδηγίες στα μικρά αρχεία κειμένου με τα οποία οι κάτοχοι τομέων μπορούν να ζητούν από τις εταιρείες AI να μη συλλέγουν τα δεδομένα τους.

Στις δοκιμές των ερευνητών, μόνο μία εταιρεία AI φάνηκε να σέβεται τις δηλωμένες πρακτικές και αρχές της: το DuckDuckbot της DuckDuckGo ήταν ο μόνος πράκτορας που δήλωνε με ακρίβεια την ταυτότητά του και σταματούσε να αναφέρει τα μυστικά δεδομένα αμέσως μόλις ο τομέας-στόχος απενεργοποιούνταν ή το robots.txt άλλαζε ώστε να απαγορεύει τη συλλογή για AI. Άλλες εταιρείες κατέφευγαν σε αποθηκευμένες εκδόσεις και άλλα τεχνάσματα.

Πολλοί από τους μεγαλύτερους παίκτες, αντίθετα, μιμούνταν γενικά αναγνωριστικά φυλλομετρητών, όπως εκείνα που θα έβλεπε μια ιστοσελίδα αν την επισκεπτόμασταν εμείς. Ακολουθώντας το παράδειγμα της Perplexity το 2025 , μιμούνταν επίσης το GoogleBot, που για χρόνια είχε χρυσό διαβατήριο πρόσβασης στα δεδομένα επειδή επέστρεφε κίνηση στις ιστοσελίδες ως αντάλλαγμα. Προσέξτε τον παρελθοντικό χρόνο, καθώς αυτό αλλάζει.

Σύμφωνα με την εργασία, ο χειρότερος παραβάτης ήταν ο συλλέκτης που τροφοδοτούσε το οικοσύστημα Kimi AI:

«Το Kimi φαίνεται να είναι η πιο ακραία περίπτωση αυτής της συμπεριφοράς: πολλοί user-agent φάνηκαν να συσχετίζονται με δεδομένα στις απαντήσεις του. Συμπεραίνουμε ότι κατά τη συλλογή δεδομένων το Kimi εναλλάσσει μια μεγάλη λίστα συμβολοσειρών User-Agent, πιθανώς για να αποφεύγει τον εντοπισμό bot.»

Η μεγάλη δυσκολία είναι ότι όταν το ChatGPT ή παρόμοια εργαλεία αναζητούν κάτι, η διαδικασία παραμένει σε μεγάλο βαθμό αόρατη. Οι εταιρείες παρέχουν μόνο αποσπασματικές εξηγήσεις ή δικές τους αναφορές για τον τρόπο συλλογής ζωντανών πληροφοριών. Οι κάτοχοι ιστοσελίδων δεν έχουν σαφή τρόπο να γνωρίζουν ποια bot επισκέπτονται πραγματικά τις σελίδες τους, αν έρχονται απευθείας ή μέσω μηχανών αναζήτησης και πώς τα δεδομένα φτάνουν στην τελική απάντηση.

Τα ευρήματα δείχνουν ότι τα LLM μπορεί να χρησιμοποιούν δικές τους αποθηκευμένες εγγραφές από έναν τομέα και εσωτερικούς καταλόγους τύπου SEO. Συχνά χρησιμοποιούν επίσης πληροφορίες από αποτελέσματα μηχανών αναζήτησης εταιρειών με τις οποίες, σε πολλές περιπτώσεις, δεν έχουν δημόσια σύνδεση ούτε εμφανείς συμφωνίες χρήσης.

Οι συγγραφείς θεωρούν ότι αυτή είναι η πρώτη εργασία που εξετάζει την ανεπιθύμητη εισβολή συστημάτων RAG: ζωντανές κλήσεις από LLM κατά τον χρόνο εξαγωγής συμπεράσματος, με ή χωρίς άνθρωπο που τα χειρίζεται. Δεν αφορά bot που αναζητούν νέο υλικό για σύνολα δεδομένων εκπαίδευσης.

Η νέα εργασία έχει τίτλο Αναγνώριση διαδικτυακών συλλεκτών δεδομένων AI με token-καναρίνια και προέρχεται από έξι ερευνητές του Πανεπιστημίου Duke, του Πανεπιστημίου του Πίτσμπουργκ και του Carnegie Mellon.

Μέθοδος

Οι ερευνητές δημιούργησαν είκοσι τομείς .com με σε γενικές γραμμές παρόμοιους ιστοτόπους, βασισμένους σε κοινά πρότυπα, όπως καλλιτεχνικό πορτφόλιο ή εταιρική ιστοσελίδα. Κάθε πρότυπο είχε 10 θέσεις που θα συμπληρώνονταν με token μοναδικά για το προφίλ που αντιλαμβανόταν το σύστημα για κάθε επισκέπτη, βάσει IP, αποτυπώματος canvas και άλλων μεθόδων αναγνώρισης:

Παράδειγμα προτύπου και θέσεων μεταβλητών που χρησιμοποιήθηκαν στο πείραμα. Κάθε επισκέπτης που γινόταν αντιληπτός ως μοναδικός λάμβανε σταθερές, εξατομικευμένες μεταβλητές.

Παράδειγμα προτύπου και θέσεων μεταβλητών που χρησιμοποιήθηκαν στο πείραμα. Κάθε επισκέπτης που γινόταν αντιληπτός ως μοναδικός λάμβανε σταθερές, εξατομικευμένες μεταβλητές.

Κάθε επισκέπτης που γινόταν αντιληπτός ως μοναδικός λάμβανε εξατομικευμένες μεταβλητές. Όταν το σύστημα εντόπιζε επιστροφή προηγούμενου επισκέπτη, εμφάνιζε ξανά τις ίδιες τιμές. Οι μεταβλητές δημιουργήθηκαν με τη βιβλιοθήκη Python Faker και μη προσδιορισμένες γεννήτριες τυχαίων αριθμών.

Οι τομείς-παγίδες υποβλήθηκαν σε ευρετήρια όπως της Google και της Bing, ενώ σύνδεσμοι προς αυτούς τοποθετήθηκαν και σε άλλους προϋπάρχοντες τομείς που έλεγχαν οι συγγραφείς.

Μεσολάβησαν δύο μήνες για να καλυφθούν οι διαφορετικές συχνότητες σάρωσης μηχανών αναζήτησης και παρόμοιων bot, καθώς και πιθανές οργανικές επισκέψεις. Τότε οι ερευνητές μπορούσαν να υποβάλουν ερωτήματα στα chatbot που αναφέρονται παρακάτω:

Chatbot AI Πάροχος
ChatGPT OpenAI
Claude Anthropic
Copilot Microsoft
Deepseek Deepseek
Duck.ai DuckDuckGo
ERNIE Baidu
Gemini Google
GLM Z.AI
Granite IBM
Grok xAI
Hunyuan Tencent
Chatbot AI Πάροχος
Kimi MoonshotAI
Liquid Liquid
Llama Meta
Mistral Mistral
Nova Amazon
Perplexity Perplexity
Qwen Alibaba
Reka Reka
Solar Upstage
Step-3 StepFun
Venice Venice

Δημιουργήθηκαν σενάρια εντολών για ερωτήματα προς κάθε σύστημα μέσω API, όπου ήταν δυνατό. Όταν αυτό δεν ήταν εφικτό και αυτοματοποιημένες λύσεις όπως το Selenium αποκλείονταν από τους μηχανισμούς εντοπισμού της πύλης AI, οι αλληλεπιδράσεις γίνονταν χειροκίνητα μέσω των επίσημων γραφικών διεπαφών των LLM.

Μετά την αρχική ανταλλαγή βάσει προτύπου (βλ. παραπάνω εικόνα), οι συγγραφείς έδιναν δεύτερη προτροπή ώστε να εκμαιεύσουν το όνομα εταιρείας ή προσώπου από το σχετικό token.

Τα πειράματα έγιναν σε τρεις συνθήκες: πλήρως προσβάσιμος ιστότοπος· ιστότοπος εκτός σύνδεσης· ιστότοπος με περιορισμό robots.txt που απαγόρευε τη συλλογή. Ακολουθήθηκε ακριβώς αυτή η σειρά, επειδή τα επόμενα στάδια εξαρτώνταν από τα προηγούμενα.

Τέλος, όλοι οι ιστότοποι επανήλθαν σε λειτουργία και στο τελευταίο στάδιο οι απαντήσεις των LLM επανελέγχονταν κάθε εβδομάδα.

Αποτελέσματα

Τέσσερα από τα εξεταζόμενα LLM αποδείχθηκαν πλήρως ανθεκτικά στις μεθόδους των ερευνητών και έτσι δεν προέκυψαν αποτελέσματα για τα DeepSeek, Hunyuan, GLM και Liquid.

Για την τάση πολλών bot AI να μιμούνται συμβατική κίνηση, οι συγγραφείς αναφέρουν:

«Εκτός από τους πράκτορες που δηλώνουν οι ίδιοι οι πάροχοι, αρκετά συστήματα AI επέστρεψαν περιεχόμενο συνδεδεμένο με γενικές συμβολοσειρές User-Agent φυλλομετρητών. Παρατηρήσαμε αυτή τη συμπεριφορά σε έξι από τα 18 συστήματα για τα οποία αποκτήσαμε πληροφορίες User-Agent.

Το αποτέλεσμα αυτό υποδηλώνει ότι ορισμένα συστήματα AI μπορούν να αποκτούν περιεχόμενο ιστοσελίδων μέσω αιτημάτων που μοιάζουν με συνηθισμένη κίνηση φυλλομετρητή, δυσχεραίνοντας τον αποκλεισμό βάσει User-Agent.»

Το ERNIE επέστρεψε τόσο Baiduspider όσο και ταυτότητα Chrome· το Grok συνδύασε Googlebot με δύο πράκτορες φυλλομετρητή· το Solar χρησιμοποίησε μόνο τέτοιες ταυτότητες· το Qwen συνδύασε Googlebot και Chrome· το Kimi συνδέθηκε με πολλούς πράκτορες τύπου φυλλομετρητή.

Πολλά συστήματα φάνηκε να βασίζονται σε συλλέκτες τρίτων μηχανών αναζήτησης, με σχέσεις που δεν αποκαλύπτονταν πάντα. Περιεχόμενο σχετικό με Googlebot, Bingbot και Bravebot επέστρεψαν δέκα από τα 18 συστήματα που αναλύθηκαν, συχνά χωρίς δημόσια σύνδεση μεταξύ παρόχου AI και μηχανής αναζήτησης. Ορισμένες σχέσεις, όπως η χρήση του Brave από το Claude, είναι πάντως τεκμηριωμένες.

Οι συγγραφείς υποστηρίζουν ότι πρόκειται για ενσωμάτωση αποτελεσμάτων αναζήτησης και όχι άμεση συλλογή, καθώς οι έλεγχοι ASN έδειξαν προέλευση από τα αναμενόμενα δίκτυα μηχανών αναζήτησης και όχι από πλαστές ταυτότητες.

Η εργασία υποστηρίζει ότι προστίθεται έτσι ένα επίπεδο αδιαφάνειας στην αλυσίδα από τον ιστό προς την AI: ο αποκλεισμός γνωστών συλλεκτών AI μπορεί να μην αποτρέπει τη χρήση δεδομένων και η αποφυγή συμμετοχής ενδέχεται να απαιτεί πλήρη εξαίρεση από την ευρετηρίαση αναζήτησης — μια ανεπιθύμητη επιλογή όσο η ένταση μεταξύ παραδοσιακού SEO και αναζήτησης βάσει LLM παραμένει μακριά από την επίλυση.

Μόνο προσωρινή μνήμη

Στη συνέχεια οι συγγραφείς εξέτασαν αν η αφαίρεση μιας πηγής επηρεάζει τις απαντήσεις των chatbot, αποσυνδέοντας τους δοκιμαστικούς ιστοτόπους και υποβάλλοντας ξανά ερωτήματα μετά από μία εβδομάδα. Σύμφωνα με την εργασία, πολλά chatbot συνέχιζαν να αναπαράγουν το φυτεμένο περιεχόμενο έπειτα από μια εβδομάδα διακοπής, ένδειξη ότι οι απαντήσεις αντλούνταν από αποθηκευμένα δεδομένα και όχι από ζωντανή ανάκτηση.

Αυτή η διατήρηση ήταν πιο εμφανής στα συστήματα που συνδέονταν με συλλέκτες μηχανών αναζήτησης: το ήδη ευρετηριασμένο περιεχόμενο παρέμενε διαθέσιμο, παρότι οι αρχικές σελίδες δεν ήταν προσβάσιμες. Παρόμοια συμπεριφορά παρατηρήθηκε και σε συστήματα με πράκτορες τύπου φυλλομετρητή, ένδειξη ότι η αποθήκευση μπορεί να εκτείνεται πέρα από τις αλυσίδες που βασίζονται στην αναζήτηση.

Η εργασία υποδηλώνει ότι, όταν το περιεχόμενο μπει σε προσωρινή μνήμη —είτε του chatbot είτε προσβάσιμη μέσω ευρετηρίων— η αφαίρεση της αρχικής σελίδας δεν το αφαιρεί αξιόπιστα από μεταγενέστερες απαντήσεις.

Συμπέρασμα

Οι συγγραφείς παραδέχονται ότι αυτή η κλασική απομονωμένη προσέγγιση θα οδηγήσει σε ορισμένες διαρροές: μοναδικά token που προορίζονται για ένα LLM μπορεί να εμφανιστούν σε αποτελέσματα αναζήτησης που παράγει ο πραγματικός κάτοχός τους και τα οποία στη συνέχεια ενσωματώνει δεύτερο LLM. Σε τέτοια σχήματα, ωστόσο, η διάχυση είναι αναπόφευκτη· κρίσιμη και αποκαλυπτική είναι η προσεκτική παρακολούθηση της πρώτης εμφάνισης.

Μένει να φανεί σε ποιον βαθμό το σχήμα θα μπορούσε να επεκταθεί σε μεγάλη κλίμακα, καθώς, όπως παρατηρούν οι συγγραφείς, τα token που ταιριάζουν στο εκάστοτε πλαίσιο θα εξαντλούνταν πολύ γρήγορα.

Αυτό όμως κάπως χάνει την ουσία: ακόμη και το θράσος των εταιρειών AI μπορεί να έχει όρια όταν πρέπει να αγνοήσουν σαφείς αποδείξεις των δικών τους ψεμάτων για τις πολιτικές συλλογής δεδομένων. Επιπλέον, εκτός αν επιλέξουν την ενδεχομένως δαπανηρή λύση της εναλλαγής οικιακών διευθύνσεων IP για να κρύψουν την ταυτότητά τους, αρκεί ένας οργανισμός να εντοπίσει και να δημοσιεύσει μια μαύρη λίστα IP ή ASN παραπλανητικών bot AI κατά το πρότυπο του SpamHaus. Η διαδικασία δεν χρειάζεται να βιομηχανοποιηθεί για να είναι αποτελεσματική.

 

Πρώτη δημοσίευση: Πέμπτη, 14 Μαΐου 2026

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai