Η Google σχεδιάζει να υποστηρίξει κοινό έλεγχο της εκπαίδευσης ΤΝ μέσω του robots.txt

Στις 30 Οκτωβρίου 2026, η Google ανακοίνωσε ότι σχεδιάζει να υποστηρίξει έναν κοινό έλεγχο της εκπαίδευσης ΤΝ στο robots.txt, δίνοντας στους ιδιοκτήτες ιστοτόπων έναν ενιαίο τρόπο να εκφράζουν τις προτιμήσεις τους σχετικά με την εκπαίδευση σε πολλούς παρόχους ΤΝ. Η δέσμευση ανακοινώθηκε την ίδια ημέρα με αντίστοιχες ανακοινώσεις από τη Microsoft και την OpenAI.

Πώς θα εφαρμόσει η Google τον έλεγχο

Το σχέδιο παρουσιάστηκε σε ανάρτηση στο ιστολόγιο του Google Search Central από τον John Mueller, εκπρόσωπο της Google για την Αναζήτηση. Ο έλεγχος βασίζεται σε εργασίες της ομάδας εργασίας AI Preferences στο Internet Engineering Task Force (IETF) και στηρίζεται στο Google-Extended, τον έλεγχο εκπαίδευσης ΤΝ που, σύμφωνα με την Google, προσφέρεται από το 2023.

Αντί να διαχειρίζονται ξεχωριστές οδηγίες για κάθε δημιουργό ΤΝ, οι ιδιοκτήτες ιστοτόπων θα μπορούν να χρησιμοποιούν ένα κοινό διακριτικό πολιτικής στο robots.txt, ώστε να ορίζουν γενικές προτιμήσεις για τους συμμετέχοντες παρόχους ΤΝ. Όταν ένας ιστότοπος χρησιμοποιεί το διακριτικό για να εξαιρεθεί από την εκπαίδευση και δεν έχει ορίσει ρητά το Google-Extended, η Google σχεδιάζει να ερμηνεύει αυτή την επιλογή σαν ο εκδότης να είχε απαγορεύσει το Google-Extended. Άλλοι πάροχοι ΤΝ μπορούν να χειρίζονται το σήμα με παρόμοιο τρόπο, ώστε οι ιδιοκτήτες να μπορούν είτε να εξαιρεθούν από όλους τους συμμετέχοντες παρόχους ταυτόχρονα είτε να επιλέξουν συγκεκριμένους.

Σύμφωνα με την ανάρτηση, οι υφιστάμενοι έλεγχοι που αφορούν συγκεκριμένες εταιρείες θα εξακολουθήσουν να λειτουργούν παράλληλα με το κοινό σήμα. Έτσι, οι ιδιοκτήτες ιστοτόπων θα μπορούν να εκφράζουν μια γενική επιλογή μέσω του κλαδικού σήματος, συνεχίζοντας παράλληλα να προσαρμόζουν τις οδηγίες τους για μεμονωμένους δημιουργούς μέσω ελέγχων όπως το Google-Extended. Οι ιστότοποι που επιτρέπουν ρητά το Google-Extended μπορούν να εμφανίζονται στις απαντήσεις και να λαμβάνουν κλικ μέσω της λειτουργίας γείωσης στις εφαρμογές Gemini.

Η Google ανέφερε ότι η πρόταση αντανακλά τα σχόλια εκδοτών, οργανώσεων της κοινωνίας των πολιτών, ρυθμιστικών αρχών και άλλων ενδιαφερόμενων μερών, τα οποία έχουν ζητήσει ελέγχους της εκπαίδευσης ΤΝ σε ολόκληρο τον κλάδο. Πρόσθεσε ότι η υποστήριξη από τους μεγαλύτερους παρόχους ΤΝ θα οδηγούσε στη δημιουργία ενός ανθεκτικού προτύπου που θα λειτουργεί σε όλο τον κλάδο. Η εταιρεία ανέφερε επίσης ότι η πρόταση συνάδει με τον Κώδικα Πρακτικής της ΕΕ για τους παρόχους μοντέλων ΤΝ γενικής χρήσης, βάσει της Πράξης της ΕΕ για την ΤΝ, ο οποίος αναγνωρίζει το robots.txt ως βασικό μέσο για να εκφράζουν οι εκδότες ιστού προτιμήσεις αναγνώσιμες από μηχανές. Η Google σκοπεύει να υποστηρίξει τον νέο έλεγχο το 2027, μαζί με άλλους παρόχους ΤΝ, και δήλωσε ότι θα ενημερώνει για την πρόοδό της.

Η OpenAI ανέλαβε αντίστοιχη δέσμευση την ίδια ημέρα. Στην ανακοίνωσή της, η OpenAI ανέφερε ότι θα σέβεται το κοινό σήμα του robots.txt, ότι σκοπεύει να το εφαρμόσει τους επόμενους μήνες και ότι θα διατηρήσει σε ισχύ τους υφιστάμενους ελέγχους των ανιχνευτών της, συνεχίζοντας να τους τηρεί. Η OpenAI δήλωσε ότι με την ανακοίνωση προσχώρησε σε άλλους συμμετέχοντες στην ομάδα εργασίας AI Preferences και παρότρυνε και άλλους παρόχους ΤΝ να σέβονται το σήμα.

Το προσχέδιο του IETF πίσω από το σήμα

Ο μηχανισμός περιγράφεται σε ένα προσχέδιο του Διαδικτύου με τίτλο «Machine-Readable Training Preference Signal», το οποίο συνέταξε ο Kevin Kelley της Anthropic και φέρει ημερομηνία 30 Οκτωβρίου 2026. Το έγγραφο προορίζεται για την πορεία τυποποίησης και λήγει στις 3 Μαΐου 2027· σύμφωνα με το IETF datatracker, αποτελεί ατομική υποβολή που δεν έχει την έγκριση του IETF και δεν διαθέτει επίσημη υπόσταση στη διαδικασία τυποποίησης.

Σύμφωνα με το προσχέδιο, ένας διαχειριστής υπηρεσίας συνδέει προτιμήσεις χρήσης με διαδρομές, γράφοντας τις συνήθεις ομάδες του robots.txt, οι οποίες προσδιορίζονται με ένα διακριτικό πολιτικής ανά σκοπό, το __usage_ai-training, στη γραμμή User-Agent. Το παράδειγμα ομάδας του προσχεδίου εκφράζει την προτίμηση να μη χρησιμοποιείται ένας ολόκληρος ιστότοπος για εκπαίδευση ΤΝ, με εξαίρεση τις διαδρομές κάτω από το /press-kit/. Ο μηχανισμός δεν εισάγει νέα ονόματα οδηγιών ούτε νέα γραμματική: η γλώσσα διαδρομών, η προτεραιότητα της μεγαλύτερης αντιστοίχισης και η δομή των ομάδων του προτύπου robots.txt, RFC 9309, παραμένουν αμετάβλητες. Επομένως, οι αναλυτές που είναι ήδη εγκατεστημένοι στο διαδίκτυο θα αγνοούν τις ομάδες με διακριτικά πολιτικής που δεν αναγνωρίζουν. Οι ομάδες με χαρακτήρα υποκατάστασης, δηλαδή όσες έχουν User-Agent: *, δεν πρέπει να ερμηνεύονται ως αντιστοιχούσες στο διακριτικό πολιτικής. Επίσης, ένα αρχείο robots.txt χωρίς ομάδα __usage_ai-training δεν εκφράζει καμία απολύτως προτίμηση.

Το διακριτικό αντλεί τη σημασία του από τον ορισμό της εκπαίδευσης ΤΝ στο λεξιλόγιο AIPREF: «Η χρήση ενός πόρου για την τροποποίηση των μαθημένων παραμέτρων ενός μοντέλου παραγωγικής ΤΝ». Ο ορισμός δεν περιλαμβάνει την εκπαίδευση μοντέλων που χρησιμοποιούνται αποκλειστικά για μη παραγωγικές εργασίες, ακόμη και αν το μοντέλο μπορεί να εκτελεί παραγωγικές εργασίες. Το προσχέδιο τονίζει επίσης ότι το διακριτικό δηλώνει προτίμηση σχετικά με τη χρήση περιεχομένου και όχι οδηγία για τη συμπεριφορά ανίχνευσης, παρότι οι αποδέκτες μπορούν να λαμβάνουν υπόψη τις προτιμήσεις κατά την ανίχνευση. Οι ειδικότερες διατυπώσεις θα πρέπει να υπερισχύουν των γενικότερων, ενώ ιδιωτικές συμφωνίες μπορούν να υπερισχύουν των εκφρασμένων προτιμήσεων.

Στις 30 Οκτωβρίου 2026, ο Kelley ανακοίνωσε το προσχέδιο στη λίστα αλληλογραφίας ai-control του IETF, γράφοντας ότι η Anthropic έχει ήδη αρχίσει να υλοποιεί την υποστήριξή του. Περιέγραψε την εργασία ως συμπλήρωμα των υφιστάμενων ελέγχων ανίχνευσης της Anthropic και όχι ως αντικατάστασή τους.

Η υιοθέτηση από τη Microsoft και οι ημερομηνίες μετάβασης

Η Microsoft ανακοίνωσε ότι υιοθετεί το μέτρο την ίδια ημέρα, σε ανάρτηση στο ιστολόγιο του Bing από τον Krishna Madhavan, κύριο διευθυντή προϊόντων για το Microsoft Bing. Η Microsoft δήλωσε ότι ήταν η πρώτη εταιρεία που παρείχε στους εκδότες ελέγχους για την εκπαίδευση και τη γείωση της ΤΝ, παραπέμποντας στις ετικέτες NoArchive και NoCache που εισήγαγε το 2023.

Η Microsoft υιοθετεί την κοινή προτίμηση για την εκπαίδευση συστημάτων ΤΝ σε ιστοτόπους και διαδρομές και την επεκτείνει σε επίπεδο σελίδας μέσω μετα-ετικετών και κεφαλίδων απόκρισης HTTP, ενώ προσθέτει ξεχωριστή προτίμηση σε επίπεδο σελίδας για τη χρήση περιεχομένου ως πηγής τεκμηρίωσης από την ΤΝ. Εκτός από τις επιλογές Allow και Disallow, η προτίμηση τεκμηρίωσης προσθέτει τη νέα επιλογή DisallowExtended, η οποία περιορίζει τη χρήση περιεχομένου για τεκμηρίωση σε υπηρεσίες που διαχειρίζεται η Microsoft, όπως τα AI Mode, AI Overview, Copilot και Microsoft 365, αποκλείοντας τις υπηρεσίες τεκμηρίωσης που παρέχει η Microsoft σε τρίτους, όπως το Web IQ και την τεκμηρίωση μέσω πρόσβασης API στο Foundry. Αν δεν έχει δημοσιευτεί κάποια προτίμηση, και οι δύο προτιμήσεις έχουν ως προεπιλογή την επιλογή Allow. Η Microsoft προειδοποίησε ότι η επιλογή Disallow ή DisallowExtended για την τεκμηρίωση μειώνει την προβολή των εμπορικών σημάτων σε εμπειρίες ΤΝ· οι προτιμήσεις δεν επηρεάζουν την επιλεξιμότητα για τα παραδοσιακά αποτελέσματα αναζήτησης του Bing και δεν καθορίζουν όρους αδειοδότησης ή πληρωμής.

Οι νέες προτιμήσεις θα αντικαταστήσουν τις NoArchive και NoCache για την εκπαίδευση και την τεκμηρίωση και θα τεθούν σε ισχύ από την 1η Φεβρουαρίου 2027, καθώς η Microsoft ανιχνεύει τον ιστό. Οι προσωρινές προτιμήσεις μετάβασης για την τεκμηρίωση θα είναι διαθέσιμες στα Bing Webmaster Tools στις 15 Δεκεμβρίου 2026 για ιστοτόπους που χρησιμοποιούν τις παλαιότερες ετικέτες κατά την ημερομηνία αυτή. Οι ιστότοποι αυτοί πρέπει να δημοσιεύσουν τις νέες προτιμήσεις τους και να καταχωρίσουν μια προσωρινή προτίμηση για την τεκμηρίωση πριν από την 1η Μαρτίου 2027· μετά από αυτή την ημερομηνία, οι NoArchive και NoCache δεν θα αναγνωρίζονται πλέον ως προτιμήσεις για την εκπαίδευση ή την τεκμηρίωση. Οι προσωρινές προτιμήσεις παραμένουν σε ισχύ έως ότου η Microsoft ανιχνεύσει ξανά μια σελίδα και εντοπίσει τη νέα προτίμηση για την τεκμηρίωση ή έως τις 30 Σεπτεμβρίου 2027, όποιο από τα δύο συμβεί πρώτο.