Η OpenAI θα τιμήσει το κοινό σήμα στο robots.txt για τις προτιμήσεις σχετικά με την εκπαίδευση ΤΝ

Η OpenAI ανακοίνωσε στις 30 Οκτωβρίου 2026 ότι θα τιμά ένα κοινό σήμα στο robots.txt, το αρχείο που χρησιμοποιούν οι ιστότοποι για να εκφράζουν τις προτιμήσεις τους σχετικά με τη χρήση του περιεχομένου τους, ώστε οι διαχειριστές ιστοτόπων να μπορούν να κοινοποιούν μία προτίμηση για την εκπαίδευση ΤΝ σε πολλούς παρόχους που συμμετέχουν, ταυτόχρονα.

Ένα προαιρετικό σήμα κοινό σε πολλούς παρόχους

Στην ανακοίνωσή της, η OpenAI περιέγραψε την πρωτοβουλία ως προαιρετική και δήλωσε ότι αντιμετωπίζει ένα υπάρχον βάρος: μέχρι σήμερα, οι διαχειριστές ιστοτόπων έπρεπε να εντοπίζουν μεμονωμένα προγράμματα ανίχνευσης και να διατηρούν ξεχωριστούς κανόνες για κάθε πάροχο. Όπως ανέφερε η εταιρεία, ένα κοινό σήμα επιτρέπει στους εκδότες και τους διαχειριστές ιστοτόπων να κοινοποιούν την ίδια προτίμηση σε πολλούς παρόχους που συμμετέχουν, ταυτόχρονα. Η OpenAI δήλωσε ότι σκοπεύει να εφαρμόσει το σήμα τους επόμενους μήνες και ότι, όταν το κάνει, θα δημοσιεύσει νέα ενημέρωση με λεπτομέρειες για την εφαρμογή του.

Η εταιρεία δήλωσε ότι το νέο σήμα δεν θα αντικαταστήσει τους ελέγχους που ήδη παρέχει μέσω του robots.txt, οι οποίοι, όπως ανέφερε, θα εξακολουθήσουν να ισχύουν και να γίνονται σεβαστοί. Η OpenAI παρουσίασε την κίνηση ως συνέχεια του εν εξελίξει έργου της ομάδας εργασίας AI Preferences του Internet Engineering Task Force, δήλωσε ότι συμμετέχει στην ανακοίνωση μαζί με άλλους συμμετέχοντες της ομάδας εργασίας και ενθάρρυνε και άλλους παρόχους ΤΝ να τιμούν το σήμα. Η εταιρεία περιέγραψε αυτό το βήμα ως πορεία προς έναν ανοιχτό ιστό, όπου οι άνθρωποι μπορούν να δημοσιεύουν και να ανακαλύπτουν πληροφορίες και οι ιδιοκτήτες ιστοτόπων διαθέτουν σαφέστερους και απλούστερους τρόπους να επικοινωνούν τις επιλογές τους σχετικά με τη χρήση του περιεχομένου τους. Δήλωσε επίσης ότι θα συνεχίσει να προσαρμόζει τις πρακτικές της καθώς εξελίσσονται οι συζητήσεις για τα πρότυπα.

Πώς λειτουργεί το σήμα

Το σήμα ορίζεται σε ένα ατομικό προσχέδιο του Internet με τίτλο Αναγνώσιμο από μηχανές σήμα προτίμησης για την εκπαίδευση (draft-kelley-aipref-training-preference-signal-00), το οποίο συνέταξε ο Kevin Kelley της Anthropic, φέρει ημερομηνία 30 Οκτωβρίου 2026 και λήγει στις 3 Μαΐου 2027. Το datatracker του IETF επισημαίνει ότι ένα ατομικό προσχέδιο του Internet δεν έχει την έγκριση του IETF ούτε επίσημη υπόσταση στη διαδικασία προτύπων του IETF.

Σύμφωνα με το προσχέδιο, ένας διαχειριστής υπηρεσίας συνδέει προτιμήσεις χρήσης, όπως «όχι εκπαίδευση ΤΝ», με διαδρομές, γράφοντας τις συνηθισμένες ομάδες του robots.txt και χρησιμοποιώντας στη γραμμή User-Agent ένα διακριτικό πολιτικής για κάθε σκοπό. Το προσχέδιο δεν εισάγει νέες ονομασίες οδηγιών ούτε νέα γραμματική: η σύνταξη των διαδρομών, η προτεραιότητα της μεγαλύτερης αντιστοίχισης και η δομή των ομάδων του προτύπου robots.txt, που δημοσιεύτηκε ως RFC 9309, παραμένουν αμετάβλητες. Ως αποτέλεσμα, αναφέρει το προσχέδιο, οι υφιστάμενοι αναλυτές που έχουν εγκατασταθεί σε όλο το διαδίκτυο θα συνεχίσουν να ερμηνεύουν τα σήματα διαχείρισης της κίνησης όπως και προηγουμένως και θα αγνοούν τις ομάδες με διακριτικό πολιτικής, όπως θα αγνοούσαν οποιαδήποτε ομάδα ορίζει έναν παράγοντα χρήστη που δεν αναγνωρίζουν.

Το προσχέδιο ορίζει το διακριτικό πολιτικής __usage_ai-training, το οποίο χρησιμοποιείται από διαφορετικούς παρόχους. Στο παράδειγμα, μια ομάδα συνδυάζει τη γραμμή «User-Agent: __usage_ai-training» με τις γραμμές «Disallow: /» και «Allow: /press-kit/», εκφράζοντας έτσι την προτίμηση να μην πραγματοποιείται εκπαίδευση ΤΝ σε καμία διαδρομή, εκτός από εκείνες κάτω από το /press-kit/. Οι ομάδες χαρακτήρων υποκατάστασης, δηλαδή οι ομάδες «User-Agent: *», δεν πρέπει να ερμηνεύονται ως αντιστοιχία στο διακριτικό πολιτικής. Αν κανένας όμιλος σε ένα αρχείο δεν περιέχει το διακριτικό, τότε δεν έχει εκφραστεί καμία προτίμηση.

Το προσχέδιο αναφέρει επίσης ότι το διακριτικό πολιτικής δεν αποτελεί οδηγία για τη συμπεριφορά ανίχνευσης. Οι προτιμήσεις για τη χρήση περιεχομένου και τα σήματα διαχείρισης της κίνησης των προγραμμάτων ανίχνευσης είναι ανεξάρτητα και δεν αλληλεπικαλύπτονται, σημειώνει, ενώ ιδιωτικές συμφωνίες μπορούν να υπερισχύουν των προτιμήσεων που εκφράζονται μέσω του μηχανισμού. Στους δηλωμένους στόχους του περιλαμβάνονται η σύνδεση προτιμήσεων με συγκεκριμένες διαδρομές, η ελάχιστη δυνατή απόκλιση από το RFC 9309, η αποφυγή εκτεταμένου διπλασιασμού κανόνων, η διατήρηση αμετάβλητης συμπεριφοράς για αναλυτές που δεν εφαρμόζουν τον μηχανισμό και η συνεπής ερμηνεία από όλους τους καταναλωτές.

Το λεξιλόγιο πίσω από το σήμα

Η σημασία του διακριτικού ακολουθεί το προσχέδιο λεξιλογίου της ομάδας εργασίας, με τίτλο Ένα λεξιλόγιο για την έκφραση προτιμήσεων σχετικά με τη χρήση της ΤΝ (draft-ietf-aipref-vocab-08), το οποίο συνέταξαν ο Paul Keller της Open Future και ο Martin Thomson της Mozilla. Το προσχέδιο ενημερώθηκε τελευταία φορά τον Σεπτέμβριο του 2026 ως έγγραφο ομάδας εργασίας, με σκοπό να αποτελέσει Προτεινόμενο Πρότυπο. Το λεξιλόγιο ορίζει την Εκπαίδευση ΤΝ ως τη χρήση ενός περιουσιακού στοιχείου για την τροποποίηση των μαθημένων παραμέτρων ενός μοντέλου παραγωγικής ΤΝ, εξαιρώντας την εκπαίδευση μοντέλων που χρησιμοποιούνται αποκλειστικά για μη παραγωγικές εργασίες. Ορίζει επίσης ως μοντέλο παραγωγικής ΤΝ ένα μοντέλο που χρησιμοποιείται ή διατίθεται προς χρήση για τη δημιουργία συνθετικού περιεχομένου σε μία ή περισσότερες μορφές.

Το λεξιλόγιο ορίζει επίσης μια ξεχωριστή κατηγορία «Χρήση ΤΝ», η οποία καλύπτει περιουσιακά στοιχεία που χρησιμοποιούνται ως είσοδος σε μοντέλο παραγωγικής ΤΝ, αντί να παρέχονται απευθείας από χρήστη, και μια κατηγορία «Αναζήτηση» για εφαρμογές των οποίων κύριος σκοπός είναι η επιλογή περιουσιακών στοιχείων και η υπόδειξη στους χρήστες των τοποθεσιών τους. Σε κάθε κατηγορία αντιστοιχίζεται μία από τις τιμές προτίμησης: επιτρέπεται, δεν επιτρέπεται ή άγνωστο. Όταν οι δηλώσεις αντικρούονται, υπερισχύει η πιο περιοριστική προτίμηση. Το προσχέδιο λεξιλογίου επισημαίνει ότι δεν διασφαλίζει την τήρηση των προτιμήσεων και αφήνει στον αποδέκτη την επιλογή αν θα τις ακολουθήσει. Σημείωση προς τους αναγνώστες προειδοποιεί ότι το περιεχόμενό του δεν αντικατοπτρίζει ακόμη τη συναίνεση της ομάδας εργασίας. Μία ενότητα, η συμπερίληψη της οποίας εξακολουθεί να καταγράφεται ως εκκρεμές ζήτημα, αναφέρει ότι η συμμόρφωση με τις προτιμήσεις εκπαίδευσης περιλαμβάνει τη μεταφορά, μαζί με ένα μοντέλο κατά τη διανομή του, των προτιμήσεων που σχετίζονται με τα περιουσιακά στοιχεία εκπαίδευσης.

Στις ευχαριστίες του προσχεδίου για το σήμα εκπαίδευσης κατονομάζονται οι πρόεδροι της ομάδας εργασίας, Mark Nottingham από την Cloudflare και Suresh Krishnan από τη Cisco, οι συντάκτες του λεξιλογίου Thomson και Keller, καθώς και ο αρμόδιος διευθυντής της περιοχής Mike Bishop από την Akamai. Παρατίθενται επίσης μεμονωμένοι συμμετέχοντες, με τις οργανώσεις στις οποίες ανήκουν να αναφέρονται αποκλειστικά για λόγους ταυτοποίησης, καθώς οι συμμετέχοντες στον IETF συνεισφέρουν ως ιδιώτες. Μεταξύ των οργανώσεων περιλαμβάνονται οι OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation και Creative Commons.

Οι υφιστάμενοι μηχανισμοί ελέγχου των ανιχνευτών της OpenAI

Η τεκμηρίωση των ανιχνευτών της OpenAI, η οποία, σύμφωνα με την εταιρεία, θα εξακολουθήσει να ισχύει παράλληλα με το νέο σήμα, περιγράφει το GPTBot ως τον πράκτορα που ανιχνεύει περιεχόμενο το οποίο ενδέχεται να χρησιμοποιηθεί για την εκπαίδευση των θεμελιωδών μοντέλων παραγωγικής ΤΝ της. Η απαγόρευση του GPTBot υποδεικνύει ότι το περιεχόμενο ενός ιστότοπου δεν πρέπει να χρησιμοποιείται για αυτή την εκπαίδευση. Το OAI-SearchBot εμφανίζει ιστότοπους στις λειτουργίες αναζήτησης του ChatGPT, ενώ οι ιστότοποι που εξαιρούνται από την ανίχνευσή του δεν θα εμφανίζονται στις απαντήσεις αναζήτησης του ChatGPT, αν και μπορούν να εμφανίζονται ως σύνδεσμοι πλοήγησης. Το OAI-AdsBot ελέγχει την ασφάλεια των ιστοσελίδων που υποβάλλονται ως διαφημίσεις στο ChatGPT, ενώ τα δεδομένα που συλλέγει δεν χρησιμοποιούνται για την εκπαίδευση θεμελιωδών μοντέλων παραγωγικής ΤΝ. Το ChatGPT-User διαχειρίζεται τις επισκέψεις σε ιστοσελίδες που ενεργοποιούνται από ενέργειες χρηστών στο ChatGPT και όχι από αυτόματη ανίχνευση· η τεκμηρίωση επισημαίνει ότι οι κανόνες του robots.txt ενδέχεται να μην ισχύουν για αυτές τις επισκέψεις.

Σύμφωνα με την τεκμηρίωση, κάθε ρύθμιση είναι ανεξάρτητη από τις υπόλοιπες, επομένως ένας διαχειριστής ιστότοπου μπορεί να επιτρέψει στο OAI-SearchBot να εμφανίζεται στα αποτελέσματα αναζήτησης, απαγορεύοντας παράλληλα στο GPTBot να χρησιμοποιεί το περιεχόμενο για εκπαίδευση. Οι αλλαγές στην αναζήτηση μπορεί να χρειαστούν περίπου 24 ώρες από την ενημέρωση του αρχείου robots.txt ενός ιστότοπου για να τεθούν σε ισχύ. Η OpenAI δήλωσε ότι θα κοινοποιήσει λεπτομέρειες για την εφαρμογή του κοινού σήματος όταν το θέσει σε εφαρμογή, μέσα στους επόμενους μήνες.