Το 20% όλων των απαντήσεων «OK» που λαμβάνει η ΤΝ από τον ιστό δεν είναι εντάξει

Τα πρόσφατα πειράματά μου με την υποβοηθούμενη από ΤΝ εξαγωγή δεδομένων από τον ιστό μού έδειξαν πόσο εκτεταμένο γίνεται το φαινόμενο του «κλειδώματος» του ιστού. Η αφορμή γι’ αυτόν τον περιορισμό είναι, φυσικά, η ραγδαία αύξηση της εξαγωγής δεδομένων από τον ιστό με τη βοήθεια ΤΝ, της οποίας η αδιάκοπη ζήτηση για νέα δεδομένα μπορεί τελικά να θέσει εκτός λειτουργίας ολόκληρους ιστότοπους.

Αυτό αποτελεί καλή αφορμή για τους ιστότοπους να κάνουν κάτι που πολλοί ήθελαν εδώ και καιρό: να επιτρέπουν την πρόσβαση στο περιεχόμενό τους μόνο σε συνδεδεμένους χρήστες (αν και, όπως είναι φυσικό, το Googlebot συνήθως έχει ελεύθερη πρόσβαση). Το Facebook ολοκλήρωσε τη σταδιακή υιοθέτηση αυτής της πολιτικής το 2023, ενώ το Twitter/X έκανε το ίδιο την ίδια χρονιά. Το Reddit θα την υιοθετήσει αργότερα αυτόν τον μήνα.

Με αυτόν τον τρόπο, η συμμόρφωση με την εφαρμογή των ηλικιακών περιορισμών που ισχύουν σε κάθε χώρα γίνεται λίγο ευκολότερη για τον τομέα, καθώς ο χρήστης είναι ήδη εγγεγραμμένος. Το σημαντικότερο είναι ότι τα δεδομένα του χρήστη μπορούν να αποθηκευτούν, να αξιοποιηθούν για τοπική ανάλυση και —εφόσον το επιτρέπει η τοπική νομοθεσία— να πωληθούν σε μεσίτες δεδομένων και εταιρείες τεχνητής νοημοσύνης.

Παράλληλα, τα μέτρα που αποσκοπούν ξεκάθαρα στην προστασία από τα μποτ (και όχι στην εγγραφή χρηστών) αυξήθηκαν κατά περισσότερο από 58% σε ετήσια βάση, σύμφωνα με την Cloudflare· και όλη αυτή η αυξανόμενη δραστηριότητα των μποτ ωθεί φυσικά τους ιστότοπους να ελέγχουν εξονυχιστικά τις διευθύνσεις VPN και διακομιστών μεσολάβησης, με κίνδυνο να αποκλείσουν νόμιμους χρήστες μαζί με την «κακόβουλη» κίνηση.

Από την προσωπική μου εμπειρία, έρχομαι όλο και συχνότερα αντιμέτωπος με απαντήσεις αποκλεισμού ή δοκιμασίες επαλήθευσης, σε σημείο που μπορεί να εγκαταλείψω έναν ιστότοπο μόλις αρχίσει να τις εμφανίζει· και, αφού έχει διαπιστωθεί ότι τα τείχη CAPTCHA αποθαρρύνουν τους χρήστες και τους υποψήφιους πελάτες, μπορεί κανείς να φανταστεί την πίεση που ωθεί τους ιδιοκτήτες ιστοτόπων να τα υιοθετούν, παρά αυτό το μειονέκτημα.

Ένα CAPTCHA από το archive.is, έναν από τους πολλούς ιστότοπους που χρησιμοποιούν δοκιμασίες επαλήθευσης, συχνά ως απάντηση σε υπερβολικά πολλά αυτοματοποιημένα αιτήματα (και όχι αιτήματα από ανθρώπους).

Όλη αυτή η νέα και αυξημένη τριβή οφείλεται εν μέρει σε πρακτικούς λόγους (καθώς δεν μπορούν όλοι οι ιστότοποι να αντέξουν την επέλαση), αλλά συχνά αποτελεί και διαπραγματευτική τακτική, για να διαπιστωθεί αν οι εταιρείες ΤΝ θα προσφέρουν μια ενιαία ή συλλογική μορφή αμοιβής για όλα εκείνα τα δεδομένα που επιθυμούν διακαώς και τα οποία ήταν δωρεάν για τόσο καιρό, μέχρι τώρα.

Καθώς τα προγράμματα ανίχνευσης της ΤΝ πρέπει να λειτουργούν σε μεγάλη κλίμακα, τείνουν να χρησιμοποιούν «χωρίς γραφικό περιβάλλον» εκδόσεις του Chrome, στο πλαίσιο του Playwright. Σήμερα, σε ολοένα περισσότερους ιστότοπους, αυτό θα σας επιστρέψει σφάλμα 403 («απαγορεύεται η πρόσβαση») (δηλαδή, ο διακομιστής γνωρίζει ότι η κίνηση είναι αυτοματοποιημένη και σας λέει να φύγετε):

Μια τοπική εγκατάσταση του changedetection.io επιχειρεί να ελέγξει περιοδικά έναν ιστότοπο, αλλά ο ιστότοπος δεν αποδέχεται το πρόγραμμα περιήγησης που χρησιμοποιεί το πλαίσιο και έχει εντοπίσει, οπότε επιστρέφει απάντηση 403 («Απαγορεύεται η πρόσβαση»).

Αυτό που επιδιώκεται είναι η απάντηση πελάτη «200» («OK»), ακόμη κι αν χρειαστεί να δοθούν πολλά χρήματα σε μια φάρμα οικιακών διακομιστών μεσολάβησης, σε συνδυασμό με διάφορα άλλα ύπουλα τεχνάσματα που δεν περιλαμβάνουν ανθρώπους, για να επιτευχθεί.

Δεν υπάρχει τίποτα καλύτερο από την απάντηση 200· με άλλα λόγια, κανένας κωδικός απάντησης προς τον πελάτη δεν εκπέμπει ισχυρότερο θετικό σήμα. Ούτε είναι αμφίσημη απάντηση· δεν σημαίνει ποτέ «σχεδόν εντάξει», «θα είναι εντάξει αργότερα» ή «γίνεται όλο και πιο εντάξει»· σημαίνει «εντάξει!». Αν κάτι δεν είναι εντάξει, δεν πρόκειται για απάντηση 200.

Γεια σας! Φύγετε

Ωστόσο, σύμφωνα με μια νέα μελέτη, αυτή η έλλειψη διαβάθμισης θα μπορούσε να στρεβλώνει σημαντικά τα σύνολα δεδομένων ΤΝ, τις στατιστικές εκτιμήσεις και την αναφορά μιας κατάστασης ως «καλής», ενώ δεν είναι.

Η μελέτη* εκτιμά ότι περίπου το ένα πέμπτο των απαντήσεων της κατηγορίας 200 δεν περιέχει καθόλου αξιοποιήσιμο περιεχόμενο σελίδας, αλλά αντί γι’ αυτό επιστρέφει κενά περιβλήματα ιστοτόπων, δοκιμασίες CAPTCHA, περιορισμούς πρόσβασης ή υποκατάστατες σελίδες.

Η μελέτη αναφέρει:

«Το 20,9% των σελίδων που λαμβάνει ένας στατικός πελάτης με κατάσταση 200 δεν περιέχει το κύριο περιεχόμενο της σελίδας: περιβλήματα εφαρμογών, δοκιμασίες για μποτ, σελίδες αποκλεισμού, σελίδες σφάλματος και προσωρινής επισήμανσης, καθώς και μερικό περιεχόμενο.»

Έτσι, τα ανυπόμονα αυτοματοποιημένα συστήματα σκοντάφτουν στην ίδια τους την απλοϊκότητα, καθώς η απάντηση «200» θεωρείται ένδειξη επιτυχούς ανάκτησης, ακόμη κι όταν η ανάκτηση επιστρέφει απλώς ένα τείχος CAPTCHA, ένα τείχος πληρωμής ή κάποιο άλλο εμπόδιο.

Η μελέτη περιγράφει τους επτά τύπους περιεχομένου που συχνά περιπλέκουν μια απάντηση 200:

Οι επτά κατηγορίες περιεχομένου που κάθε άλλο παρά «εντάξει» είναι σε μια απάντηση 200. Πηγή

Για τη μελέτη, επί τρεις ημέρες εξετάστηκαν 10.307 διευθύνσεις ιστού με τη χρήση τόσο ενός βασικού προγράμματος ανάκτησης ιστοσελίδων όσο και ενός προγράμματος περιήγησης που μπορούσε να φορτώνει JavaScript. Οι αποκρίσεις ταξινομήθηκαν με βάση το περιεχόμενο που ανακτήθηκε και όχι τους κωδικούς κατάστασης HTTP.

Οι μεγαλύτερες κατηγορίες «μη αξιοποιήσιμων» αποκρίσεων 202 ήταν οι κενές ιστοσελίδες-κελύφη και οι σελίδες σφάλματος ή αντικατάστασης, οι οποίες αντιστοιχούσαν συνολικά σε περισσότερα από τα δύο τρίτα των αποτυχιών.

Όσον αφορά τις κενές ιστοσελίδες-κελύφη, ένας ιστότοπος μπορεί να εμφανίζει τα μενού και την πλοήγησή του, αφήνοντας όμως κενό το άρθρο ή την καταχώριση προϊόντος που ζητήθηκε· στη δεύτερη περίπτωση, αντί για το ζητούμενο περιεχόμενο μπορεί να εμφανιστεί μια άσχετη σελίδα ή η αρχική σελίδα. Και στις δύο περιπτώσεις, ωστόσο, η απόκριση μπορεί να λάβει τον ίδιο κωδικό κατάστασης HTTP 200 με μια επιτυχημένη ανάκτηση που προσφέρει αξιοποιήσιμο και χρήσιμο περιεχόμενο.

Ως λύση, η μελέτη προτείνει τα εργαλεία ανάκτησης ιστοσελίδων να αναφέρουν τι ανακτήθηκε στην πραγματικότητα, αντί να βασίζονται στους κωδικούς κατάστασης HTTP, καθώς απλοί έλεγχοι για ασυνήθιστα σύντομες σελίδες, ύποπτες ανακατευθύνσεις και περιεχόμενο που μοιάζει με σελίδες που δεν υπάρχουν θα μπορούσαν να εντοπίσουν τις περισσότερες αποτυχίες.

Στη συνέχεια, θα μπορούσαν να χρησιμοποιούνται πιο απαιτητικά σε πόρους εργαλεία περιήγησης μόνο όταν φαίνεται ότι μια σελίδα δεν φορτώθηκε σωστά. Επιπλέον, οι αξιολογήσεις τεχνητής νοημοσύνης θα μπορούσαν να ελέγχουν αν οι πηγές που παρατίθενται ως παραπομπές περιέχουν πράγματι τις αναμενόμενες πληροφορίες, αντί να θεωρούν δεδομένο ότι μια απόκριση HTTP 200 σημαίνει πως το περιεχόμενο ανακτήθηκε επιτυχώς.

Ο συγγραφέας της νέας μελέτης επισημαίνει επίσης ότι «ευρετικές μέθοδοι χαμηλού κόστους» μπορούν εύκολα να εντοπίσουν περίπου το 86% των μη αξιοποιήσιμων αποκρίσεων, με βασικούς ελέγχους για το μήκος των σελίδων, τις ανακατευθύνσεις και τις ομοιότητες με σελίδες που δεν υπάρχουν:

Σύγκριση στρατηγικών ανάκτησης ιστοσελίδων: η απόδοση μόνο των σελίδων που επισημάνθηκαν ως ύποπτες ανέκτησε ελαφρώς περισσότερο αξιοποιήσιμο περιεχόμενο (81,4%) από την απόδοση όλων των σελίδων (80,3%), ενώ μείωσε τον μέσο χρόνο ανάκτησης από 20,6 σε 5,8 δευτερόλεπτα ανά σελίδα. 

Γιατί υπάρχουν τόσες εσφαλμένες αποκρίσεις 200;

Εδώ και χρόνια, στις κοινότητες των προγραμματιστών, υπάρχει κάποια συζήτηση σχετικά με το αν το 202 («Έγινε αποδεκτό») ως απόκριση σφάλματος («Το αίτημα έγινε αποδεκτό, αλλά δεν έχει ακόμη ολοκληρωθεί») θα μπορούσε να αποσαφηνίσει αυτές τις «αποτυχημένες» αιτήσεις με κατάσταση 200. Στην πραγματικότητα, όμως, ο κωδικός 202 δεν μπορεί να καλύψει όλες τις περιπτώσεις που περιγράφονται στη νέα μελέτη, και δεν υπάρχει κάποιος υφιστάμενος κωδικός που να μπορεί.

Παρότι η μελέτη δεν εξετάζει το ζήτημα σε βάθος, οι λόγοι για τους οποίους οι ιδιοκτήτες τομέων επιτρέπουν τις εσφαλμένες αποκρίσεις 200 ίσως αξίζει να διερευνηθούν περαιτέρω σε μελλοντικές σχετικές μελέτες.

Ένας λόγος θα μπορούσε να είναι ότι κάθε απόκριση που δεν έχει κωδικό 200 αποτελεί ουσιαστικά κάποιου είδους σελίδα σφάλματος ή εμπόδιο, όπως συμβαίνει και με τις συνηθέστερες, τις 404 («δεν βρέθηκε»), όπου το περιεχόμενο που αναζητείται απλώς απουσιάζει. Ορισμένοι χρήστες πιστεύουν ότι η υπερβολική συχνότητα τέτοιων σφαλμάτων οδηγεί σε κυρώσεις στο SEO (και, κατά πάσα πιθανότητα, στο GEO), αν και η Google το αρνείται.

Στην πραγματικότητα, η Google θεωρεί τις εσφαλμένες αποκρίσεις 200 ως «ήπιες» 404 και είναι σαφώς πιθανότερο να τις αντιμετωπίσει ως μεγαλύτερο πρόβλημα από τις απλές αποκρίσεις 404, επειδή ουσιαστικά πρόκειται για «παραπλανητικά» αποτελέσματα, είτε είναι σκόπιμα είτε όχι.

Απόκλιση παραπομπών

Αν όλα αυτά μοιάζουν υπερβολικά σχολαστικά, πρέπει να λάβουμε υπόψη την κλίμακα των δεδομένων, που φτάνει τα petabyte και συλλέγονται τακτικά —ή επιχειρείται να συλλεχθούν— για την εκπαίδευση συστημάτων τεχνητής νοημοσύνης. Αν το ένα πέμπτο αυτών των δεδομένων είναι αναξιόπιστο ή εντελώς παραπλανητικό, οι συνέπειες στα επόμενα στάδια δύσκολα μπορούν να απορριφθούν ως κάποιου είδους «παράπλευρη ανακρίβεια». Αντίθετα, τέτοιες ψευδείς αποκρίσεις θα μπορούσαν να επηρεάσουν σημαντικά και αρνητικά την κατανομή των δεδομένων στα σύνολα δεδομένων, καθώς και τα αποτελέσματα της εκπαίδευσης μοντέλων τεχνητής νοημοσύνης με αυτά τα δεδομένα.

Για παράδειγμα, ένα αξιοσημείωτο πρόβλημα που σχετίζεται με τις εσφαλμένες αποκρίσεις 200 είναι η «απόκλιση παραπομπών»: μια απάντηση που παράγεται από τεχνητή νοημοσύνη δεν τεκμηριώνεται πλέον από την ιστοσελίδα που είχε αρχικά παρατεθεί ως αποδεικτικό στοιχείο. Με άλλα λόγια, η σελίδα μπορεί να έχει αλλάξει, το σχετικό κείμενο να έχει αφαιρεθεί ή ο σύνδεσμος να οδηγεί πλέον κάπου αλλού.

Η νέα μελέτη διαπίστωσε ότι η φαινομενική απόκλιση παραπομπών αυξήθηκε από 5,8% σε 21,9% όταν όλες οι αποκρίσεις HTTP 200 γίνονταν δεκτές ως επιτυχημένες ανακτήσεις, ανεξάρτητα από το περιεχόμενό τους.

Αυτό σημαίνει ότι μια πηγή θα μπορούσε να κριθεί εσφαλμένα ότι έχει αλλάξει, εξαφανιστεί ή πάψει να τεκμηριώνει έναν ισχυρισμό που παράγεται από τεχνητή νοημοσύνη, απλώς και μόνο επειδή στη θέση του αρχικού υλικού ανακτήθηκε ένα CAPTCHA, μια κενή σελίδα ή κάποιο άλλο εμπόδιο.

Αρκεί να πεις «Έτσι είναι!»

Το πρόβλημα αναδείχθηκε επίσης από δοκιμές με διευθύνσεις ιστού που ήταν σκόπιμα ανύπαρκτες. Όταν ζητήθηκε από ιστοτόπους να ανοίξουν τυχαίες, επινοημένες διαδρομές, το 13,1% όσων απάντησαν επέστρεψε κατάσταση 200 («OK»), παρότι οι ζητούμενες σελίδες δεν υπήρχαν^†.

«Το 13,1% των ιστοτόπων που απάντησαν στη δοκιμή με τυχαία διαδρομή επέστρεψε 200 (S1 10,5%, S2 13,3%, S3 17,3%, S4 13,7%, S5 13,1%). Εξ ορισμού, κάθε τέτοια απόκριση είναι μια ήπια 404, αλλά δεν το δηλώνουν όλες.»

«Σε μια διερευνητική ανάλυση των 172 απαντήσεων soft 404, ο επισημειωτής χαρακτήρισε τις 98 ως σφάλμα ή σελίδα αντικατάστασης, τις 32 ως κενό περίβλημα και τις 28 ως περιεχόμενο: μια αρχική σελίδα ή μια σελίδα καταλόγου που προβάλλεται σε μια τυχαία διαδρομή μοιάζει με κανονική σελίδα.»

Συμπέρασμα

Αν το πρόβλημα αναγνωριζόταν σε ανώτερο επίπεδο, η IANA θα μπορούσε ενδεχομένως να δημιουργήσει έναν νέο και καταλληλότερο κωδικό κατάστασης HTTP, όπως [X] («Το αίτημα ολοκληρώθηκε με επιτυχία, αλλά το ζητούμενο περιεχόμενο δεν παραδόθηκε»). Αν και αυτό θα περιέγραφε πράγματι ό,τι συμβαίνει, θα απαιτούσε φυσικά από την πλευρά του διακομιστή ένα απίθανα υψηλό επίπεδο κατανόησης της συναλλαγής.

Υπάρχουν ήδη παρόμοιοι κωδικοί, αν και κανένας δεν ταιριάζει πραγματικά: ο 451 («Μη διαθέσιμο για νομικούς λόγους») είναι αμφίσημος και μάλλον ανησυχητικός (!), ο 206 («Μερικό περιεχόμενο») είναι τεχνικά εύστοχος, αλλά προορίζεται για ελλιπή δεδομένα (ανακτήσεις)· και ο απροσδόκητα υπαρκτός 203 («Μη αυθεντικές πληροφορίες»), που δημιουργήθηκε το 1997 και σχετίζεται μόνο περιφερειακά με την εξεταζόμενη περίπτωση χρήσης.

Ίσως ο πλησιέστερος υποψήφιος να είναι στην πραγματικότητα ο 103 («Πρώιμες υποδείξεις»), με την όχι και τόσο διαισθητική ονομασία, ο οποίος υποδεικνύει ότι δεν έχουν ακόμη φορτωθεί όλοι οι πόροι της διεύθυνσης URL (αν και αυτό θα αποτελούσε σαφώς κατάφωρη παρερμηνεία της πρόθεσης του κωδικού).

* Με τίτλο «Όταν το 200 OK δεν αποτελεί απάντηση: σιωπηρές αποτυχίες ανάκτησης κατά τη συλλογή διαδικτυακού περιεχομένου από πράκτορες». Σημειώστε ότι η εργασία είναι γραμμένη, όπως φαίνεται, κυρίως έτσι ώστε να είναι αναγνώσιμη από μηχανές, ίσως για να υποβάλλονται ερωτήματα σε αυτήν μέσω τεχνητής νοημοσύνης, και δεν διαβάζεται εύκολα.

^†Ζητώ συγγνώμη για το μηχανιστικό παράθεμα, αλλά ολόκληρη η εργασία είναι γραμμένη με αυτόν τον τρόπο, όπως σημειώνω παραπάνω, ώστε να είναι «αναγνώσιμη από μηχανές» και όχι κατανοητή από ανθρώπους, αν και δεν φτάνει στο σημείο να παρουσιάζεται σε μορφή JSON.

Πρώτη δημοσίευση: Τετάρτη 4 Νοεμβρίου 2026