20 prosenttia kaikista tekoälyn saamista verkon OK-vastauksista ei ole kunnossa

Viimeaikaiset tekoälyavusteista verkkosisällön haravointia koskevat kokeiluni ovat konkretisoineet, kuinka laajasti verkko on sulkeutumassa. Tämän vetäytymisen taustalla on tietenkin tekoälyn tekemän verkkosisällön haravoinnin ällistyttävä kasvu, jonka hellittämätön uusien tietojen kysyntä voi päätyä viemään verkkotunnuksia pois käytöstä.

Tämä antaa verkkotunnuksille hyvän syyn tehdä se, mitä monet niistä ovat halunneet jo pitkään: rajoittaa sisältönsä vain sisäänkirjautuneiden käyttäjien saataville (vaikka Googlebot pääsee tavallisesti sisään ilmaiseksi). Facebook sai tämän käytännön asteittaisen käyttöönoton päätökseen vuonna 2023, ja Twitter/X teki samoin samana vuonna. Reddit ottaa sen käyttöön myöhemmin tässä kuussa.

Näin verkkotunnuksen on hieman helpompi noudattaa maakohtaisia ikärajojen valvontavaatimuksia, sillä käyttäjä on jo rekisteröitynyt. Vielä tärkeämpää on, että käyttäjän tiedot voidaan tallentaa, hyödyntää paikallisessa analytiikassa ja – paikallisen lainsäädännön salliessa – myydä datanvälittäjille ja tekoälyyrityksille.

Muualla botteja vastaan suunnattujen toimien määrä on kasvanut yli 58 % edellisvuodesta, Cloudflaren mukaan. Bottien toiminnan jatkuva lisääntyminen saa verkkosivustot luonnollisesti syynäämään VPN- ja välityspalvelinosoitteita, mikä voi estää laillisia käyttäjiä pääsemästä sivustolle siinä missä kaiken ”haitallisenkin” liikenteen.

Tämän omakohtainen puoli on se, että kohtaan yhä useammin estoviestejä ja haasteita, siinä määrin, että saatan jopa hylätä sivuston, jos se alkaa ladata niitä. Koska CAPTCHA-seinien on havaittu karkottavan käyttäjiä ja potentiaalisia asiakkaita, voimme kuvitella, millaisen paineen se aiheuttaa verkkotunnusten omistajille ja saa heidät ottamaan ne käyttöön tästä haitasta huolimatta.

archive.is-sivuston CAPTCHA-haaste. Se on yksi monista sivustoista, jotka ovat ottaneet haasteet käyttöön usein vastauksena liialliseen automaattiseen (eivätkä ihmisten tekemiin) pyyntömäärään.

Kaikki tämä uusi ja lisääntynyt kitka johtuu osittain käytännön rajoitteista (kaikki verkkotunnukset eivät kestä hyökkäystulvaa), mutta se on usein myös eräänlainen neuvottelutaktiikka: sen avulla kokeillaan, tarjoavatko tekoälyyritykset yksittäisen tai yhteisen korvauksen kaikesta siitä datasta, jota ne niin kipeästi kaipaavat ja joka on ollut tähän asti pitkään ilmaista.

Koska tekoälyindeksoijien on toimittava laajassa mittakaavassa, ne käyttävät yleensä Chrome-selaimen ”päätöntä” instanssia Playwright-kehyksen avulla. Nykyään yhä useammalla verkkotunnuksella tämä johtaa 403 (”kielletty”) -virheeseen (eli palvelin tunnistaa liikenteen automaattiseksi ja käskee häipymään):

changedetection.io-ohjelmiston paikallinen asennus yrittää tarkistaa sivuston, mutta sivusto ei hyväksy kehyksen käyttämää tunnistettua selainta ja palauttaa 403 (”Forbidden”) -vastauksen.

Tavoitteena on saada ”200” (”OK”) -vastaus asiakkaalle, vaikka sen saamiseksi pitäisi maksaa iso summa asuin-IP-osoitteita käyttävälle välityspalvelinverkostolle ja käyttää samalla monenlaisia muita huomaamattomia, ei-inhimillisiä keinoja.

200-vastaus on paras mahdollinen: mikään asiakkaalle palautettava tilakoodi ei anna vahvempaa myönteistä signaalia. Se ei myöskään ole monitulkintainen: se ei koskaan tarkoita ”melkein kunnossa”, ”kunnossa myöhemmin” tai ”muuttumassa yhä paremmaksi”, vaan ”kunnossa!”. Jos kaikki ei ole kunnossa, kyseessä ei ole 200-vastaus.

Hei! Häipykää

Uuden tutkimusartikkelin mukaan tämä tarkkuuden puute voi kuitenkin vääristää merkittävästi tekoälyn tietoaineistoja ja tilastollisia arvioita sekä saada järjestelmät ilmoittamaan sisällön olevan ”kunnossa”, vaikka näin ei ole.

Tutkimuksessa* arvioidaan, että noin viidesosassa 200-luokan vastauksista ei ole lainkaan käyttökelpoista sivusisältöä. Niiden sijaan käyttäjälle näytetään tyhjiä verkkosivupohjia, CAPTCHA-haasteita, pääsyrajoituksia tai korvaavia sivuja.

Artikkelissa todetaan:

”20,9 %:ssa staattisen asiakkaan 200-tilakoodilla saamista sivuista ei ole sivun pääsisältöä: kyseessä ovat sovelluspohjat, bottihaasteet, estoviestit, virhe- ja paikkamerkkisivut sekä osittainen sisältö.”

Tässä kärsimättömät automaattiset järjestelmät kompastuvat omiin rajoituksiinsa, sillä 200-vastauksen voidaan tulkita tarkoittavan onnistunutta hakua, vaikka haun tuloksena olisi vain CAPTCHA-seinä, maksumuuri tai jokin muu este.

Artikkelissa luetellaan seitsemän sisältötyyppiä, jotka vaikeuttavat usein 200-vastausten tulkintaa:

Seitsemän sisältöluokkaa, jotka eivät ole lainkaan ”kunnossa” 200-vastauksessa. Lähde

Tutkimuksessa testattiin kolmen päivän aikana 10 307 verkko-osoitetta sekä yksinkertaisella verkkosisältöjen hakutyökalulla että selaimella, joka pystyy lataamaan JavaScriptiä. Vastaukset luokiteltiin sen perusteella, mitä sisältöä haettiin, ei niiden HTTP-tilakoodien mukaan.

Suurimmat käyttökelvottomien 202-vastausten ryhmät olivat tyhjät verkkosivuston rungot sekä virhe- tai korvaavat sivut, jotka yhdessä muodostivat yli kaksi kolmasosaa epäonnistumisista.

Tyhjissä sivuston rungoissa sivusto saattaa näyttää valikkonsa ja navigointinsa mutta jättää pyydetyn artikkelin tai tuoteluettelon tyhjäksi. Jälkimmäisessä tapauksessa pyydetyn sisällön sijasta saattaa näkyä asiaan liittymätön sivu tai etusivu. Molemmat voivat silti saada saman HTTP 200 -tilakoodin kuin onnistunut haku, joka palauttaa käyttökelpoista ja hyödyllistä sisältöä.

Ratkaisuksi artikkelissa suositellaan, että verkkosisältöjen hakutyökalut ilmoittavat, mitä todella haettiin, eivätkä nojaa HTTP-tilakoodeihin. Yksinkertaiset tarkistukset, joilla etsitään poikkeuksellisen lyhyitä sivuja, epäilyttäviä uudelleenohjauksia ja olemattomia sivuja muistuttavaa sisältöä, voisivat tunnistaa useimmat epäonnistumiset.

Laskennallisesti raskaampia selaintyökaluja voitaisiin sitten käyttää vain silloin, kun sivu näyttää latautuneen virheellisesti. Lisäksi tekoälyn arviointimenetelmillä voitaisiin tarkistaa, sisältävätkö lähdeviitteissä mainitut lähteet todella odotetut tiedot, sen sijaan että oletettaisiin HTTP 200 -vastauksen merkitsevän sisällön onnistunutta hakua.

Uuden tutkimuksen kirjoittaja huomauttaa myös, että ”halvoilla heuristiikoilla” voidaan helposti tunnistaa noin 86 % käyttökelvottomista vastauksista tarkistamalla sivun pituus, uudelleenohjaukset ja se, kuinka paljon sivu muistuttaa olematonta sivua:

Verkkosisältöjen hakustrategioiden vertailussa vain epäilyttäviksi merkittyjen sivujen renderöinti tuotti hieman enemmän käyttökelpoista sisältöä (81,4 %) kuin kaikkien sivujen renderöinti (80,3 %), ja samalla keskimääräinen hakuaika lyheni 20,6 sekunnista 5,8 sekuntiin sivua kohden. 

Miksi virheellisiä 200-vastauksia on niin paljon?

Kehittäjäyhteisöissä on vuosien mittaan käyty jonkin verran keskustelua siitä, voisiko 202 (”Accepted”) -virhekoodi (”Pyyntö hyväksytty, mutta sitä ei ole vielä käsitelty loppuun”) erottaa nämä epäonnistuneet 200-tilakoodin pyynnöt muista. Todellisuudessa 202 ei kuitenkaan sovellu kaikkiin uuden artikkelin kuvaamiin tapauksiin, eikä nykyisellään ole olemassa koodia, joka niihin soveltuisi.

Vaikka artikkelissa ei käsitellä asiaa perusteellisesti, syy siihen, miksi verkkotunnusten omistajat sallivat 200-virheet, saattaa olla selvittämisen arvoinen aihe tulevissa aiheeseen liittyvissä tutkimuksissa.

Yksi syy voi olla se, että kaikki muut kuin 200-vastaukset ovat käytännössä jonkinlaisia virhesivuja tai esteitä. Yleisin esimerkki ovat 404-virheet (”ei löydy”), joissa kohdesisältö yksinkertaisesti puuttuu. Jotkut uskovat, että tällaisten virheiden suuri määrä johtaa hakukoneoptimoinnissa rangaistuksiin (ja oletettavasti myös GEO:ssa), mutta Google kiistää tämän.

Google pitää virheellisiä 200-vastauksia itse asiassa ”pehmeinä” 404-virheinä. Ne ovat selvästi todennäköisemmin suurempi ongelma kuin tavalliset 404-virheet, sillä kyse on pohjimmiltaan harhaanjohtavista tuloksista, olivatpa ne tahallisia tai eivät.

Lähdeviitteiden ajautuminen

Jos tämä kaikki vaikuttaa saivartelulta, on syytä ottaa huomioon tekoälyn koulutusta varten säännöllisesti kerättävän tai kerättäväksi yritettävän datan petatavujen suuruinen määrä. Jos täydet viidesosa tästä datasta on epäluotettavaa tai suorastaan harhaanjohtavaa, sen jatkovaikutuksia on vaikea kuitata jonkinlaisena ”sivuvaikutuksena”. Tällaiset virheelliset vastaukset voivat sen sijaan vaikuttaa merkittävästi ja haitallisesti datan jakaumaan aineistoissa sekä siihen, millaisia tuloksia datan käytöstä tekoälymallien koulutuksessa saadaan.

Yksi merkittävä virheellisiin 200-vastauksiin liittyvä ongelma on esimerkiksi ”lähdeviitteiden ajautuminen”: tekoälyn tuottama vastaus ei enää saa tukea verkkosivulta, johon alun perin viitattiin sen todisteena. Sivu on esimerkiksi saattanut muuttua, olennainen teksti on voitu poistaa tai linkki voi nyt johtaa muualle.

Uudessa tutkimuksessa havaittiin, että näennäinen viittausten ajautuminen kasvoi 5,8 prosentista 21,9 prosenttiin, kun kaikki HTTP 200 -vastaukset hyväksyttiin onnistuneiksi noutotuloksiksi niiden sisällöstä riippumatta.

Tämä tarkoittaa, että lähteen voidaan virheellisesti arvioida muuttuneen, kadonneen tai lakanneen tukemasta tekoälyn tuottamaa väitettä yksinkertaisesti siksi, että alkuperäisen aineiston sijasta haettiin CAPTCHA-testi, tyhjä sivu tai jokin muu este.

Sanotaan vain, että se on niin!

Ongelma osoitettiin myös testeissä, joissa käytettiin tarkoituksella olemattomia verkko-osoitteita. Kun verkkosivustoilta pyydettiin satunnaisia, keksittyjä polkuja, 13,1 % vastanneista palautti 200-tilakoodin (”OK”), vaikka pyydettyjä sivuja ei ollut olemassa^†.

”Satunnaisten polkujen testipyyntöön vastanneista sivustoista 13,1 % palautti 200-tilakoodin (S1 10,5 %, S2 13,3 %, S3 17,3 %, S4 13,7 %, S5 13,1 %). Rakenteensa vuoksi kaikki tällaiset vastaukset ovat pehmeitä 404-virheitä, mutta kaikki eivät ilmaise sitä.

‘172:sta pehmeän 404-virheen vastauksesta tehdyssä alustavassa erittelyssä luokittelija nimesi 98 virhe- tai korvaavaksi sivuksi, 32 tyhjäksi rungoksi ja 28 sisällöksi: satunnaisessa polussa näkyvä etusivu tai listaus näyttää tavalliselta sivulta.’

Yhteenveto

Jos ongelma tunnistettaisiin ylemmällä tasolla, IANA voisi kenties luoda uuden ja osuvamman HTTP-tilakoodin, kuten [X] (‘Pyyntö onnistui, mutta pyydettyä sisältöä ei toimitettu’). Vaikka tämä kuvaisikin tapahtunutta, se edellyttäisi palvelimen puolelta poikkeuksellisen syvällistä ymmärrystä tapahtumasta.

Samankaltaisia koodeja on jo olemassa, mutta mikään niistä ei oikein sovi tilanteeseen: 451 (‘Ei saatavilla oikeudellisista syistä’) on monitulkintainen ja varsin huolestuttava (!); 206 (‘Osittainen sisältö’) sopii teknisesti, mutta se on tarkoitettu keskeneräisille tiedoille (hauille); ja yllättäen olemassa oleva 203 (‘Ei-auktoritatiivista tietoa’), joka luotiin vuonna 1997, liittyy vain välillisesti käsillä olevaan käyttötapaukseen.

Lähimmäksi ehdokkaaksi saattaa itse asiassa sopia epäintuitiivisesti nimetty 103 (‘Ennakkovihjeet’), joka ilmaisee, ettei kaikkia URL-osoitteen resursseja ole vielä ladattu (vaikka tämä tulkitsisi selvästi koodin tarkoitusta räikeän väärin).

* Otsikko: ”Kun 200 OK ei ole vastaus: hiljaiset noutovirheet agenttipohjaisessa verkkosisällön hankinnassa.‘ Huomaa, että artikkeli on ilmeisesti kirjoitettu ensisijaisesti koneellisesti luettavaksi, ehkä tekoälyn käsiteltäväksi, eikä sitä ole helppo lukea sellaisenaan.

^†Anteeksi mekaaninen lainaus, mutta koko artikkeli on kirjoitettu tällä tavalla, kuten edellä mainitsin, jotta se olisi ”koneellisesti luettava” eikä ihmisen tulkittavissa, vaikka sitä ei esitetäkään JSON-muodossa.

Julkaistu ensimmäisen kerran keskiviikkona 4. marraskuuta 2026