Tekoäly viittaa usein verkkosivuihin, joita se ei ole edes lukenut

Joskus päivän tutkimusvirrasta nousee esiin julkaisu, joka todella saa vereni kiehumaan – ei siksi, että se olisi epätarkka tai loukkaava, vaan koska siinä huomataan ja tutkitaan jotakin, mikä on pitkään häirinnyt minua tietoisuuteni laitamilla epämääräisellä ja vaikeasti määriteltävällä tavalla (ehkä siksi, että olin liian kiireinen tehdäkseni muuta kuin sivuuttaakseni asian).

Tänään ilmestyi tällainen tutkimus, jonka ovat kirjoittaneet kolme tutkijaa Imperial College Londonin tietojenkäsittelytieteen laitokselta. Uudessa tutkimuksessa selvitetään, miksi suuret kielimallit (LLM:t) tarjoilevat meille usein tueksi URL-osoitteita (epäolennaisia tutkimusviitteitä, linkkejä kyseenalaisiin verkkoartikkeleihin ja niin edelleen) lukematta niitä edes. Tutkimuksen nimi on Haettu mutta lukematta: miksi hakua hyödyntävät suuret kielimallit eivät käytä saatavilla olevaa näyttöä.

Kirjoittajat toteavat:

’Havaitsimme, että mallit vastaavat usein hakutulosten katkelmien perusteella avaamatta lähdesivuja. Tähän liittyy vanhentuneiden vastausten ja epäluotettavien viittausten yleisempi esiintyminen. Kontrolloidut kokeemme ja kerroskohtainen analyysimme paljastavat kuilun näytön saatavuuden ja sen tehokkaan hyödyntämisen välillä.

’Vaikka haulla löytynyt näyttö vaikuttaisi mallin sisäisiin ennusteisiin, malli saattaa silti suosia vanhentunutta tietoa lopullisissa vastauksissaan.’

Kirjoittajat testasivat yhtä suljetun lähdekoodin suurta kielimallia (OpenAI’n GPT-5.6 Luna) ja kuutta avoimien painojen mallikokoonpanoa. Testauksessa käytettiin satoja tosiasioita, jotka olivat muuttuneet mallien koulutusaineistojen katkaisupäivien jälkeen.

Seuraavaksi he selvittivät, kuinka usein järjestelmät turvautuivat hakutulosten katkelmiin sen sijaan, että olisivat avanneet lähdesivuja, miten tämä vaikutti vastausten ja viittausten paikkansapitävyyteen ja miksi vanhentunut tieto toisinaan voitti, vaikka uudempaa näyttöä annettiin suoraan.

Kokeissa havaittiin, että mallit vastasivat usein kysymyksiin avaamatta yhtäkään verkkohauissa löytynyttä sivua ja että tähän käyttäytymiseen liittyi huomattavasti enemmän vanhentuneita vastauksia ja harhaanjohtavia viittauksia:

Testitulokset osoittavat, kuinka usein tekoälymallit viittaavat verkkolähteisiin lukematta niitä kuitenkaan. Tutkijat mittasivat kahdeksassa kokoonpanossa vastausten paikkansapitävyyttä, hakutulosten katkelmiin turvautumista lähdesivuja avaamatta sekä viittauksia, jotka olivat ristiriidassa mallien väitteiden kanssa. Joissakin tapauksissa yli puolet hauista päättyi ilman, että yhtäkään sivua avattiin. Kaikki luvut ovat prosentteja; ensimmäisellä rivillä käytetään reaaliaikaista verkkohakua, muilla riveillä yhdenmukaistettuja hakutuloksia. Lähde

Tutkijat havaitsivat myös, että oikean näytön antaminen suoraan saattoi vähentää näitä ongelmia huomattavasti. Jotkin mallit kuitenkin suosivat yhä vanhentunutta tietoa, vaikka uudemmat tosiasiat tuotiin suoraan niiden nähtäville.

Piilomotiiveja?

Kaksi ilmeisintä syytä siihen, miksi suuret kielimallit syytävät meille usein ”oikeilta kuulostavia” mutta asiaankuulumattomia tukiasiakirjoja, ovat: a) se säästää rahaa, sillä varsinaisen aineiston lataaminen ja lukeminen – edes tiivistelmän lukeminen – vie tiedonsiirtokapasiteettia ja aikaa, eikä aineistoa välttämättä edes ole saatavilla; ja b) se lyhentää viivettä, ikään kuin väärän tai osittain väärän vastauksen antaminen nopeasti olisi parempi vaihtoehto kuin hieman paremman vastauksen antaminen pienellä viiveellä.

Uuden tutkimuksen kirjoittajia kiinnostaa kuitenkin enemmän tämän laatupuutteen perusmekanismien selvittäminen kuin se, miten se on mahdollisesti alun perin suunniteltu tai ennakolta määrätty.

Ei ole yllättävää, että kokemukseni suurten kielimallien mittakaavaeduista keskustelemisesta eturintaman mallien kanssa on tähän mennessä johtanut siihen, mitä voin vain olettaa ennalta määrätyksi puolustusreaktioksi.

Suurten kielimallien viittauskäyttäytymisen manipuloinnin taloudellinen logiikka käy järkeen, ainakin minusta. Itse teknologioita ei kuitenkaan vielä tunneta riittävästi, ne muuttuvat jatkuvasti ja johtavat niin herkästi odottamattomiin tuloksiin, että tällaisten motiivien osoittaminen on tällä hetkellä vaikeaa.

Menetelmä

Testatakseen, kuinka hyvin mallit todella käyttävät verkkolähteistä saatua näyttöä, tutkijat kokosivat 225 tosiasiaa, jotka olivat muuttuneet 16. helmikuuta 2026 jälkeen. Se oli testatuista malleista viimeisin raportoitu koulutusaineiston katkaisupäivä.

Tosiasiat koottiin seuraavista lähteistä: FDA:n lääketiedot (62 tosiasiaa); rahoitusala (52); urheilu (47); henkilöt (43); SEC:n ilmoitukset (13); ja kemialliset luokitukset (8). Mukaan ei otettu muutoksia, jotka olivat tulleet voimaan ennen katkaisupäivää tai joista oli ilmoitettu ennen 1. helmikuuta, eikä myöskään lääketieteellisiä väitteitä, joihin saattoi vastata yleistiedon perusteella. Vertailukohtina käytettiin myös muuttumattomia tosiasioita, minkä ansiosta tutkijat pystyivät erottamaan uutta tietoa koskevat virheet yleisemmistä virheistä.

Vertailutason määrittämiseksi GPT-5.6 Lunaa testattiin ilman pääsyä verkkohakuun, ja se vastasi oikein vain 23,3 prosenttiin 103 kysymyksestä, jotka koskivat muuttuneita tietoja.

Aiemmin mainitun aineiston FDA-merkintöjen lausekkeet muunsi yksilöllisesti testattaviksi tosiasiaväitteiksi määrittelemätön tekoälymalli. Tämän jälkeen jokainen väite tarkistettiin manuaalisesti*.

Testatut avoimen painon mallikokoonpanot olivat Z.ai:n GLM-5.3-Flash; OpenAI:n gpt-oss-120b ja gpt-oss-20b; Google DeepMindin gemma-4-31b, jota testattiin sekä päättelytilan kanssa että ilman sitä; sekä Qwenin qwen3-8b.

Avoimen painon malleille ja GPT-5.6 Lunalle annettiin samat verkkohakutulokset, jotta niiden vastauksia voitiin verrata tasapuolisesti. Lunaa testattiin lisäksi erikseen sen omalla sisäänrakennetulla verkkohakutoiminnolla.

225 tosiasiasta 223:n osalta kerättiin etukäteen kymmenen hakutulosta Brave Search -palvelulla. Jokainen malli sai samat tulokset ja pystyi avaamaan sivuja tai tekemään niillä hakuja samoilla työkaluilla.

Oikean vastauksen sisältävä sivu oli aina saatavilla. Jos se esiintyi luontevasti kymmenen ensimmäisen hakutuloksen joukossa, sen sijaintia ei muutettu; muussa tapauksessa se lisättiin tuloksiin etukäteen määritettyyn kohtaan. Näin tutkijat pystyivät tarkastelemaan, miten mallit hyödynsivät saatavilla olevaa näyttöä vertailukelpoisissa olosuhteissa.

Testien yhdenmukaisuuden parantamiseksi lämpötila asetettiin nollaan malleissa, jotka tukivat tätä asetusta, ja jokainen malli ajettiin kokeiden ajan saman palveluntarjoajan kautta.

Kehotteiden muoto

Tosiasioiden testaamiseen käytetyistä kahdesta kehotteesta ensimmäisessä esitettiin avoin kysymys, kuten ”Missä seurassa Bernardo Silva pelaa?”, ja siinä voitiin pyytää lähdettä tai olla pyytämättä sitä. Toisessa mallia pyydettiin tarkistamaan väite, joka sisälsi joko ajantasaista tai vanhentunutta tietoa. Näin tutkijat pystyivät vertailemaan, miten kumpaakin versiota käsiteltiin.

Yhdistetyissä tuloksissa käytettiin neljää muuta kehotetyyppiä: avoimia kysymyksiä, joissa annettiin vihjeitä; lainauspyyntöjä; pyyntöjä esittää lähde, joka tukee annettua väitettä; sekä faktatietojen tarkistuksia, joissa mallia pyydettiin tunnistamaan useiden oikeiden väittämien joukosta yksi vanhentunut väite.

Esimerkkejä mallien testaamiseen käytetyistä varsinaisista kehotteista, jotka perustuvat jalkapalloilija Bernardo Silvaa koskeviin kysymyksiin ja väitteisiin. Taulukossa näytetään, miten sama tosiasiakysymys esitettiin erilaisina vastaus-, tarkistus-, lainaus- ja lähdeviitepyyntöinä. Kaikki kehotteet alkoivat päivämäärällä 8. elokuuta 2026, ja useimmissa edellytettiin vakiomuotoista loppuvastausta, jonka määrittelivät taulukon alla olevat kirjainkohdilla merkityt ohjeet.

Jokaisessa kehotteessa annettiin päivämäärä, ja useimmissa vaadittiin vastauksia kiinteässä muodossa. Vastausmuoto salli myös vastauksen ‘EI VOIDA VARMISTAA‘, minkä ansiosta tulokset voitiin arvioida ilman ihmisen tai suuren kielimallin tekemää ratkaisua.

Käytetyt mittarit olivat lukemisen syvyys (avattiinko lähdesivuja ja viitattiinko niihin); vastausten tarkkuus (oikeiden vastausten prosenttiosuus, josta kieltäytymiset jätettiin pois); ja lähdeviitteiden paikkansapitävyys (olivatko viitatut sivut ristiriidassa mallin väitteiden kanssa).

Arviointi automatisoitiin aina kun mahdollista. Määrittelemätön suuri kielimalli sai hyväksyä lähdeviitteet vain, jos ne perustuivat arkistoidulla sivulla olevaan täsmälliseen kohtaan. Tulkintaa edellyttävät kielteiset arviot annettiin ihmisten tehtäväksi, ja muuttumattomia vertailutietoja käytettiin kunkin mallin lähdeviitteiden lähtötason virheosuuden määrittämiseen.

Tulokset

Alkutesteissä (joiden tulokset esiteltiin tämän artikkelin alussa) pääsy verkkohakuun paransi mallien kykyä vastata kysymyksiin oikein. Kun malleja pyydettiin tarkistamaan tosiasiaväitteiden paikkansapitävyys, niiden tulokset paranivat 27–42 prosenttiyksikköä. Suoraan kysymyksiin vastatessaan ne antoivat oikean vastauksen 85,8–95,4 prosentissa tapauksista.

Monet vastaukset tuotettiin kuitenkin ilman, että mallit todella kävivät hauissaan löytyneillä verkkosivuilla. Sen sijaan ne turvautuivat hakutulosten yhteydessä näkyviin lyhyisiin tekstikatkelmiin. Vaikka mallit saivat samat hakutulokset, niiden hakujen osuus, joissa yhtäkään sivua ei avattu, vaihteli mallista riippuen 2,6 prosentista 76 prosenttiin.

Tässä suhteessa GPT-5.6 Luna suoriutui erityisen vähäisellä vaivalla:

‘Kun mallit saavat samat hakutulokset, ne vastaavat 2,6–76,0 prosentissa tapauksista avaamatta yhtäkään sivua. Omalla sisäänrakennetulla haullaan Luna vastaa 53,6 prosentissa tapauksista pelkkien tekstikatkelmien perusteella.‘

Testitulokset, joissa verrataan vanhentuneita vastauksia ja harhaanjohtavia viittauksia sen mukaan, kuinka perusteellisesti mallit tutkivat hakutuloksia. Ote tarkoittaa, ettei verkkosivua avattu; Avattu tarkoittaa, että sivu avattiin mutta siihen ei viitattu; Sisällyt. tarkoittaa, että avattuun sivuun viitattiin. Kaikki luvut ovat prosenttiosuuksia, jotka on laskettu yhteen seitsemästä mallikokoonpanosta ja kaikista kehotetyypeistä. Virheitä esiintyi yleensä useammin, kun mallit luottivat pelkästään hakutulosten katkelmiin.

Seitsemän mallikokoonpanon vastauksista 6,4 % oli vanhentuneita, kun mallit olivat käyttäneet vain hakutulosten katkelmia. Kun avattuihin sivuihin viitattiin, osuus oli 1,3 %. Myös harhaanjohtavia viittauksia esiintyi useammin: edellä esitetyin tavoin niiden osuus oli 6,4 % verrattuna 2,3 %:iin. Urheilua koskevissa kysymyksissä avointen mallien vanhentuneiden vastausten osuus oli 20,2 % verrattuna 2,1 %:iin. Kun vastaukset olivat vanhentuneita, 81,8 % väitteitä tukevista viittauksista oli niiden kanssa ristiriidassa. Ajan tasalla olevien vastausten kohdalla vastaava osuus oli vain 0,9 %. Samankaltaisia tuloksia saatiin faktatietojen tarkistuksissa.

Käytännössä tämä tarkoittaa, että tutkitut tekoälymallit antavat todennäköisemmin väärän vastauksen, kun ne turvautuvat hakutuloksissa näkyviin lyhyisiin kuvauksiin sen sijaan, että lukisivat varsinaiset verkkosivut. Vielä pahempaa on, että ne linkittävät joskus sivuille, jotka osoittavat niiden vastausten olevan vääriä.

Yhteinen epäonnistuminen

Jos näissä testeissä käytetty otos ei ole ”yhteisesti poikkeava”, on perusteltua olettaa, että tämä ilmiö vaikuttaa myös muihin malleihin, olivatpa ne suljettuja tai avoimen lähdekoodin malleja. Itse asiassa GPT-5.6 Lunan verkkohauissa havaituista yhdeksästä virhetyypistä seitsemän liittyi merkittävästi virheisiin, joita havaittiin muissa malleissa, kun niitä testattiin samoilla kiinteillä hakutuloksilla. Tämä viittaa siihen, etteivät ongelmat rajoittuneet Lunaan.

Oikean Wikipedia-sivun tarjoaminen suoraan vähensi vanhentuneita vastauksia: gemma-4-31b:n virheiden määrä laski 14:stä nollaan, gpt-oss-20b:n 11:stä yhteen ja qwen3-8b:n 16:sta kahdeksaan. Alkuperäisen kysymyksen esittäminen uudelleen jokaisen avatun sivun jälkeen korjasi lisäksi 26,1 % aiemmin epäonnistuneista faktatietojen tarkistuksista.

Tulokset osoittavat, kuinka usein gemma-4-31b, gpt-oss-20b ja qwen3-8b hyväksyivät vanhentuneita väitteitä eri olosuhteissa. Sama näyttö joko jätettiin antamatta, esitettiin suoraan kehotteessa tai annettiin saataville hakutulosten kautta. Osassa erillisistä testeistä pyydettiin myös lähteitä väitteiden tueksi. Oikean sivun tarjoaminen suoraan oli huomattavasti tehokkaampaa kuin se, että mallien olisi pitänyt löytää se itse. Luvut ilmaisevat epäonnistumisten määrän suhteessa testien kokonaismäärään.

Seurojen säännöt

Lopuksi tutkijat testasivat kolmea avointa mallia selvittääkseen paremmin, miksi tekoäly sivuuttaa joskus oikean tiedon. Testeissä käsiteltiin jalkapalloilijoita, jotka olivat vaihtaneet seuraa: gpt-oss-20b:tä, gemma-4-31b:tä ja qwen3-8b:tä.

Kullekin mallille annettiin vanhentunutta tietoa pelaajan seurasta, joskus yhdessä oikean Wikipedia-sivun kanssa. Sen jälkeen tutkittiin, kumpaa vastausta malli käsittelyn aikana piti todennäköisempänä.

Tulokset osoittivat, että mallit pystyivät tunnistamaan oikean seuran, mutta antoivat silti väärän vastauksen:

Testitulokset osoittavat, miten qwen3-8b painotti oikeaa ja vanhentunutta seuraa muodostaessaan vastausta. Vasemmalla oleva kaavio esittää onnistuneita vastauksia, joissa oikea seura pysyi edellä; oikealla oleva kaavio näyttää epäonnistumiset, joissa vanhentunut seura nousi oikean seuran ohi käsittelyn viimeisissä vaiheissa. Varjostetut alueet kuvaavat testien välistä vaihtelua.

qwen3-8b-mallissa oikea seura nousi toisinaan sisäisessä käsittelyssä johtoon, mutta vanhentunut seura kiilasi sen ohi juuri ennen vastauksen muodostamista (ks. yllä). Samankaltainen ilmiö havaittiin gpt-oss-20b-mallissa, kun taas gemma-4-31b-malli suosi yleensä ”vanhentunutta” seuraa koko käsittelyn ajan.

Näin ollen näyttää siltä, että vaikka oikea näyttö olisi saatavilla ja malli tunnistaisi sen, vanhentunut tieto voi silti voittaa lopullisessa vastauksessa.

Yhteenvetona kirjoittajat esittävät, että mallien pitäisi hyödyntää paremmin hakemiaan verkkosivuja sen sijaan, että ne turvautuvat hakutulosten katkelmiin. He toivovat myös selvittävänsä, miksi mallit joskus pitäytyvät vanhentuneessa tiedossa, vaikka niillä on oikea vastaus, ja voisivatko muutokset siihen, miten mallit käsittelevät tietoa, auttaa. Mitään varmaa ratkaisua ei kuitenkaan ehdoteta.

Yhteenveto

Vaikka uusi artikkeli tarjoaa arvokkaita näkemyksiä, se ei selitä, miksi suuret kielimallit suhtautuvat viittauksiin ja lähdeviitteisiin niin huolettomasti. Kuluttajana ja myös omien havaintojeni perusteella kuvioita kohtuullisen hyvin analysoivana ihmisenä saan sen vaikutelman, että käyttämäni suuret kielimallit suosittelevat tutkimusartikkeleita tai URL-osoitteita, koska muut…suositellut sivustot… suosittelevat niitä? Mistä auktoriteetin tunne siis oikein kumpuaa?

Totta puhuen tämä ei ole ongelma, jota pystyimme ratkaisemaan edes tekoälyä edeltäneessä maailmassa, joten ei ehkä ole yllättävää, jos suuret kielimallit eivät säästäkään rahaa eivätkä vähennä viivettä, vaan levittävät vain samoja kiinalaisia huhuja, jotka tyydymme julistamaan ”totuudeksi”.

* Artikkelissa ei kerrota, kuka nämä arviot teki.

Julkaistu ensimmäisen kerran perjantaina 16. lokakuuta 2026