ChatGPT-5 ja Gemini 2.5 luovat hallucinaatioita 40%:ssa testatuista uutishuoneen kyselyistä

Uusi tutkimus osoittaa, että ChatGPT-5 ja Google Gemini luovat hallucinaatioita 40 %:ssa uutishuoneen tyyppisistä kyselyistä, usein keksien luottamusherkät väitteet, joita ei voida vahvistaa tosiasioilla. Google NotebookLM suoriutuu paremmin, vain 13 %:n hallucinaatiolla – tasolla, joka silti johtaisi minkä tahansa journalistin irtisanomiseen maailmassa. Tutkimus osoitti, että mallit muokkasivat usein lähteitä muuttamalla mielipiteitä tosiasioiksi ja poistamalla attribuutit, mikä tekee niistä riskialttiita työkaluja journalismiin. Tutkijat vaativat parempia, omistettuja työkaluja näihin tehtäviin.

Suurten kielen mallien on nopeasti omaksuttu journalismiin viime aikoina, työpaikoilla, jotka ovat joka tapauksessa leikanneet kustannuksia, budjetteja ja henkilöstöä siitä lähtien, kun digitaalinen journalismi romuttui kahden vuosisadan perinteeseen vääjäämättömässä prosessissa, joka alkoi 2000-luvun alussa.

Todellisuudessa maasto oli jo hedelmällinen, koska media oli jo tottunut työpaikkojen lakkauttamiseen “innovaation” kautta ainakin turbulentin digitaalisen typesettingin esittelyssä 1980-luvulla, sekä aikaisemmista haasteista radion ja televisio aloittivat.

Tekoälyn jatkuvasti etenevä polku uutishuoneisiin ja media-organisaatioihin ei ole ollut ilman takaiskuja; kontekstissa, jossa 55 %:ia yrityksistä katuu korvaamasta ihmisiä tekoälyllä, ja jossa Gartner ennustaa, että organisaatiot kaventavat tekoälyn omaksumisen aikataulujaan voimakkaasti kahden vuoden kuluessa, useat uutisorganisaatiot ovat palkanneet takaisin tekoälyllä korvatut journalistit, kun tekoälyvaihtoehtojen vakavat ja usein nolo puutteet tulivat ilmi.

Virhe ei ole vain inhimillinen

Vaikka hallucinaatiot ovat osoittautuneet suureksi ongelmaksi aloille, joilla tarkka lainaus on välttämätöntä (huomattavan julkisen huomion saaneista tekoälyepäonnistumisista oikeudessa, tutkimuksessa ja journalismissa), uusi Yhdysvaltain tutkimus osoittaa, että tekoäly journalismissa kohtaa laajempia haasteita kuin odotettiin.

Tutkijoiden tutkimus arvioi ChatGPT:iä, Google Gemini:ä ja enemmän viittauksiin perustuvaa NotebookLM:iä uutisointityyppisessä tehtävässä: käyttäen 300-dokumenttia kokoelmaa, joka keskittyi TikTokin oikeudelliseen ja poliittiseen tilanteeseen Yhdysvalloissa.

Tutkijat muuttivat kyselyn tarkkuutta ja dokumenttien määrää, ja analysoivat tulokset taksonomialla, joka oli suunniteltu havainnoimaan hallucinaatioiden tyyppi ja vakavuus.

Kaikkien tulosten yli 30 % sisälsi ainakin yhden hallucinaation, kun taas ChatGPT ja Gemini näyttivät 40 %:n hallucinaatiota – hieman yli kolme kertaa enemmän kuin NotebookLM:n 13 %:n virheellinen arvo.

Tutkijat huomauttavat, ettei mallit keksineet tosiasioita tai entiteettejä, vaan usein näyttivät interpretatiivista yli-itsevarmuutta, lisäämällä tukemattomia karakterisointeja ja muuttamalla attribuoiduista mielipiteistä yleisiä lausuntoja:

‘Laadullisesti useimmat virheet eivät sisäisi keksittyjä entiteettejä tai numeroita; sen sijaan havaitsemme interpretatiivisen yli-itsevarmuuden – mallit lisäävät tukemattomia karakterisointeja lähteistä ja muuttavat attribuoiduista mielipiteistä yleisiä lausuntoja.

‘Nämä mallit paljastavat perustavanlaatuinen tietoteoreettinen vastakkainasettelu: Vaikka journalismi vaatii eksplisiittistä lähdemerkintää jokaiselle väitteelle, LLM:t generoivat auktoriteettista kuulostavaa tekstiä riippumatta todisteellisesta tuesta.

‘Ehdotamme journalismiin erityisiä laajennuksia olemassa oleviin hallucinaatiotaksonomioihin ja väitämme, että tehokkaat uutisvälineet tarvitsevat arkkitehtuureja, jotka pakottavat tarkan lähdemerkinnän sijaan optimoimalla sujuvuutta.’

Uusi tutkimus, joka on mielenkiintoinen ja lyhyt lukeminen viidellä sivulla, on nimeltään Virheellinen, mutta ei väärä: LLM:n yli-itsevarmuus dokumenttipohjaisissa kyselyissä, ja se on tehty kolmen tutkijan toimesta Northwestern-yliopistosta ja Minnesotan yliopistosta.

Teoria ja menetelmä

Tarkan syyn hallucinaatioille on kiistelty useita kertoja; vaikka lähes kaikki teoriat ovat samaa mieltä siitä, että datan laatu ja/tai jakautuminen on avaintekijä koulutuksen aikana, on ehdotettu, että 100 %:ia LLM:n tuotosta on periaatteessa hallucinaatio (paitsi että jotkut näistä hallucinaatioista sattuvat vastaamaan todellisuutta).
Tutkijat huomauttavat^†:

‘Teknisestä näkökulmasta hallucinaatiot nousevat LLM:ien kyvystä generoida tekstiä, joka noudattaa yleisiä malleja ilman ymmärrystä siitä, mikä on totta. Tämä ominaisuus johtaa uskottavasti kuulostaviin vastauksiin, jotka eivät heijasta todellisuutta – esimerkiksi LLM:ien keksimä oikeudellinen tapaus, joka pääsee osaksi asiakirjoja.

‘Ja vaikka LLM:ien kyvyt ovat lisääntyneet dramaattisesti viimeisen viiden vuoden aikana, hallucinaatiot ovat edelleen ongelma, joissakin tapauksissa jopa lisääntyneet, kun mallit ovat tulleet kykympi ja monipuolisempia.’

Tutkimusala on tutkinut useita keinoja vähentää tai ymmärtää LLM:ien hallucinaatioita, jotka usein jakautuvat kolmeen pääalueeseen: ensinnäkin, kontekstissa mallit voidaan perustaa ulkoisiin lähteisiin, kuten tietokantoihin, asiakirjakokoelmiin tai verkkosisältöön, jotta ne voivat perustella väitteensä.

Tämä toimii hyvin, kun materiaali on luotettavaa ja täydellistä, mutta aukot, vanhentunut tieto tai huono laatu aiheuttavat virheitä; ja mallit ovat myös taipuvaisia tekemään varmaa tietoa, joka menee lähteiden todellisen sanoman yli.

Toiseksi, kysely ja dekoodaus viittaa huolellisten ohjeiden käyttöön mallien ohjaamiseksi. Tämä voi käsittää pyytämistä malleilta tarkistamaan todisteensa, jakamista pienempiin tehtäviin tai tiukempien muotojen seuraamista. Jotkut mallit voidaan jopa ohjata tarkastamaan omaa työtään tai vertailemaan useita vastauksia.

Nämä tekniikat voivat havaita virheitä, mutta ne myös lisäävät kustannuksia, ja usein epäonnistuvat havaitsemasta hienoja virheitä; siksi ilman luotettavaa todisteiden tarkistusta suurin osa vahvistamisen taakasta kuormittaa edelleen käyttäjää.

Kolmanneksi, mallit ja työkalut viittaavat LLM:ien antamiseen pääsyyn resursseihin, jotka voivat tukea vahvistamista, kuten hakukoneita tai laskimia – vaikka tarkin voikin parantua, kun mallit koulutetaan hyvin lähditettyyn dataan tai kun viittausominaisuudet on sisäänrakennettu.

Kuitenkin nämä toimenpiteet eivät ole vakaat, ja edelleen riippuvat lähteiden laadusta, ohjeiden selkeydestä ja inhimillisen valvonnasta, jotta vääriä tietoja ei leviäisi.

TikTok

Tutkimus suoritti arviointeja, jotka suunniteltiin heijastamaan todellisia uutishuoneen työprosesseja ja standardeja, ja tutkivat hallucinaatioita tyypillisissä tutkimusperustaisissa ja tutkivissa journalistisissa tehtävissä.

Edelläkävijämallit testattiin yleisillä kyselystrategioilla ja asiakirjamäärittelyasetuksilla, jotta sekä hallucinaatioiden määrä että niiden tyyppi voitiin mitata – sekä mitä ne merkitsivät tekoälyn integroimiselle uutishuoneisiin.

Analyysi keskittyi asiakirjapohjaiseen kyselyyn, joka on tyypillistä tutkimusperustaisessa ja tutkivassa journalismissa. Tutkijat pyrkivät kokoamaan kokoelman, joka edustaisi tyypillistä pientä tai keskikokoista uutisprojektia, mutta joka olisi silti tarpeeksi suuri, jotta se voisi havainnollistaa todellisen maailman raportoinnin monimuotoisuutta; tähän tarkoitukseen he valitsivat jatkuvan oikeudellisen pyrkimyksen kieltää TikTok Yhdysvalloissa.

Asiakirjat kerättiin Washington Post:ista, New York Times:ista, ProQuest:ista ja Westlaw:ista, mikä johti 300-dokumenttiseen kokoelmaan, joka koostui viidestä akateemisesta artikkelista, 150 uutisartikkelista ja 145 oikeudellisesta asiakirjasta (ja koko kokoelman on saatavilla akateemisille tutkijoille pyynnöstä projektin varastossa).

Koska LLM-vastaukset riippuvat voimakkaasti siitä, miten kysely on muotoiltu, ja miten paljon kontekstia on annettu, tutkijat suunnittelivat viisi kyselyä, jotka vaihtelivat erittäin laajasta erittäin tarkkaan – yleisistä kysymyksistä TikTokin kielloista yksityiskohtaisiin kysymyksiin, jotka pyysivät todisteita tietystä oikeustapauksesta.

Mallille annettujen asiakirjojen määrää muutettiin 10:een, 100:aan tai kaikkiin 300:aan koko kokoelmasta, ja kaksi avainasiakirjaa sisällytettiin jokaiseen näytekokoonpanoon, jotta voitiin varmistaa johdonmukaisuus. Kunkin mallin tuloksia tuotettiin 15, paitsi ChatGPT:lle, joka rajoitettiin 10 tulokseen.

Vastakkainasettelijat

Kolme työkalua testattiin, ja ne edustivat eri lähestymistapoja asiakirjapohjaiseen kyselyyn: ChatGPT-5 arvioitiin Projects-ominaisuuden avulla, joka rajoitti asiakirjojen lataamisen 100:aan; Google Gemini 2.5 Pro pystyi prosessoimaan koko 300-dokumenttisen kokoelman kontekstissa (käyttäen yhden miljoonan tokenin kontekstiuikkunaa 923 000 tokenin suoraan sisääntuloa varten); Google NotebookLM, joka tarjoaa sisäänrakennetun viittauspalautteen, testattiin omilla muistikirjoilla kunkin näytteen kokoelmalle.

Vaikka nämä asiakirjamääritysmenetelmät eroavat, kaikki kolme edustavat todellisia työkaluja, jotka ovat saatavilla journalistien käyttöön; ja joka tapauksessa, nykyinen kehitys on enemmän kokeellinen kuin yhdenmukainen, ja ominaisuuksien tasaus ja laajuus vaihtelevat välttämättä nykyisten tarjontaa.

Tutkijat pyrkivät havainnoimaan hallucinaatioiden määrää ja tyyppiä, ja käyttivät aiemmasta tutkimuksesta peräisin olevaa taksonomiaa, jossa hallucinaatiot koodattiin suuntautumisen (vääristymä vs. laajennus), luokan (virhetyyppi) ja asteen (vakavuus, joka arvioitiin matalaksi, kohtalaiseksi tai hälyttäväksi) mukaan.

Kaikki mallin tulokset annotoitiin yhden inhimillisen tekijän toimesta, joka tarkasti jokaisen virkkeen ja sovelsi näitä koodauksia. Virheet, jotka eivät kuuluneet taksonomiaan, merkittiin miscellaneous:ksi, ja myöhemmin analysoitiin kehittääkseen journalismiin liittyviä kategorioita.

Data ja testit

Alkuvaiheessa hallucinaatioiden yleisyyden testauksessa 12/40 mallivastauksesta havaittiin sisältävän ainakin yhden hallucinaation, ja huomattavaa vaihtelua työkalujen välillä. ChatGPT ja Gemini tuottivat hallucinaatioita 40 %:ssa vastauksistaan, kun taas NotebookLM tuotti hallucinaatioita vain 13 %:ssa tapauksista:

Kunkin työkalun kokonaishallucinaatioluvut, joissa Gemini ja ChatGPT tuottivat suurimman osan virheellisistä vastauksista. Lähde: https://arxiv.org/pdf/2509.25498

Tutkijat kommentoivat:

‘Tämä osoittaa, että vaikka useimmat vastaukset kaikissa työkaluissa eivät sisällä hallucinaatioita, työkalun valinta tekee eroa samalle dokumenttikokoelmalle ja kyselyjoukolle.’

Hallucinaatiot harvoin esiintyvät erillään, tutkimus huomauttaa; Gemini keskiarvo 4:ää virhettä/vastaus, NotebookLM 3:aa ja ChatGPT 1,5:aa. Useimmat olivat kohtalaisia, mutta 14 %:ia luokiteltiin hälyttäviksi. Yhdessä tapauksessa ChatGPT keksi kostavan motiivin TikTokin kieltämiseksi, jota ei ollut lähdemateriaalissa:

‘[Yhdessä kyselyssä] ChatGPT esitti mahdollisen TikTokin kiellon vastatoimena, jonka Yhdysvaltain lainsäätäjät toteuttivat kiinalaisten poliittisten toimien seurauksena, vaatimus, jota ei mainittu lainkaan viitatussa asiakirjassa.’

Kaiken kaikkiaan 64 %:ssa hallucinoivista vastauksista esiteltiin virheellisiä tosiasioita tai sivuteitä, mikä saattaa herättää kysymyksiä siitä, onko tekoälyn käyttö oikeasti aikaa säästävässä tällaisessa tiedon perustuvassa työprosessissa, ainakin nykyisellä kehitystasolla.

Alkuvaiheen testauksessa useimmat hallucinaatiot eivät sopineet olemassa oleviin taksonomiaan, usein sisältäen keksittyjä lainauksia tai virheellisiä akronyymien laajennuksia, mikä viittaa siihen, että nykyiset kehykset saattavat olla liian kapeat journalismikäyttöön.

NotebookLM:n alhaisempi hallucinaatioluku, tutkijat huomauttavat, viittaa siihen, että sen viittaukseen perustuva RAG-järjestelmä tarjoaa luotettavamman perustan kuin ChatGPT:n Projects-ominaisuus tai Gemini:n kontekstiprosessointi, erityisesti silloin, kun tiettyjä asiakirjoja on viitattava.

Tutkijat huomauttavat, että:

‘Mallit lisäävät varmaa analyysiä, jota asiakirjat eivät tue, ja poistavat tärkeitä lähdemerkintöjä.’

Johtopäätös

Kuka tahansa, joka on kokeillut kolmea tutkimuksessa käytettyä mallia, tietää, että kullakin on heikkoutensa ja vahvuutensa. Vaikka NotebookLM suoriutuu paljon paremmin viittauksista kuin ChatGPT tai Gemini, voi ajatella, että se on suunniteltu nimenomaan tähän toiminnallisuuteen, ja silti se toimittaa virheellisen arvon, joka johtaisi useimpien journalistien, tutkijoiden tai lakimiesten irtisanomiseen, useiden toistuvien tapausten jälkeen.

Lisäksi NotebookLM, joka markkinoi itsensä tutkimuskehyksellä, puuttuu monia käyttöliittymän viilauksia, jotka tekevät muista alustoista helpomman kirjoittamisen.

Kuitenkin ainakin NotebookLM näyttää lukevan todella ladataksi asiakirjoja, eikä lankea ChatGPT:n hämmästyttävän tuhoisan tapaan arvailemaan, mitä ladattuun asiakirjaan voisi sisältyä, perustuen yleiseen jakautumiseen samankaltaisten asiakirjojen joukossa. Se voi olla ylänouseva taistelu saada ChatGPT tekemään täydellisen tekstilukemisen ladatusta materiaalista, sen sijaan, että se riippuisi metatiedoista tai omista oletuksista/hallucinaatioista.

Kentissä, joissa alkuperä ja viittausstandardit ovat kriittisiä, kuten oikeudessa, journalismissa ja tieteellisessä tutkimuksessa, näyttää siltä, että nykyisissä markkinajohtavissa LLM:issä ei ole luonnollisesti koulutettuja laitteita, jotka voivat parantaa niiden rajoitettua kykyä havainnoida ja käsitellä tietoa, jonka käyttäjä ohjaa sitä käsittelemään.

Nykyisellään ja odottaen apujärjestelmiä, jotka voivat tarjota paremman käyttöliittymän LLM:ien kanssa kuin pelkästään järjestelmäkysely tai MCP-asetus, kaikki näiden järjestelmien tuottamat tulokset edellyttävät tarkastusta niiden kalliiden, kömpelöiden ja yleensä ärsyttävien ihmisten toimesta.

* Google Cloud tarjoaa mielenkiintoisen ja perusteellisen katsauksen aiheeseen täällä.

^† Minun muunnos tutkijoiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran keskiviikkona, 1. lokakuuta 2025. Muutettu torstaina, 2. lokakuuta, korjataksesi virheen TL:DR:ssä ja muuttaaksesi tyylivirhettä ensimmäisessä kappaleessa.