ChatGPT-5 og Gemini 2.5 hallucinerer i 40% av testede nyhetsstudioforespørsler

En ny studie finner at ChatGPT-5 og Google Gemini produserer hallucinasjoner i 40% av nyhetsstudio-lignende forespørsler, ofte oppfinner de selvbevisste påstander som ikke er støttet av verifiserbare fakta. Google’s NotebookLM har det bedre med bare 13% – en rate som ville få enhver journalist i verden sparken. Studien fant at modellene ofte forvrengte kilder ved å omdanne meninger til fakta og ved å fjerne attribusjon, noe som gjør dem til risikable verktøy for journalistikk. Forfatterne ber om bedre, dedikerte verktøy for disse oppgavene.

Store språkmodeller har sett en rask adopsjon i journalistikk i nyere tid, i arbeidsplassmiljøer som har i alle fall vært kostnadsreduksjon, budsjetter og stab siden digital journalistikk kollapset to århundrer med tradisjon i en uavvendelig prosess som begynte tidlig på 2000-tallet.

I virkeligheten var terrenget allerede gjødslet, siden media hadde blitt vant til å kutte jobber gjennom “innovasjon” siden minst introduksjonen av digital typesetting på 1980-tallet, samt tidligere utfordringer fra radio og fjernsyn.

AI’s uavvendelige vei inn i nyhetsrom og mediekanaler har ikke vært uten tilbakeslag, imidlertid; i en kontekst hvor 55% av selskapene nå angre på å erstatte mennesker med AI, og hvor Gartner forutser at organisasjoner vil skjerpe tilbake deres AI-adoptionsplaner innen to år, har en rekke nyhetsorganisasjoner ansatt AI-erstattede journalister igjen, da de alvorlige og ofte pinlige svakhetene i maskinlæringsalternativene ble åpenbare.

Feil er ikke bare menneskelig

Selv om hallucinasjoner har vist seg å være et stort problem for felt hvor nøyaktig sitat er essensielt (med merkbar offentlig oppmerksomhet for AI-feil i loven, forskning og journalistikk sektorene), finner en ny amerikansk studie at maskinlæring i journalistikk møter bredere utfordringer enn forventet.

Forfatternes forskning evaluerte ChatGPT, Google Gemini, og den mer sitat-fokuserte NotebookLM på en rapporteringslignende oppgave: å bruke en 300-dokument korpus fokusert på TikTok-litigasjon og politikk i USA.

Forskere varierte prompt-spesifisitet og antall dokumenter gitt, og analyserte resultatene ved å bruke en taksonomi designet for å fange typen og alvorlighetsgraden av hallucinasjoner.

Over alle utdata, inneholdt 30% minst en hallucinasjon, mens ChatGPT og Gemini hver viste en 40% hallucinasjonsrate – litt over tre ganger høyere enn NotebookLMs 13% feilrate.

I stedet for å oppfinne fakta eller enheter, observerte forskerne at modellene ofte viste tolkende overmot, la til ubesatte karakteriseringer og omdannet tilskrevne meninger til generelle utsagn:

‘Kvalitativt, inneholdt de fleste feilene ikke oppførte enheter eller tall; isteden observerte vi tolkende overmot–modellene la til ubesatte karakteriseringer av kilder og omdannet tilskrevne meninger til generelle utsagn.

‘Disse mønsterne avslører en grunnleggende epistemologisk mismatch: Mens journalistikk krever eksplisitt kildeangivelse for hver påstand, genererer LLM autoritativt lydende tekst uavhengig av bevisstøtte.

‘Vi foreslår journalistikk-spesifikke utvidelser av eksisterende hallucinasjonstaksonomier og argumenterer for at effektive nyhetsverktøy trenger arkitekturer som tvinger nøyaktig kildeangivelse fremfor å optimalisere for flyt.

Den nye studien, en fascinerende men kort lesning på fem sider, er tittelen Ikke feil, men usann, og kommer fra tre forskere på Northwestern University og University of Minnesota.

Teori og metode

Den eksakte årsaken til hallucinasjoner* er omdiskutert på ulike tidspunkter; selv om nesten alle teorier er enige om at datakvalitet og/eller distribusjoner er en bidragende faktor på treningstid, har det også vært foreslått at 100% av LLM-utdata i virkeligheten er essensielt hallucinasjoner (bortsett fra at noen av disse hallucinasjonene skjer å samsvare med virkeligheten).

Forfatterne observerer^†:

‘Fra et teknisk perspektiv, oppstår hallucinasjoner fra LLMs evne til å generere tekst som følger vanlige mønster uten å ha en forståelse av hva som er sant. Dette karakteristiske resultatet gir plausibelt lydende svar som ikke reflekterer virkeligheten – for eksempel LLM-fabrikkert rettspraksis som får vei inn i argumenter.

‘Og mens LLM-kapasiteter har økt dramatisk over de siste fem årene, forblir hallucinasjoner et problem, i noen tilfeller til og med øker når modellene blir mer kapable.’

Forskningssektoren, papiret observerer, har utforsket en rekke måter å redusere eller bedre forstå LLM-hallucinasjoner, som tenderer å falle inn i tre hovedområder: først, i kontekst, kan modeller være grunnlagt i eksterne kilder som databaser, dokumenter eller nettinnhold for å støtte deres påstander.

Dette fungerer godt når materialet er pålitelig og fullstendig, men hull, utdatert informasjon eller dårlig kvalitet på data forårsaker fortsatt feil; og modellene har også en vane med å lage selvbevisste utsagn som går utover hva kildene faktisk sier.

For det andre, prompting og dekoding refererer til bruken av omsorgsfulle instruksjoner for å guide modeller. Dette kan innebære å be modellene å sjekke deres bevis, bryte oppgaver inn i mindre trinn eller å følge strengere formater. Noen ganger blir modellene også dirigert til å gjennomgå deres eget arbeid eller sammenligne flere svar.

Disse teknikkene kan fange feil, men de øker også kostnadene, og de ofte feiler i å oppdage subtile feil; derfor, uten pålitelig bevisstsjekking, faller mye av byrden av verifisering fortsatt på brukeren.

For det tredje, modeller og verktøy refererer til å gi LLM tilgang til ressurser som kan støtte verifisering, som søkemotorer eller kalkulatorer – selv om nøyaktighet også kan forbedres når modellene er trent på godt kildeinformert data eller når sitatfunksjoner er bygget inn.

Likevel er disse tiltakene ikke feilfrie, og de avhenger fortsatt av kvaliteten på kildene, tydeligheten av retningslinjene og menneskelig tilsyn for å forhindre feil informasjon fra å spre.

Tik Tok

For å finne ut hvilke tilnærminger som kan være nyttige for journalister, gjennomførte studien evalueringer designet for å reflektere virkelige nyhetsromsstandarder og -arbeidsflyt, med hallucinasjon undersøkt i konteksten av typiske rapporteringsoppgaver.

Fremtredende modeller ble testet ved å bruke vanlige prompt-strategier og dokument-grunnleggende oppsett, så både hyppigheten og typen av hallucinasjonsfeil kunne måles – sammen med hva disse feilene faktisk betyr for integreringen av AI i nyhetsrom.

Analysen fokuserte på typen dokumentbasert forespørsel som er typisk i forskningsbasert og undersøkende journalistikk. Forfatterne søkte å kuratere en korpus som var ment å reflektere en typisk liten til medium nyhetsprosjekt, men som likevel ville være stor nok til å fange kompleksiteten i virkelige rapporteringsoppgaver; til dette formålet valgte de den pågående juridiske innsatsen for å forby TikTok i USA.

Dokumenter ble samlet inn fra Washington Post, New York Times, ProQuest og Westlaw, resulterende i en 300-dokument samling bestående av fem akademiske papirer, 150 nyhetsartikler og 145 rettslige innlegg (med den fullstendige kompilasjonen tilgjengelig for akademiske forskere på forespørsel gjennom prosjektets repository).

Ettersom LLM-responsene avhenger sterkt av hvordan en prompt er formulert, og hvor mye kontekst som er gitt, designet forfatterne fem forespørsler som varierte fra svært bred til svært spesifik – fra generelle spørsmål om TikTok-forbud til detaljerte forespørsler som ba om vitnesbyrd fra bestemte rettssaker.

Antallet dokumenter gitt til hver modell varierte på 10, 100 – eller alle 300, fra den fullstendige korpusen, med to nøkledokumenter inkludert i hver prøve, for å sikre konsistens. Femten svar ble produsert for hver modell, bortsett fra ChatGPT, som var begrenset til ti svar.

Utfordrere

Tre verktøy ble testet, hver reflekterende en annen tilnærming til dokumentbasert forespørsel: ChatGPT‑5 ble evaluert ved å bruke Prosjekt-funksjonen, som begrenset opplasting til 100 dokumenter; Google Gemini 2.5 Pro kunne prosessere den fullstendige 300-dokument korpusen i kontekst (ved å bruke sin én million token kontekstvindu til å inngå alle 923 000 token direkte); Google NotebookLM, som tilbyr innbygget sitat-henting, ble testet ved å bruke dedikerte notatbøker for hver prøve.

mens disse dokument-håndtering-metodene skiller seg, representerer alle tre virkelige verktøy som er tilgjengelige for journalister; og i alle fall er state-of-the-art for tiden mer eksperimentell enn homogen, med funksjonsparitet og omfang som uunngåelig skiller seg blant nåværende tilbud.

For å fange omfanget av mulige hallucinasjonsatferd, ble en taksonomi fra en tidligere arbeid brukt, med hallucinasjoner kodet av orientering (forvrengning vs. utbrodering); kategori (feiltype); og grad (alvorlighetsgrad vurdert som mild, moderat eller alarmerende).

Alle modell-utdata ble annotert av en menneskelig forfatter, som gjennomgikk hver setning og anvendte disse kodene. Feil som ikke var dekket av taksonomien ble merket som diverse, og senere analysert for å utvikle journalistikk-spesifikke kategorier.

Data og tester

I den innledende testen for hallucinasjonsprevalens, ble 12 av 40 modell-responsene funnet å inneholde minst en hallucinasjon, med merkbar variasjon mellom verktøy. ChatGPT og Gemini produserte hver hallucinasjoner i 40% av deres utdata, mens NotebookLM produserte hallucinasjoner i bare 13% av tilfeller:

Samlet hallucinasjonsrate for hvert verktøy, med Gemini og ChatGPT som produserer den høyeste andelen av svar som inneholder feil. Kilde: https://arxiv.org/pdf/2509.25498

Av disse resultater kommenterte forfatterne:

‘Dette indikerer at, selv om majoriteten av svarene over alle verktøy ikke inneholder hallucinasjoner, har valget av verktøy en innvirkning på det samme dokumentkorpuset og forespørselssettet.’

Hallucinasjoner skjer sjelden i isolasjon, noterer papiret; Gemini hadde i gjennomsnitt fire per feilfylt svar, NotebookLM tre, og ChatGPT 1,5. De fleste var moderate i alvorlighetsgrad, men 14% ble klassifisert som alarmerende. I ett tilfelle oppfant ChatGPT en hevntaktsmotiv bak et TikTok-forbud som ikke fantes i kilde-dokumentet:

‘[I] ett spørsmål rammet ChatGPT et mulig TikTok-forbud som en gjengjeldelsesmessig måte av USAs lovgivere som svar på kinesisk politikk, en påstand som var fullstendig fraværende i det siterte kilde-dokumentet.’

Samlet sett, innførte 64% av hallucinerende svar feilaktige fakta eller tangenter, noe som potensielt kan reise spørsmål om hvorvidt LLM-bruk faktisk sparer tid i denne type informasjonsbasert arbeidsflyt, i alle fall på nåværende state-of-the-art.

I denne innledende testen, skjedde de fleste hallucinasjoner ikke i eksisterende taksonomi-kategorier, ofte involverte de fabrikkerte sitater eller feil akronym-utvidelser, noe som tyder på at nåværende rammeverk kan være for smale for journalistikk-bruk.

NotebookLMs lavere hallucinasjonsrate, observerte forfatterne, tyder på at dets sitat-baserte RAG-system gir mer pålitelig grunnlag enn ChatGPTs Prosjekt-funksjon eller Geminis kontekst-behandling, spesielt når bestemte dokumenter må refereres.

I forhold til studiet av kvalitative egenskaper ved observerte hallucinasjoner i testresultatene, observerte forskerne at hallucinasjoner stammet ikke primært fra oppførte fakta, men fra tolkende overgrep:

‘Modellene la til selvbevisste karakteriseringer om dokumentformål, målgrupper og talemåter som så autoritative ut, men manglet noen basis i den faktiske teksten. De omdannet usikre eller tilskrevne utsagn til endelige påstander.’

Overmot tok to former: først, la modellene til ubesatte påstander om et documents målgruppe eller formål, som å merke en artikkel som ‘skrevet for offentligheten’ eller en rettslig innstilling som ‘rettet mot advokater’.

For det andre, omdannet de tilskrevne meninger til faktalignende utsagn, og skjulte den opprinnelige kilde og undergravde kilde-vurdering.

Disse atferdene dukket opp over alle verktøy og var ikke begrenset til én arkitektur – og de fleste feilene var ikke fabrikkeringer, men heller tolkende overgrep

De fleste hallucinasjoner ble merket som diverse, fordi de ikke passet inn i eksisterende kategorier, og utvisket nøkkel-forskjeller mellom feil-typene. Hyppige problemer som manglende kildeangivelse og vagt kildebeskrivelse antyder at nåværende taksonomier mangler de feil-typene som betyr mest i journalistikk, hvor tydelig kildeangivelse er essensiell.

Forfatterne observerer at ‘Modellene legger til selvbevisste analyser som dokumentene ikke støtter og fjerner avgjørende kildeangivelse.’

Konklusjon

Hverken som helst som har eksperimentert med de tre modellene studert i den nye artikkelen, vil vite at hver av dem har sine svakheter og styrker. Selv om NotebookLM utfører langt bedre på sitat enn både ChatGPT og Gemini, kan en tenke at det ble bygget spesifikt for denne funksjonaliteten, og likevel leverer en feilrate som ville få de fleste journalister, forskere eller advokater sparken, med gjentakende hendelser.

I tillegg mangler NotebookLM, som posisjonerer seg som et forskningsrammeverk, mange av de brukergrensesnitt-forbedringene som gjør de andre to plattformene en enklere skriveopplevelse.

Likevel, ser det ut til at NotebookLM faktisk leser opploaded dokumenter i stedet for å falle inn i ChatGPTs usedvanlig destruktive vane med å anta hva et opploadet dokument kan si, basert på hva det vet om den generelle distribusjonen av lignende dokumenter. Det kan være en oppadkjørende kamp å få noen versjon av ChatGPT til å gjennomføre en fullstendig tekstlesing av opploaded materiale, i stedet for å stole på metadata eller på sine egne antakelser/hallucinasjoner.

For felt hvor proveniens og kildestandarder er kritiske, som loven, journalistikk og vitenskapelig forskning, ser det ut til å være null innfødt-trent fasiliteter i nåværende markedsmestende LLM-er som kan forbedre deres begrensede evne til å nøyaktig trekke ut og håndtere informasjon som brukeren retter dem mot.

Som det står nå, og i påvente av tilleggs-systemer som kan tilby en bedre grensesnitt til LLM-er enn et enkelt system-prompt eller MCP-innstilling, trenger alt disse systemene produserer for disse kritiske sektorene fortsatt å sjekkes av de dyre, ugreie og generelt plagefulle menneskene.

* Google Cloud tilbyr en ganske interessant og grundig gjennomgang av emnet her.

^† Min konversjon av forfatternes inline-citater til lenker.

Først publisert onsdag 1. oktober 2025. Endret torsdag 2. oktober for å korrigere feil i TL; DR og å endre stilistisk feil i første paragraf.