ChatGPT-5 och Gemini 2.5 hallucinerar i 40% av testade nyhetsfrågor

En ny studie visar att ChatGPT-5 och Google Gemini producerar hallucinationer i 40% av nyhetsliknande frågor, ofta uppfunna självsäkra påståenden utan stöd i verifiable fakta. Google’s NotebookLM fungerar bättre med endast 13% – en frekvens som ändå skulle få vilken journalist som helst i världen avskedad. Studien fann att modellerna ofta förvanskade källor genom att omvandla åsikter till fakta och genom att ta bort attribuering, vilket gör dem riskfyllda verktyg för journalistik. Författarna kräver bättre, dedikerade verktyg för dessa uppgifter.

Stora språkmodeller har sett en snabb tillämpning inom journalistik på senare tid, i arbetsmiljöer som ändå har varit kostnadsbesparande, budget- och personalminskande sedan digital journalistik kollapsade två århundraden av tradition i en oföränderlig process som började i början av 2000-talet.

I själva verket var terrängen redan mogen, eftersom mediehusen hade blivit vana vid att skära jobb genom “innovation” sedan åtminstone den turbulent introduktionen av digital typsättning på 1980-talet, samt tidigare utmaningar från radiots och televisionen.

AI:s obevekliga väg in i redaktioner och mediehus har inte varit utan bakslag, dock; i en kontext där 55% av företagen nu ångrar sig för att ha ersatt människor med AI, och där Gartner förutspår att organisationer kommer att skära ner sin AI-användning kraftigt inom två år, har ett antal nyhetsorganisationer återanställt journalister som ersatts av AI, eftersom de allvarliga och ofta generande bristerna i maskinlärningsalternativen blev uppenbara.

Fel är inte bara mänskligt

Även om hallucinationer har visat sig vara ett stort problem för områden där exakt citat är väsentligt (med betydande offentlig uppmärksamhet för AI-misslyckanden inom rättsväsendet, forskning och journalistiken), visar en ny amerikansk studie att maskinlärning inom journalistik står inför bredare utmaningar än väntat.

Författarnas forskning utvärderade ChatGPT, Google Gemini och den mer citatfokuserade NotebookLM på en rapporteringsliknande uppgift: att använda en 300-dokumentsamling fokuserad på TikTok-litigation och policy i USA.

Forskarna varierade frågeprecision och antalet dokument som tillhandahölls, och analyserade sedan resultaten med hjälp av en taxonomi utformad för att fånga typen och allvarlighetsgraden av hallucinationer.

Över alla utdata innehöll 30% minst en hallucination, medan ChatGPT och Gemini vardera visade en 40%-hallucinationsfrekvens – lite över tre gånger högre än NotebookLM:s 13%-felgrad.

I stället för att uppfinna fakta eller entiteter, noterar forskarna att modellerna ofta visade tolkningsmässig överkonfidens, genom att lägga till ostödda karakteriseringar och omvandla attribuerade åsikter till allmänna uttalanden:

‘Kvalitativt sett var de flesta felen inte invektionsentiteter eller siffror; i stället observerade vi tolkningsmässig överkonfidens – modellerna lade till ostödda karakteriseringar av källor och omvandlade attribuerade åsikter till allmänna uttalanden.

‘Dessa mönster avslöjar en grundläggande epistemologisk missmatch: Medan journalistik kräver explicit källhänvisning för varje påstående, genererar LLM auktoritativa ljudande texter oavsett bevisstöd.

‘Vi föreslår journalistiska tillägg till befintliga hallucinationstaxonomier och hävdar att effektiva redaktionsverktyg behöver arkitekturer som tvingar korrekt attribuering snarare än att optimera för flyt.

Den nya studien, en fascinerande men kort läsning på fem sidor, har titeln Fel, men inte sant: LLM-överkonfidens i dokumentbaserade frågor och kommer från tre forskare vid Northwestern University och University of Minnesota.

Teori och metod

Den exakta orsaken till hallucinationer* är omtvistad vid olika tillfällen; även om nästan alla teorier är överens om att datakvalitet och/eller distributioner är en bidragande faktor vid träningsfasen, har det även föreslagits att 100% av LLM-utdata i princip är hallucinationer (utom att vissa av dessa hallucinationer råkar sammanfalla med verkligheten).

Författarna observerar^†:

‘Från ett tekniskt perspektiv uppstår hallucinationer från LLM:s förmåga att generera text som följer vanliga mönster utan att ha en förståelse för vad som är sant. Denna egenskap resulterar i trovärdiga ljudande svar som inte återspeglar verkligheten – till exempel LLM-fabricerad rättspraxis som hamnar i argument.

‘Och medan LLM-förmågor har ökat dramatiskt under de senaste fem åren, kvarstår hallucinationer som ett problem, i vissa fall till och med ökar när modellerna blir mer kapabla.’

Forskningssektorn, noterar artikeln, har utforskat ett antal sätt att minska eller bättre förstå LLM-hallucinationer, som tenderar att falla in i tre huvudsakliga områden: först, i sammanhang, kan modeller grundas i externa källor som databaser, dokumentssamlingar eller webbinnehåll för att stödja sina påståenden.

Detta fungerar bra när materialet är tillförlitligt och komplett, men luckor, föråldrad information eller dålig kvalitet på data orsakar fortfarande fel; och modellerna har också en vana att göra självsäkra uttalanden som går utöver vad källorna faktiskt säger.

Andra, promptning och avkodning, hänvisar till användningen av omsorgsfulla instruktioner för att vägleda modellerna. Detta kan innefatta att be modellerna att kontrollera sin bevisning, bryta upp uppgifter i mindre steg eller att följa strängare format. Ibland dirigeras modellerna till att granska sitt eget arbete eller jämföra flera svar.

Dessa tekniker kan upptäcka misstag, men de ökar också kostnaderna, och de misslyckas ofta med att upptäcka subtila fel; därför faller en stor del av verifieringsbördan fortfarande på användaren.

Tredje, modeller och verktyg, hänvisar till att ge LLM tillgång till resurser som kan stödja verifiering, såsom sökmotorer eller kalkylatorer – även om noggrannhet också kan förbättras när modellerna tränas på välkällade data eller när citatfunktioner byggs in.

Men dessa åtgärder är inte perfekta, och de förlitar sig fortfarande på kvaliteten på källorna, tydligheten i riktlinjerna och mänsklig tillsyn för att förhindra att falsk information sprids.

Tik Tok

För att ta reda på vilka metoder som kan vara användbara för journalister, genomförde studien utvärderingar som designades för att återspegla verkliga redaktionsflöden och standarder, med hallucination undersökt i sammanhanget med typiska rapporteringsuppgifter.

Frontier-modeller testades med vanliga promptstrategier och dokumentbaserade installationer, så att både frekvensen och typen av hallucinationsfel kunde mätas – tillsammans med vad dessa fel faktiskt betyder för integrationen av AI i redaktioner.

Analysen fokuserade på den typ av dokumentbaserad fråga som är typisk för forskningsbaserad och undersökande journalistik. Författarna sökte curera en samling som avsåg att återspegla ett typiskt mindre till medelstort redaktionsprojekt, men som ändå skulle vara tillräckligt stor för att fånga komplexiteten i verklig rapportering; till detta ändamål valde de den pågående rättsliga insatsen för att förbjuda TikTok i USA.

Dokument samlades in från Washington Post, New York Times, ProQuest och Westlaw, vilket resulterade i en 300-dokumentsamling som bestod av fem akademiska artiklar, 150 nyhetsartiklar och 145 rättsliga handlingar (med den fullständiga samlingen tillgänglig för akademiska forskare på begäran via projektets repository).

Eftersom LLM-svar är starkt beroende av hur en prompt är formulerad och hur mycket sammanhang som tillhandahålls, designade författarna fem frågor som sträckte sig från mycket breda till mycket specifika – från allmänna frågor om TikTok-förbud till detaljerade prompter som sökte vittnesmål från specifika rättsfall.

Antalet dokument som gavs till varje modell varierades vid 10, 100 – eller alla 300, från den fullständiga samlingen, med två nyckeldokument inkluderade i varje prov, för att säkerställa konsekvens. Femton svar genererades för varje modell, utom för ChatGPT, som var begränsad till tio svar.

Utmänning

Tre verktyg testades, var och en representerande en annan tillvägagångssätt för dokumentbaserad fråga: ChatGPT-5 utvärderades med hjälp av Projects-funktionen, som begränsade uppladdningar till 100 dokument; Google Gemini 2.5 Pro kunde bearbeta den fullständiga 300-dokumentsamlingen i sammanhang (med hjälp av sin en miljon token kontextfönster för att direkt mata in alla 923 000 token); Google NotebookLM, som erbjuder inbyggd citatåterställning, testades med hjälp av dedikerade anteckningsböcker för varje prov.

Medan dessa dokumenthanteringsmetoder skiljer sig åt, representerar alla tre verkliga verktyg som för närvarande är tillgängliga för journalister; och i vilket fall som helst är state-of-the-art för närvarande mer experimentell än homogen, med funktionell paritet och omfattning som oundvikligen skiljer sig mellan nuvarande erbjudanden.

För att fånga omfattningen av möjliga hallucinationsbeteenden, användes en taxonomi från ett tidigare arbete 2023, med hallucinationer kodade av orientering (förvanskning vs. utvidgning); kategori (typ av fel); och grad (allvarlighetsgrad betygsatt som mild, moderat eller alarm).

Alla modellutdata annoterades av en mänsklig författare, som granskade varje mening och tillämpade dessa koder. Fel som inte omfattades av taxonomin markerades som diverse och analyserades senare för att utveckla journalistiska kategorier.

Data och tester

I den initiala testen för hallucinationsfrekvens fanns 12 av 40 modellsvar som innehöll minst en hallucination, med betydande variation mellan verktygen. ChatGPT och Gemini producerade hallucinationer i 40% av sina utdata, medan NotebookLM producerade hallucinationer i endast 13% av fallen:

Sammanlagda hallucinationsfrekvenser för varje verktyg, med Gemini och ChatGPT som producerar den högsta andelen svar som innehåller fel. Källa: https://arxiv.org/pdf/2509.25498

Av dessa resultat kommenterar författarna:

‘Detta indikerar att, medan majoriteten av svaren över alla verktyg inte innehåller hallucinationer, valet av verktyg gör en skillnad för samma dokumentkorpus och frågesätt.’

Hallucinationer förekommer sällan i isolering, noterar artikeln; Gemini genomsnittligt fyra per felaktigt svar, NotebookLM tre och ChatGPT 1,5. De flesta var måttliga i allvarlighetsgrad, men 14% klassificerades som alarm. I ett fall uppfunnit ChatGPT en motiverad anledning till ett TikTok-förbud som inte förekom i källan:

‘[I] en fråga framställde ChatGPT ett möjligt TikTok-förbud som en återgäldande åtgärd av amerikanska lagstiftare som svar på kinesisk politik, ett påstående som helt saknades i den citerade källtexten.’

Sammanlagt introducerade 64% av hallucinerande svar faktamässiga fel eller tangenter, vilket potentiellt väcker frågor om huruvida LLM-användning verkligen sparar tid i detta slag av informationsbaserat arbetsflöde, åtminstone i nuvarande state-of-the-art.

I denna initiala test var de flesta hallucinationer inte täckta av befintliga taxonomikategorier, ofta innehållande fabricerade citat eller felaktiga akronymutvidgningar, vilket tyder på att nuvarande ramverk kan vara för snäva för journalistiska användningsfall.

NotebookLM:s lägre hallucinationsfrekvens, observerar författarna, tyder på att dess citatbaserade RAG-system erbjuder en mer tillförlitlig grundning än ChatGPT:s Projects-funktion eller Gemini:s kontextuell bearbetning, särskilt när specifika dokument måste hänvisas till.

I fråga om studiet av kvalitativa egenskaper hos observerade hallucinationer i testresultaten, observerar forskarna att hallucinationer inte i första hand berodde på uppfunna fakta, utan snarare på tolkningsoverskridande:

‘Modellerna lade till självsäkra karakteriseringar om ett documents syfte, målgrupp och talarens avsikt som tycktes auktoritativa men saknade grund i den faktiska texten. De omvandlade tveksamma eller attribuerade uttalanden till definitiva påståenden.’

Överkonfidens tog två former: först, modellerna lade till ostödda påståenden om ett documents målgrupp eller syfte, såsom att beteckna en artikel som ‘skriven för allmänheten’ eller en rättslig handling som ‘riktad till advokater’.

Andra, de omvandlade attribuerade åsikter till faktaliknande uttalanden, och doldes den ursprungliga källan och undergrävde källutvärderingen.

De här beteendena förekom över alla verktyg och var inte begränsade till en arkitektur – och de flesta felen var inte fabriceringar, utan snarare övertolkningar.

De flesta hallucinationer klassificerades som diverse, eftersom de inte passade in i befintliga kategorier, och suddade ut viktiga skillnader mellan felformer. Frekventa problem som saknad attribuering och otydliga källbeskrivningar tyder på att nuvarande taxonomier missar de typer av fel som är viktigast i journalistik, där tydlig källhänvisning är avgörande.

Författarna observerar att ‘Modellerna lägger till självsäkra analyser som dokumenten inte stöder och tar bort avgörande attribuering.’

Slutsats

Vem som helst som har experimenterat med de tre modellerna som studeras i den nya artikeln vet att var och en har sina svagheter och styrkor. Även om NotebookLM presterar avsevärt bättre på citat än antingen ChatGPT eller Gemini, kan man överväga att det byggdes specifikt för denna funktion, och fortfarande levererar en felgrad som skulle få de flesta journalister, forskare eller advokater avskedade, med upprepade incidenter.

Dessutom, NotebookLM, som positionerar sig som ett forskningsramverk, saknar många av de användargränssnittsfinesser som gör de andra två plattformarna en enklare skrivupplevelse.

Men åtminstone verkar NotebookLM faktiskt läsa de uppladdade dokumenten, i stället för att falla in i ChatGPT:s extremt destruktiva vanföreställning om att gissa vad ett uppladdat dokument kan säga, baserat på vad den vet om den allmänna distributionen av liknande dokument. Det kan vara en uppförsbacke att få någon version av ChatGPT att göra en fullständig läsning av uppladdat material, i stället för att förlita sig på metadata eller sina egna antaganden/hallucinationer.

För områden där proveniens och citatstandarder är avgörande, såsom lag, journalistik och vetenskaplig forskning, tycks det finnas noll naturligt tränade anläggningar i nuvarande marknadsledande LLM som kan förbättra deras begränsade förmåga att exakt extrahera och hantera information som användaren riktar dem till.

Som det är, och i avvaktan på ankomsten av hjälpverktyg som kan erbjuda en bättre gränssnitt till LLM än en enkel systemprompt eller MCP-inställning, allt som dessa system producerar för dessa kritiska sektorer behöver fortfarande kontrolleras av de dyra, besvärliga och allmänt besvärliga människor.

* Google Cloud erbjuder en ganska intressant och omfattande genomgång av ämnet här.

^† Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad onsdag, 1 oktober 2025. Ändrad torsdag, 2 oktober, för att korrigera fel i TL:DR och ändra stilistiskt fel i första meningen.