AI hänvisar ofta till webbsidor som det inte ens har läst

Ibland dyker det upp en artikel i dagens forskningsflöde som verkligen får blodet att koka – inte för att den är felaktig eller stötande, utan för att den uppmärksammar och undersöker något som länge har irriterat mig i utkanten av medvetandet, på ett vagt och obestämt sätt (kanske för att jag har varit för upptagen för att göra något annat än att ignorera det).

En sådan artikel publicerades i dag, skriven av tre författare vid Department of Computing på Imperial College London. Det nya arbetet, med titeln Hämtat men inte läst: varför sökförstärkta stora språkmodeller misslyckas med att använda tillgängliga belägg, undersöker varför stora språkmodeller (LLM:er) ofta kastar fram stödjande webbadresser (irrelevanta hänvisningar till forskningsartiklar, länkar till tvivelaktiga webbartiklar och så vidare) utan att ens läsa dem.

Författarna skriver:

”Vi ser att modeller ofta besvarar frågor utifrån sökutdrag utan att öppna källsidorna, vilket hänger samman med en högre andel inaktuella svar och missvisande hänvisningar. Våra kontrollerade experiment och analyser lager för lager visar att det finns ett glapp mellan att belägg finns tillgängliga och att de faktiskt används.

”Även när hämtade belägg påverkar modellernas interna förutsägelser kan de ändå föredra inaktuell information i sina slutliga svar.”

Författarna testade en proprietär stor språkmodell (OpenAI:s GPT-5.6 Luna) och sex konfigurationer av modeller med öppna vikter mot hundratals fakta som hade förändrats sedan modellernas kunskapsgränser för träningsdata.

Därefter undersökte de hur ofta systemen förlitade sig på sökutdrag i stället för att öppna källsidorna, hur detta påverkade svarens och hänvisningarnas korrekthet och varför inaktuell information ibland vägde tyngre även när nyare belägg tillhandahölls direkt.

Tester visade att modeller ofta besvarade frågor utan att öppna någon av sidorna som webbsökningarna visade och att detta beteende hängde samman med betydligt högre andelar inaktuella svar och missvisande hänvisningar:

Testresultat som visar hur ofta AI-modeller hänvisar till webbkällor utan att faktiskt läsa dem. I åtta konfigurationer mätte forskarna svarens korrekthet, hur ofta modellerna förlitade sig på sökutdrag utan att öppna källsidorna och hur ofta hänvisningarna motsade modellernas påståenden. I vissa fall avslutades mer än hälften av sökningarna utan att en enda sida öppnades. Alla värden anges i procent; den första raden bygger på webbsökning i realtid, medan de övriga bygger på standardiserade sökresultat. Källa

Forskarna fann också att det kunde minska dessa misslyckanden avsevärt att tillhandahålla korrekta belägg direkt, även om vissa modeller fortsatte att föredra inaktuell information trots att de fick de nyare faktauppgifterna direkt framför sig.

Dolda motiv?

De två mest uppenbara skälen till att LLM:er ofta slänger fram stödjande dokument som ”låter korrekta” men inte är relevanta är: a) det sparar pengar, eftersom det krävs bandbredd och tid för att ladda ner och läsa ens en sammanfattning av det faktiska materialet, som kanske inte ens finns tillgängligt, och b) det minskar svarstiden, som om det vore bättre att snabbt ge dig ett felaktigt eller delvis felaktigt svar än att vänta en liten stund på ett bättre svar.

Författarna till det nya arbetet är dock mer intresserade av att fastställa de grundläggande mekanismerna bakom denna kvalitetsbrist än av hur den kan ha utformats eller förutbestämts från början.

Inte oväntat har mina erfarenheter hittills av att diskutera stordriftsekonomin för LLM:er med de mest avancerade modellerna lett till vad jag bara kan anta är ett på förhand bestämt defensivt svar.

Det är åtminstone enligt min mening ekonomiskt begripligt att manipulera LLM:ers citeringsbeteende på det här sättet, men tekniken är fortfarande så outforskad, så föränderlig och så benägen att ge egendomliga resultat att det är svårt att bevisa sådana motiv just nu.

Metod

För att testa hur väl modellerna faktiskt använder webbaserade belägg sammanställde forskarna 225 fakta som hade förändrats sedan den 16 februari 2026 – den senaste rapporterade gränsen för träningsdata bland de testade modellerna.

Fakta hämtades från FDA:s läkemedelsinformation (62 fakta), finans (52), sport (47), personer (43), SEC-inlämningar (13) och kemiska klassificeringar (8). Förändringar som redan hade trätt i kraft vid gränsdatumet, eller hade tillkännagetts före den 1 februari, uteslöts – liksom medicinska påståenden som kunde besvaras utifrån allmänkunskap. Även oförändrade fakta användes som kontroller, så att forskarna kunde skilja misslyckanden som gällde ny information från mer allmänna fel.

Som utgångspunkt testades GPT-5.6 Luna utan tillgång till webbsökning och besvarade endast 23,3 % av 103 frågor om de ändrade fakta korrekt.

En ospecificerad AI-modell användes för att skriva om avsnitt ur FDA:s läkemedelsmärkning i den tidigare nämnda datamängden till faktapåståenden som kunde testas var för sig. Därefter granskades vart och ett av dem manuellt*.

De konfigurationer av modeller med öppna vikter som testades var GLM-5.3-Flash från Z.ai, OpenAI:s gpt-oss-120b och gpt-oss-20b, Google DeepMinds gemma-4-31b, som testades både med och utan resonemang, samt Qwens qwen3-8b.

Modellerna med öppna vikter och GPT-5.6 Luna fick samma sökresultat från webben, så att deras svar kunde jämföras på ett rättvist sätt. Luna testades också separat med sin egen inbyggda webbsökning.

För 223 av de 225 faktauppgifterna samlades tio sökresultat in i förväg med hjälp av Brave Search. Alla modeller fick samma resultat och kunde öppna sidor eller söka på dem med identiska verktyg.

Sidan med det ”korrekta” svaret gjordes alltid tillgänglig. Om den förekom naturligt bland de tio främsta resultaten behölls dess placering oförändrad. Annars lades den till i sökresultaten på en placering som hade bestämts i förväg, så att forskarna kunde undersöka hur modellerna använde den tillgängliga evidensen under jämförbara förhållanden.

För att göra testerna mer enhetliga ställdes temperaturen in på noll för de modeller som hade stöd för den inställningen, och varje modell kördes via samma leverantör under hela experimentet.

Promptarnas utformning

Av de två promptar som användes för att testa fakta ställde den första en öppen fråga, till exempel ”Vilken klubb spelar Bernardo Silva för?”, med eller utan en begäran om källa. Den andra bad modellen att verifiera ett påstående som innehöll antingen aktuell eller inaktuell information, så att forskarna kunde jämföra hur de olika versionerna hanterades.

I de sammanlagda resultaten användes ytterligare fyra prompttyper: öppna frågor med ledtrådar, begäran om citat, begäran om en källa som styrker ett angivet påstående och granskning av faktablad, där modellen skulle identifiera ett inaktuellt påstående bland flera korrekta.

Exempel på de faktiska promptar som användes för att testa modellerna, baserade på frågor och påståenden om fotbollsspelaren Bernardo Silva. Tabellen visar hur samma sakfråga presenterades genom olika begäranden om svar, verifiering, citat och källhänvisningar. Alla promptar inleddes med datumet 8 augusti 2026, och de flesta krävde ett standardiserat slutsvar enligt de bokstavsmärkta instruktionerna under tabellen.

Varje prompt angav ett datum, och de flesta krävde svar i ett fast format som tillät svaret ”KAN INTE VERIFIERAS”, vilket gjorde det möjligt att bedöma resultaten utan att behöva låta människor eller språkmodeller avgöra dem.

De mått som användes var läsdjup (om källsidor öppnades och citerades), svarens korrekthet (andelen korrekta svar, exklusive avståenden) och källhänvisningarnas trohet (om de citerade sidorna motsade modellens påståenden).

Bedömningen automatiserades när det var möjligt. En ospecificerad språkmodell fick godkänna källhänvisningar endast när de styrktes av ett exakt textavsnitt från den arkiverade sidan. Negativa bedömningar som krävde tolkning överläts till mänskliga granskare, och oförändrade kontrollfakta användes för att fastställa varje modells grundnivå för felaktiga källhänvisningar.

Resultat

I de inledande testerna (som visades i början av den här artikeln) förbättrade tillgång till webbsökning modellernas förmåga att besvara frågor korrekt. När de skulle kontrollera om faktapåståenden stämde ökade deras resultat med 27–42 procentenheter. När de besvarade frågor direkt var svaren korrekta i 85,8–95,4 % av fallen.

Många svar gavs dock utan att modellerna faktiskt besökte webbplatserna som sökningarna ledde till. I stället förlitade de sig på de korta textutdragen som visades intill sökresultaten. Även när modellerna fick samma sökresultat varierade andelen sökningar där ingen sida öppnades från 2,6 % till 76 %, beroende på modell.

I det här avseendet presterade GPT-5.6 Luna särskilt ansträngningslöst:

”Med samma sökresultat besvarar modellerna 2,6–76,0 % av fallen utan att öppna någon sida. Med sin egen inbyggda sökning besvarar Luna 53,6 % av fallen enbart utifrån utdrag.”

Testresultat som jämför inaktuella svar och missvisande hänvisningar utifrån hur grundligt modellerna granskade sökresultaten. Utdrag innebär att ingen webbsida öppnades; Öppnad innebär att en sida öppnades men inte citerades; Integr. innebär att en öppnad sida citerades. Alla siffror är procenttal sammanräknade över sju modellkonfigurationer och alla prompttyper. Fel var generellt vanligare när modellerna enbart förlitade sig på sökutdrag.

I de sju modellkonfigurationerna var 6,4 % av svaren som enbart byggde på sökutdrag inaktuella, jämfört med 1,3 % när öppnade sidor citerades. Missvisande hänvisningar var också vanligare, 6,4 % jämfört med 2,3 %, som visas ovan. För sportfrågor uppgick andelen inaktuella svar bland modeller med öppna vikter till 20,2 %, jämfört med 2,1 %. När svaren var inaktuella motsade 81,8 % av hänvisningarna som stödde påståendena dem, jämfört med endast 0,9 % för aktuella svar. Liknande mönster syntes i faktabladstester.

I praktiken innebär detta att de AI-modeller som undersöktes oftare ger felaktiga svar när de förlitar sig på de korta beskrivningarna i sökresultaten i stället för att läsa de faktiska webbsidorna. Än värre är att de ibland länkar till sidor som visar att deras svar är fel.

Gemensamt misslyckande

Om inte urvalet som användes i de här testerna består av ”kollektiva extremvärden” verkar det rimligt att anta att även andra modeller, både slutna och med öppen källkod, påverkas av detta syndrom. Av de nio typer av fel som observerades i GPT-5.6 Lunas direktsökningar på webben var faktiskt sju tydligt förknippade med fel i tester av andra modeller med samma fasta sökresultat, vilket tyder på att problemen inte var begränsade till Luna.

När rätt Wikipedia-sida visades direkt minskade antalet inaktuella svar: felen sjönk från 14 till noll för gemma-4-31b, från 11 till ett för gpt-oss-20b och från 16 till åtta för qwen3-8b. Att upprepa den ursprungliga frågan efter varje öppnad sida rättade också till 26,1 % av de faktabladskontroller som tidigare hade misslyckats.

Resultat som visar hur ofta gemma-4-31b, gpt-oss-20b och qwen3-8b godtog inaktuella påståenden under olika förhållanden. Samma belägg undanhölls, gavs direkt i prompten eller gjordes tillgängliga via sökresultat; i separata tester ombads modellerna att ange källor som stöd. Att visa rätt sida direkt var betydligt effektivare än att kräva att modellerna skulle hitta den själva. Siffrorna visar antalet misslyckanden i förhållande till det totala antalet tester.

Klubbregler

Slutligen testade forskarna tre modeller med öppna vikter på fotbollsspelare som hade bytt klubb, för att bättre förstå varför AI ibland ignorerar korrekt information: gpt-oss-20b, gemma-4-31b och qwen3-8b.

Varje modell fick inaktuell information om en spelares klubb, ibland tillsammans med den korrekta Wikipedia-sidan. Forskarna undersökte sedan vilket svar modellen föredrog under bearbetningen.

Resultaten visade att modellerna kunde känna igen den rätta klubben – men ändå ge fel svar:

Testresultat som visar hur qwen3-8b vägde den rätta och den inaktuella fotbollsklubben när ett svar formulerades. Diagrammet till vänster visar lyckade svar, där den rätta klubben behöll ledningen; diagrammet till höger visar misslyckanden, där den inaktuella klubben gick om den rätta i de sista bearbetningsstegen. De skuggade områdena visar variationen mellan testerna.

I qwen3-8b tog den rätta klubben ibland ledningen internt, innan den inaktuella klubben gick om den strax innan svaret formulerades (se ovan). Ett liknande mönster syntes i gpt-oss-20b, medan gemma-4-31b i allmänhet föredrog den ”inaktuella” klubben genom hela processen.

Det verkar alltså som att även när korrekta belägg finns tillgängliga och känns igen kan inaktuell information ändå väga tyngre i det slutliga svaret.

Sammanfattningsvis menar författarna att modellerna behöver använda de webbsidor de hämtar bättre, i stället för att förlita sig på sökutdrag. De hoppas också få reda på varför modeller ibland håller fast vid inaktuell information trots att de har rätt svar, och om förändringar i hur modellerna bearbetar information skulle kunna hjälpa. Någon definitiv lösning föreslås dock inte.

Slutsats

Den nya artikeln ger visserligen några värdefulla insikter, men förklarar inte varför LLM:er så lättvindigt använder citat och hänvisningar. Som konsument och någon som själv är ganska bra på att analysera mönster får jag intrycket att de LLM:er jag använder rekommenderar artiklar eller webbadresser för att de rekommenderas av andra … rekommenderade webbplatser …? Varifrån kommer då egentligen känslan av auktoritet?

Ärligt talat var detta inte ett problem vi kunde lösa ens i världen före AI, så det är kanske inte förvånande om det skulle visa sig att LLM:er varken sparar pengar eller minskar fördröjningen, utan bara sprider vidare samma kinesiska rykten som vi nöjer oss med att betrakta som ”sanning”.

* Artikeln anger inte vem som genomförde dessa granskningar.

Först publicerad fredag 16 oktober 2026