KI viser ofte til nettsider den ikke engang har lest

Noen ganger dukker det opp en artikkel i dagens forskningsstrøm som virkelig får blodet mitt til å koke – ikke fordi den er unøyaktig eller støtende, men fordi den legger merke til og undersøker noe som lenge har irritert meg i utkanten av bevisstheten, på en vag og uspesifikk måte (kanskje fordi jeg har vært for opptatt til å gjøre annet enn å ignorere det).

En slik artikkel ble publisert i dag, skrevet av tre forskere ved Institutt for databehandling ved Imperial College London. Den nye studien, med tittelen Hentet, men ikke lest: Forstå hvorfor søkeforsterkede store språkmodeller ikke bruker tilgjengelige bevis, undersøker hvorfor store språkmodeller (LLM-er) så ofte serverer deg støttende URL-er (irrelevante artikkelsitater, lenker til tvilsomme nettartikler og lignende) uten engang å lese dem.

Forfatterne skriver:

‘Vi finner at modeller ofte svarer ut fra søkeutdrag uten å åpne kildesidene, noe som henger sammen med flere utdaterte svar og mindre pålitelige kildehenvisninger. De kontrollerte eksperimentene våre og analysen av de enkelte lagene avdekker et gap mellom tilgangen på bevis og den faktiske bruken av dem.

‘Selv når hentede bevis påvirker modellens interne prediksjoner, kan den likevel foretrekke utdatert informasjon i det endelige svaret.’

Forfatterne testet én proprietær stor språkmodell (OpenAIs GPT-5.6 Luna) og seks konfigurasjoner av modeller med åpne vekter, mot hundrevis av faktaopplysninger som hadde endret seg siden modellenes kunnskapsgrenser for trening.

Deretter undersøkte de hvor ofte systemene baserte seg på søkeutdrag i stedet for å åpne kildesidene, hvordan dette påvirket nøyaktigheten i svarene og kildehenvisningene, og hvorfor utdatert informasjon noen ganger fikk forrang selv når nyere bevis ble lagt fram direkte.

Testene viste at modellene ofte svarte på spørsmål uten å åpne noen av sidene som ble vist i nettsøkene, og at denne atferden hang sammen med betydelig flere utdaterte svar og villedende kildehenvisninger:

Testresultater som viser hvor ofte KI-modeller viser til nettkilder uten faktisk å lese dem. På tvers av åtte konfigurasjoner målte forskerne svarenes nøyaktighet, hvor ofte modellene baserte seg på søkeutdrag uten å åpne kildesidene, og hvor ofte kildehenvisningene motsa modellenes påstander. I noen tilfeller endte mer enn halvparten av søkene uten at én eneste side ble åpnet. Alle tallene er prosentandeler; den første raden viser resultater med direktesøk på nettet, mens de øvrige bruker standardiserte søkeresultater. Kilde

Forskerne fant også at det å gi modellene de riktige bevisene direkte kunne redusere disse feilene betydelig, selv om enkelte modeller fortsatt foretrakk utdatert informasjon, også når de nyere faktaopplysningene ble lagt rett foran dem.

Skjulte motiver?

De to mest åpenbare grunnene til at LLM-er så ofte sender oss dokumenter som virker «riktige», men som ikke passer, er a) at det sparer penger, fordi det koster båndbredde og tid å laste ned og lese selv et sammendrag av originalmaterialet, som kanskje ikke engang er tilgjengelig, og b) at det reduserer forsinkelsen, som om det er bedre å gi deg et feil eller delvis feil svar raskt enn å vente litt på et bedre svar.

Forfatterne av den nye studien er imidlertid mer opptatt av å fastslå de grunnleggende mekanismene bak denne kvalitetsmangelen enn av hvordan den kan ha blitt utformet eller forhåndsbestemt fra starten av.

Ikke overraskende har erfaringen min så langt med å diskutere stordriftsøkonomien til LLM-er med de mest avanserte modellene ført til det jeg bare kan anta er et forhåndsbestemt defensivt svar.

Den økonomiske logikken i å manipulere LLM-enes kildehenvisninger på denne måten gir mening, i hvert fall for meg. Men teknologiene er fortsatt så lite kartlagt, i så rask endring og så tilbøyelige til å gi uventede resultater at det er vanskelig å bevise slike motiver nå.

Metode

For å teste hvor godt modellene faktisk bruker nettbaserte bevis, samlet forskerne 225 faktaopplysninger som hadde endret seg siden 16. februar 2026 – den seneste rapporterte kunnskapsgrensen for trening blant modellene som ble testet.

Faktaopplysningene kom fra legemiddelinformasjon fra FDA (62 faktaopplysninger), finans (52), sport (47), personer (43), SEC-innrapporteringer (13) og kjemiske klassifiseringer (8). Endringer som allerede hadde trådt i kraft innen kunnskapsgrensen, eller var kunngjort før 1. februar, ble utelatt – det samme gjaldt medisinske påstander som kunne besvares ut fra allmennkunnskap. Uendrede faktaopplysninger ble også brukt som kontrollgrunnlag, slik at forskerne kunne skille feil knyttet til ny informasjon fra mer generelle feil.

For å etablere et utgangspunkt ble GPT-5.6 Luna testet uten tilgang til nettsøk og svarte riktig på bare 23,3 % av 103 spørsmål om de endrede faktaene.

En uspesifisert AI-modell ble brukt til å omskrive avsnitt fra FDAs legemiddeletiketter i det ovennevnte datasettet til enkeltstående, testbare faktapåstander. Hver påstand ble deretter gjennomgått manuelt*.

Konfigurasjonene av modellene med åpne vekter som ble testet, var GLM-5.3-Flash fra Z.ai, gpt-oss-120b og gpt-oss-20b fra OpenAI, gemma-4-31b fra Google DeepMind, testet både med og uten resonnering, og qwen3-8b fra Qwen.

Modellene med åpne vekter og GPT-5.6 Luna fikk de samme søkeresultatene, slik at svarene deres kunne sammenlignes på rettferdig vis. Luna ble også testet separat med sitt eget innebygde nettsøk.

For 223 av de 225 faktaene ble ti søkeresultater samlet inn på forhånd ved hjelp av Brave Search. Alle modellene fikk de samme resultatene og kunne åpne sider eller søke på dem med identiske verktøy.

Siden med det «riktige» svaret ble alltid gjort tilgjengelig. Hvis den dukket opp blant de ti øverste resultatene på naturlig vis, ble plasseringen beholdt. Ellers ble den lagt inn blant resultatene på en plassering som var bestemt på forhånd. Dette gjorde det mulig for forskerne å undersøke hvordan modellene brukte de tilgjengelige bevisene under sammenlignbare forhold.

For å gjøre testene mer konsistente ble temperaturen satt til null for modellene som støttet denne innstillingen, og hver modell ble kjørt gjennom samme leverandør gjennom hele forsøket.

Promptenes utforming

Av de to promptene som ble brukt til å teste faktaene, stilte den første et åpent spørsmål, for eksempel «Hvilken klubb spiller Bernardo Silva for?» – enten med eller uten en forespørsel om en kilde. Den andre ba modellen verifisere en påstand som inneholdt enten den gjeldende eller utdaterte informasjonen, slik at forskerne kunne sammenligne hvordan hver versjon ble behandlet.

I de samlede resultatene ble fire ytterligere prompttyper brukt: åpne spørsmål med ledetråder, forespørsler om sitater, forespørsler om en kildehenvisning som underbygger en oppgitt påstand og kontroller av faktablader, der modellen skulle identifisere én utdatert påstand blant flere riktige.

Eksempler på de faktiske promptene som ble brukt til å teste modellene, basert på spørsmål og påstander om fotballspilleren Bernardo Silva. Tabellen viser hvordan det samme faktaspørsmålet ble presentert gjennom ulike forespørsler om svar, verifisering, sitater og kildehenvisninger. Alle promptene begynte med datoen 8. august 2026, og de fleste krevde et standardisert sluttsvar, angitt med de bokstavmerkede instruksjonene under tabellen.

Alle promptene oppga en dato, og de fleste krevde svar i et fast format som tillot et svar av typen «KAN IKKE VERIFISERE», slik at resultatene kunne vurderes uten behov for avgjørelser fra mennesker eller språkmodeller.

Måleparameterne var lesedybde (om kildesider ble åpnet og sitert), svarnøyaktighet (andelen riktige svar, utenom avståelser) og kildetrofasthet (om sidene som ble sitert, motsa modellens påstander).

Vurderingen ble automatisert der det var mulig. En (uspesifisert) LLM kunne godkjenne kildehenvisninger bare når de ble underbygd av et nøyaktig utdrag fra den arkiverte siden. Negative vurderinger som krevde tolkning, ble overlatt til menneskelige granskere, og uendrede kontrollfakta ble brukt til å fastslå hver modells grunnleggende feilrate for kildehenvisninger.

Resultater

I de innledende testene (som vist i begynnelsen av denne artikkelen) forbedret tilgang til nettsøk modellenes evne til å svare riktig på spørsmål. Når de skulle kontrollere om faktapåstander stemte, økte resultatene med 27–42 prosentpoeng. Når de svarte direkte på spørsmål, var svarene riktige i 85,8–95,4 % av tilfellene.

Mange svar ble imidlertid produsert uten at modellene faktisk besøkte nettstedene søkeresultatene viste til. I stedet baserte de seg på de korte tekstutdragene som vises ved siden av søkeresultatene. Selv når de fikk de samme søkeresultatene, varierte andelen søk der ingen side ble åpnet, fra 2,6 % til 76 %, avhengig av modellen.

I denne sammenhengen presterte GPT-5.6 Luna særlig lite arbeidskrevende:

«Når modellene får de samme søkeresultatene, svarer de i 2,6–76,0 % av tilfellene uten å åpne noen sider. Med sitt innebygde søk svarer Luna i 53,6 % av tilfellene kun ut fra utdragene.»

Testresultater som sammenligner utdaterte svar og misvisende kildehenvisninger ut fra hvor grundig modellene undersøkte søkeresultatene. Utdrag betyr at ingen nettside ble åpnet, «Åpnet» betyr at en side ble åpnet, men ikke sitert, og Integrert betyr at en åpnet side ble sitert. Alle tallene er prosentandeler samlet på tvers av sju modellkonfigurasjoner og alle prompttyper. Feil var generelt vanligere når modellene kun baserte seg på utdrag fra søkeresultater.

På tvers av sju modellkonfigurasjoner var 6,4 % av svarene som kun bygde på utdrag, utdaterte, mot 1,3 % når åpnete sider ble sitert. Misvisende kildehenvisninger var også vanligere, med 6,4 % mot 2,3 %, som vist ovenfor. For spørsmål om sport nådde andelen utdaterte svar blant modeller med åpne vekter 20,2 %, mot 2,1 %. Når svarene var utdaterte, motsa 81,8 % av kildehenvisningene som støttet påstandene, påstandene, mot bare 0,9 % for oppdaterte svar. Lignende mønstre kom fram i faktabladtestene.

I praksis betyr dette at AI-modellene som ble undersøkt, oftere gir feil svar når de baserer seg på de korte beskrivelsene i søkeresultatene, i stedet for å lese de faktiske nettsidene. Enda verre er det at de noen ganger lenker til sider som viser at svarene deres er feil.

Felles svikt

Med mindre utvalget som ble brukt i disse testene, er «kollektive avvikere», virker det rimelig å anta at også andre modeller, enten de er lukkede eller åpen kildekode, er rammet av dette syndromet. Av de ni typene svikt som ble observert i GPT-5.6 Lunas direktesøk på nettet, var sju betydelig forbundet med svikt i tester av andre modeller med de samme faste søkeresultatene. Det tyder på at problemene ikke var begrenset til Luna.

Når den riktige Wikipedia-siden ble gitt direkte, ble antallet utdaterte svar redusert: fra 14 til null for gemma-4-31b, fra 11 til én for gpt-oss-20b og fra 16 til åtte for qwen3-8b. Å gjenta det opprinnelige spørsmålet etter hver åpnete side korrigerte også 26,1 % av de faktabladkontrollene som tidligere hadde gitt feil.

Resultater som viser hvor ofte gemma-4-31b, gpt-oss-20b og qwen3-8b godtok utdaterte påstander under ulike forhold. Den samme dokumentasjonen ble enten holdt tilbake, gitt direkte i prompten eller gjort tilgjengelig gjennom søkeresultater. I separate tester ble modellene bedt om å oppgi kilder som støttet svarene. Det var langt mer effektivt å gi dem den riktige siden direkte enn å be dem finne den selv. Tallene viser antall feil i forhold til det totale antallet tester.

Klubbskifter

For å forstå bedre hvorfor AI noen ganger overser korrekt informasjon, testet forskerne til slutt tre modeller med åpne vekter på fotballspillere som hadde byttet klubb: gpt-oss-20b, gemma-4-31b og qwen3-8b.

Hver modell fikk utdatert informasjon om hvilken klubb en spiller tilhørte, noen ganger sammen med den riktige Wikipedia-siden. Deretter undersøkte forskerne hvilket svar modellen foretrakk under behandlingen.

Resultatene viste at modellene kunne gjenkjenne den riktige klubben – men likevel ga feil svar:

Testresultater som viser hvordan qwen3-8b vektet de riktige og utdaterte klubbene mens den utarbeidet et svar. Diagrammet til venstre viser vellykkede svar, der den riktige klubben beholdt ledelsen. Diagrammet til høyre viser feil, der den utdaterte klubben passerte den riktige i de siste behandlingsfasene. De skraverte områdene viser variasjonen mellom testene.

I qwen3-8b tok den riktige klubben noen ganger ledelsen internt, før den utdaterte klubben passerte den like før svaret ble produsert (se ovenfor). Et lignende mønster viste seg i gpt-oss-20b, mens gemma-4-31b stort sett foretrakk den «utdaterte» klubben hele veien.

Det ser altså ut til at selv når korrekt dokumentasjon er tilgjengelig og blir gjenkjent, kan den likevel bli fortrengt av utdatert informasjon i det endelige svaret.

Avslutningsvis foreslår forfatterne at modellene må utnytte nettsidene de henter bedre, i stedet for å støtte seg på utdrag fra søkeresultater. De håper også å finne ut hvorfor modeller iblant holder fast ved utdatert informasjon til tross for at de har det riktige svaret, og om endringer i hvordan modellene behandler informasjon, kan hjelpe. Men det foreslås ingen endelig løsning.

Konklusjon

Selv om den nye artikkelen gir noen verdifulle innsikter, forklarer den ikke hvorfor LLM-er bruker sitater og referanser så skjødesløst. Som forbruker og en rimelig god analytiker av mønstre på egen hånd får jeg inntrykk av at LLM-ene jeg bruker anbefaler artikler eller URL-er fordi de anbefales av andre … anbefalte nettsteder …? Så hvor kommer egentlig følelsen av autoritet fra?

Sannheten er at dette ikke er et problem vi klarte å løse, selv ikke i tiden før AI, så det er kanskje ikke overraskende om det skulle vise seg at LLM-er verken sparer penger eller reduserer forsinkelsen, men bare videreformidler de samme kinesiske ryktene som vi overbeviser oss selv om er «sannheten».

* Artikkelen oppgir ikke hvem som gjennomførte disse gjennomgangene.

Først publisert fredag 16. oktober 2026