AI henviser ofte til websider, det aldrig har læst

Indimellem dukker der en artikel op i dagens strøm af forskning, som virkelig får mit blod i kog – ikke fordi den er unøjagtig eller stødende, men fordi den lægger mærke til og undersøger noget, der længe har irriteret mig i udkanten af min bevidsthed på en vag og uspecifik måde (måske fordi jeg havde for travlt til at gøre andet end at ignorere det).

En sådan artikel er udkommet i dag fra tre forfattere ved Department of Computing på Imperial College London. Det nye studie har titlen Hentet, men ikke læst: En undersøgelse af, hvorfor søgeforstærkede store sprogmodeller ikke bruger tilgængelig dokumentation og undersøger, hvorfor store sprogmodeller (store sprogmodeller) ofte slynger understøttende URL’er i hovedet på dig (irrelevante artikelhenvisninger, links til tvivlsomme webartikler osv.) uden overhovedet at læse dem.

Forfatterne skriver:

»Vi finder, at modeller ofte svarer ud fra søgeuddrag uden at åbne kildesiderne, hvilket hænger sammen med en højere forekomst af forældede svar og utroværdige kildehenvisninger. Vores kontrollerede eksperimenter og analyse lag for lag afdækker en kløft mellem tilgængelig dokumentation og den effektive brug af den.

Selv når hentet dokumentation påvirker modellernes interne forudsigelser, kan de stadig foretrække forældede oplysninger i deres endelige svar.«

Forfatterne testede én proprietær stor sprogmodel (OpenAIs GPT-5.6 Luna) og seks konfigurationer af modeller med åbne vægte op mod hundredvis af fakta, der havde ændret sig siden modellernes skæringsdatoer for træningsdata.

Derefter undersøgte de, hvor ofte systemerne brugte søgeuddrag i stedet for at åbne kildesiderne, hvordan det påvirkede nøjagtigheden af deres svar og kildehenvisninger, og hvorfor forældede oplysninger undertiden blev foretrukket, selv når nyere dokumentation blev leveret direkte.

Testene viste, at modeller ofte besvarede spørgsmål uden at åbne nogen af de sider, som websøgningerne fandt, og at denne adfærd hang sammen med betydeligt flere forældede svar og vildledende kildehenvisninger:

Testresultater, der viser, hvor ofte AI-modeller henviser til webkilder uden faktisk at læse dem. På tværs af otte konfigurationer målte forskerne svarenes nøjagtighed, brugen af søgeuddrag uden at åbne kildesiderne og kildehenvisninger, der var i modstrid med modellernes påstande. I nogle tilfælde blev mere end halvdelen af søgningerne afsluttet uden at en eneste side blev åbnet. Alle tal er angivet i procent; første række bygger på live-websøgning, mens de øvrige bruger standardiserede søgeresultater. Kilde

Forskerne fandt også, at det kunne reducere disse fejl betydeligt at levere den korrekte dokumentation direkte, selvom nogle modeller fortsat foretrak forældede oplysninger, selv når de nyere fakta blev lagt direkte foran dem.

Skjulte motiver?

De to mest oplagte grunde til, at store sprogmodeller ofte slynger understøttende dokumenter, der »lyder rigtige«, men er irrelevante, efter os, er: a) Det sparer penge, fordi det kræver båndbredde og tid at hente og læse selv et resumé af det oprindelige materiale, som måske end ikke er tilgængeligt; og b) Det reducerer svartiden, som om det er bedre at give dig et forkert eller delvist forkert svar hurtigt end at vente lidt på et bedre svar.

Forfatterne til det nye studie er dog mere interesserede i at fastslå de grundlæggende mekanismer bag denne kvalitetsmangel end i, hvordan den oprindeligt kan være blevet udformet eller forudset.

Ikke overraskende har mine hidtidige erfaringer med at diskutere stordriftsøkonomien ved store sprogmodeller med de mest avancerede modeller ført til det, jeg kun kan antage er et på forhånd fastlagt defensivt svar.

Det giver i hvert fald mening for mig, at der er en økonomisk fordel ved at manipulere store sprogmodellers adfærd med kildehenvisninger på denne måde. Men teknologierne er stadig så uudforskede, i så stor forandring og så tilbøjelige til at give usædvanlige resultater, at det i øjeblikket er svært at bevise, at sådanne motiver ligger bag.

Metode

For at teste, hvor godt modellerne faktisk bruger webbaseret dokumentation, samlede forskerne 225 fakta, der havde ændret sig siden 16. februar 2026 – den seneste rapporterede skæringsdato for træningsdata blandt de testede modeller.

Faktaene stammede fra oplysninger om lægemidler fra FDA (62 fakta), finans (52), sport (47), personer (43), SEC-indberetninger (13) og kemiske klassifikationer (8). Ændringer, der allerede var trådt i kraft ved skæringsdatoen, eller var blevet annonceret før 1. februar, blev udelukket – ligesom medicinske påstande, der kunne besvares ud fra generel viden. Uændrede fakta blev også brugt som kontrol, så forskerne kunne skelne mellem fejl med nye oplysninger og mere generelle fejl.

For at fastlægge et udgangspunkt blev GPT-5.6 Luna testet uden adgang til websøgning og besvarede kun 23,3 % af 103 spørgsmål om de ændrede fakta korrekt.

En ikke nærmere angivet AI-model blev brugt til at omskrive klausuler i FDA-mærkningen i det førnævnte datasæt til faktuelle udsagn, der kunne testes hver for sig, og hvert udsagn blev derefter gennemgået manuelt*.

De testede konfigurationer af modeller med åbne vægte var GLM-5.3-Flash fra Z.ai; OpenAI’s gpt-oss-120b og gpt-oss-20b; Google DeepMinds gemma-4-31b, testet både med og uden ræsonnement; og Qwens qwen3-8b.

Modellerne med åbne vægte og GPT-5.6 Luna fik de samme søgeresultater fra nettet, så deres svar kunne sammenlignes på et retfærdigt grundlag. Luna blev også testet separat med sin egen indbyggede websøgning.

For 223 af de 225 fakta blev ti søgeresultater indsamlet på forhånd ved hjælp af Brave Search. Alle modeller fik de samme resultater og kunne åbne sider eller søge på dem ved hjælp af identiske værktøjer.

Siden med det »korrekte« svar blev altid gjort tilgængelig – hvis den naturligt optrådte blandt de ti øverste resultater, blev dens placering ikke ændret; ellers blev den føjet til resultaterne på en placering, der var fastlagt på forhånd. Det gjorde det muligt for forskerne at undersøge, hvordan modellerne brugte de tilgængelige oplysninger under sammenlignelige forhold.

For at gøre testene mere ensartede blev temperaturen sat til nul for de modeller, der understøttede denne indstilling, og alle modeller blev kørt gennem den samme udbyder under hele forsøgsforløbet.

Promptenes udformning

Af de to prompts, der blev brugt til at teste fakta, stillede den første et åbent spørgsmål, såsom »Hvilken klub spiller Bernardo Silva for?« – enten med eller uden en anmodning om en kilde. Den anden bad modellen om at kontrollere et udsagn, der indeholdt enten den aktuelle eller forældede information, så forskerne kunne sammenligne, hvordan de to versioner blev behandlet.

I de samlede resultater indgik fire yderligere prompttyper: åbne spørgsmål med stikord; anmodninger om citater; anmodninger om en kildehenvisning, der underbygger et angivet udsagn; og kontrol af faktablade, hvor modellen skulle finde ét forældet udsagn blandt flere korrekte udsagn.

Eksempler på de faktiske prompts, der blev brugt til at teste modellerne, baseret på spørgsmål og påstande om fodboldspilleren Bernardo Silva. Tabellen viser, hvordan det samme faktuelle spørgsmål blev præsenteret gennem forskellige anmodninger om svar, verificering, citater og kildehenvisninger. Alle prompts begyndte med datoen 8. august 2026, og de fleste krævede et standardiseret slutsvar, som var beskrevet i de bogstavmarkerede instruktioner under tabellen.

Hver prompt angav en dato, og de fleste krævede svar i et fast format, som tillod svaret »KAN IKKE VERIFICERES‘, så resultaterne kunne bedømmes uden menneskelig vurdering eller afgørelser truffet af en stor sprogmodel.

De anvendte målinger var læsningsdybde (om kildesider blev åbnet og citeret); svarenes nøjagtighed (procentdelen af korrekte svar, eksklusive afståelser); og kildehenvisningernes troværdighed (om de citerede sider modsagde modellens påstande).

Bedømmelsen blev automatiseret, hvor det var muligt, og en (ikke nærmere angivet) stor sprogmodel måtte kun godkende kildehenvisninger, når de blev underbygget af en nøjagtig passage fra den arkiverede side. Negative vurderinger, der krævede fortolkning, blev overladt til menneskelige bedømmere, og uændrede kontrolfakta blev brugt til at fastslå hver models grundlæggende fejlrate for kildehenvisninger.

Resultater

I de indledende test (som vist i begyndelsen af denne artikel) forbedrede adgang til websøgning modellernes evne til at besvare spørgsmål korrekt. Når de skulle kontrollere, om faktuelle udsagn var korrekte, steg deres resultater med 27–42 procentpoint. Når de besvarede spørgsmål direkte, var svarene korrekte i 85,8–95,4 % af tilfældene.

Mange svar blev dog udarbejdet uden at modellerne faktisk besøgte de websteder, som deres søgninger havde fundet. I stedet byggede de på de korte tekstuddrag, der vises ved siden af søgeresultaterne. Selv når modellerne fik de samme søgeresultater, varierede andelen af søgninger, hvor ingen side blev åbnet, fra 2,6 % til 76 %, afhængigt af modellen.

I denne sammenhæng leverede GPT-5.6 Luna en præstation præget af særligt ringe indsats:

»Når modellerne får de samme søgeresultater, besvarer de 2,6–76,0 % af spørgsmålene uden at åbne en eneste side. Med sin indbyggede søgning besvarer Luna 53,6 % af spørgsmålene udelukkende ud fra uddrag.‘

Testresultater, der sammenligner forældede svar og vildledende kildehenvisninger alt efter, hvor grundigt modellerne undersøgte søgeresultaterne. Uddrag betyder, at ingen webside blev åbnet; Åbnet betyder, at en side blev åbnet, men ikke citeret; Citeret betyder, at en åbnet side blev citeret. Alle tal er procenttal beregnet på tværs af syv modelkonfigurationer og alle prompttyper. Fejl forekom generelt hyppigere, når modellerne udelukkende baserede sig på uddrag fra søgeresultater.

På tværs af syv modelkonfigurationer var 6.4% af svarene, der kun byggede på uddrag, forældede, sammenlignet med 1.3%, når åbne sider blev citeret. Vildledende kildehenvisninger forekom også hyppigere: 6.4% mod 2.3%, som vist ovenfor. For spørgsmål om sport nåede andelen af forældede svar blandt modeller med åbne vægte 20.2% mod 2.1%. Når svarene var forældede, modsagde 81.8% af kildehenvisningerne, der skulle underbygge påstandene, dem, sammenlignet med blot 0.9% for aktuelle svar. Lignende mønstre viste sig i faktabladsprøver.

Det betyder i praksis, at de undersøgte AI-modeller er mere tilbøjelige til at give forkerte svar, når de baserer sig på de korte beskrivelser i søgeresultaterne i stedet for at læse de faktiske websider. Værre endnu linker de nogle gange til sider, der beviser, at deres svar er forkerte.

Et fælles svigt

Medmindre det udvalg, der blev brugt til disse prøver, er en »kollektiv afviger«, virker det rimeligt at antage, at andre modeller, både lukkede og open source-modeller, er ramt af dette syndrom. Af de ni fejltyper, der blev observeret i GPT-5.6 Lunas søgninger på nettet i realtid, var syv nemlig signifikant forbundet med fejl, da andre modeller blev testet med de samme fastlagte søgeresultater. Det tyder på, at problemerne ikke var begrænset til Luna.

Når den korrekte Wikipedia-side blev givet direkte, faldt antallet af forældede svar: fra 14 til nul for gemma-4-31b, fra 11 til én for gpt-oss-20b og fra 16 til otte for qwen3-8b. Når det oprindelige spørgsmål blev gentaget efter hver åbnet side, blev 26.1% af de faktabladsprøver, der tidligere var slået fejl, også rettet.

Resultater, der viser, hvor ofte gemma-4-31b, gpt-oss-20b og qwen3-8b accepterede forældede påstande under forskellige betingelser. De samme oplysninger blev enten tilbageholdt, givet direkte i prompten eller gjort tilgængelige via søgeresultater, og i separate prøver blev modellerne bedt om at angive kilder til støtte for svarene. Det var betydeligt mere effektivt at give den korrekte side direkte end at kræve, at modellerne selv fandt den. Tallene viser antallet af fejl i forhold til det samlede antal prøver.

Klubregler

For bedre at forstå, hvorfor AI nogle gange ignorerer korrekte oplysninger, testede forskerne til sidst tre modeller med åbne vægte på fodboldspillere, der havde skiftet klub: gpt-oss-20b, gemma-4-31b og qwen3-8b.

Hver model fik forældede oplysninger om en spillers klub, nogle gange sammen med den korrekte Wikipedia-side, og blev undersøgt for at se, hvilket svar den foretrak under behandlingen.

Resultaterne viste, at modellerne kunne genkende den korrekte klub – men alligevel give det forkerte svar:

Testresultater, der viser, hvordan qwen3-8b vægtede de korrekte og forældede fodboldklubber, mens et svar blev udformet. Diagrammet til venstre viser vellykkede svar, hvor den korrekte klub fortsat lå forrest; diagrammet til højre viser fejl, hvor den forældede klub overhalede den korrekte i de sidste trin af behandlingen. De skraverede områder viser variationen mellem prøverne.

I qwen3-8b kom den korrekte klub nogle gange foran internt, før den forældede klub overhalede den lige inden svaret blev afgivet (se ovenfor). Et lignende mønster viste sig i gpt-oss-20b, mens gemma-4-31b generelt foretrak den »forældede« klub hele vejen igennem.

Det ser altså ud til, at selv når korrekte oplysninger er tilgængelige og bliver genkendt, kan de stadig blive tilsidesat af forældede oplysninger i det endelige svar.

Afslutningsvis foreslår forfatterne, at modellerne bliver bedre til at udnytte de websider, de henter, i stedet for at støtte sig til søgeresultaternes uddrag. De håber også at finde ud af, hvorfor modeller nogle gange holder fast i forældede oplysninger, selvom de har det korrekte svar, og om ændringer i den måde, hvorpå modellerne behandler information, kunne hjælpe. Der foreslås dog ingen endegyldig løsning.

Konklusion

Selvom den nye artikel byder på værdifuld indsigt, forklarer den ikke, hvorfor LLM’er bruger citater og referencer så lemfældigt. Som forbruger og en nogenlunde skarp analytiker af mønstre får jeg indtryk af, at de LLM’er, jeg bruger, anbefaler artikler eller URL’er, fordi de anbefales af andre … anbefalede websteder …? Så hvor stammer autoriteten egentlig fra?

Sandheden er, at dette ikke er et problem, vi var i stand til at løse, selv ikke i verden før AI. Derfor er det måske ikke overraskende, hvis det viser sig, at LLM’er hverken sparer penge eller reducerer latenstiden, men blot viderebringer de samme kinesiske rygter, som vi overbeviser os selv om er »sandhed«.

* Artiklen oplyser ikke, hvem der gennemførte disse gennemgange.

Først offentliggjort fredag den 16. oktober 2026