Umělá inteligence často cituje webové stránky, které si ani nepřečetla

Někdy se v proudu odborné literatury objeví článek, který mě opravdu nadzvedne – ne proto, že by byl nepřesný nebo urážlivý, ale protože si všímá něčeho, co mě už dlouho neurčitě a nejasně štve někde na okraji vědomí (možná proto, že jsem byl příliš zaneprázdněný na to, abych dělal něco jiného než to ignoroval).

Dnes vyšla nová studie od tří autorů z katedry výpočetní techniky na Imperial College London. Nová práce s názvem Vyhledáno, ale nepřečteno: Jak porozumět tomu, proč jazykové modely rozšířené o vyhledávání nedokážou využít dostupné důkazy zkoumá, proč velké jazykové modely (LLM) tak často předkládají podpůrné odkazy na URL (nerelevantní citace odborných článků, odkazy na pochybné webové články apod.), aniž by si je vůbec přečetly.

Autoři uvádějí:

„Zjistili jsme, že modely často odpovídají na základě úryvků z výsledků vyhledávání, aniž by otevřely zdrojové stránky, což souvisí s vyšším podílem zastaralých odpovědí a nevěrohodných citací. Naše kontrolované experimenty a analýza jednotlivých vrstev odhalují rozdíl mezi dostupností důkazů a jejich účinným využitím.

„I když získané důkazy ovlivňují interní predikce, modely mohou ve svých konečných odpovědích stále upřednostňovat zastaralé informace.“

Autoři testovali jeden proprietární jazykový model (OpenAI GPT-5.6 Luna) a šest konfigurací modelů s otevřenými váhami. Porovnávali je se stovkami faktů, které se změnily od okamžiku, kdy skončilo trénování modelů.

Poté zkoumali, jak často systémy vycházely z úryvků ve výsledcích vyhledávání, místo aby otevřely zdrojové stránky; jak to ovlivnilo přesnost jejich odpovědí a citací; a proč někdy převážily zastaralé informace, i když byly novější důkazy dodány přímo.

Testy ukázaly, že modely často odpovídaly na otázky aniž by otevřely jedinou stránku z výsledků vyhledávání na webu a že toto chování souviselo s výrazně vyšším podílem zastaralých odpovědí a zavádějících citací:

Výsledky testů ukazují, jak často modely umělé inteligence citují webové zdroje, aniž by si je skutečně přečetly. V osmi konfiguracích výzkumníci měřili přesnost odpovědí, spoléhání na úryvky z výsledků vyhledávání bez otevření zdrojových stránek a výskyt citací, které odporovaly tvrzením modelů. V některých případech skončila více než polovina vyhledávání, aniž byla otevřena jediná stránka. Všechny údaje jsou v procentech; první řádek uvádí živé vyhledávání na webu, zatímco ostatní používají standardizované výsledky vyhledávání. Zdroj

Výzkumníci také zjistili, že přímé předložení správných důkazů může tyto nedostatky výrazně omezit, ačkoli některé modely dál upřednostňovaly zastaralé informace, i když před sebou měly přímo uvedená novější fakta.

Skryté motivy?

Dva nejzřejmější důvody, proč nám LLM tak často chrlí podpůrné dokumenty, které „znějí správně“, ale nejsou k věci, jsou: a) šetří to peníze, protože stažení a přečtení byť jen shrnutí skutečného materiálu stojí přenosovou kapacitu i čas a daný materiál navíc nemusí být vůbec dostupný; a b) snižuje to prodlevu, jako by bylo lepší rychle vám poskytnout špatnou či napůl správnou odpověď než o trochu déle počkat na lepší.

Autory nové práce však více zajímá odhalení základních mechanismů tohoto nedostatku kvality než to, jak mohl být původně navržen nebo předem zamýšlen.

Moje dosavadní zkušenost s diskusemi o ekonomice rozsahu LLM s nejmodernějšími modely mě nepřekvapivě dovedla k tomu, co mohu považovat jen za předem připravenou obrannou reakci.

Ekonomická logika manipulování s citačním chováním LLM tímto způsobem mi přinejmenším dává smysl; samotné technologie jsou ale stále tak málo zmapované, v tak proměnlivém stavu a tak náchylné k nečekaným výsledkům, že je v tuto chvíli obtížné takové motivy prokázat.

Metodika

Aby výzkumníci otestovali, nakolik modely skutečně využívají důkazy z webu, sestavili soubor 225 faktů, která se změnila od 16. února 2026 – data nejnovějšího uváděného ukončení trénování mezi testovanými modely.

Fakta pocházela z informací FDA o léčivech (62 faktů); z oblasti financí (52); sportu (47); osob (43); podání u SEC (13) a chemických klasifikací (8). Vyloučeny byly změny, které nabyly účinnosti před rozhodným datem nebo byly oznámeny před 1. únorem, stejně jako lékařská tvrzení, na která bylo možné odpovědět na základě obecných znalostí. Jako kontrolní údaje byla použita také nezměněná fakta, což výzkumníkům umožnilo odlišit selhání související s novými informacemi od obecnějších chyb.

Pro stanovení výchozí úrovně byla GPT-5.6 Luna testována bez přístupu k vyhledávání na webu a správně zodpověděla pouze 23,3 % ze 103 otázek týkajících se změněných faktů.

Ustanovení z označení FDA obsažená ve výše uvedeném souboru dat byla pomocí blíže neurčeného modelu AI přeformulována do podoby jednotlivých ověřitelných faktických tvrzení, z nichž každé pak bylo ručně zkontrolováno*.

Testované konfigurace modelů s otevřenými vahami zahrnovaly GLM-5.3-Flash od Z.ai; gpt-oss-120b a gpt-oss-20b od OpenAI; gemma-4-31b od Google DeepMind, testovaný s uvažováním i bez něj; a qwen3-8b od Qwen.

Modely s otevřenými vahami a GPT-5.6 Luna dostaly stejné výsledky vyhledávání na webu, aby bylo možné jejich odpovědi spravedlivě porovnat. Luna byla navíc samostatně testována pomocí vlastního vestavěného vyhledávání na webu.

U 223 z 225 faktů bylo předem shromážděno deset výsledků vyhledávání pomocí Brave Search. Každý model obdržel stejné výsledky a mohl pomocí totožných nástrojů otevírat stránky nebo v nich vyhledávat.

Stránka obsahující „správnou“ odpověď byla vždy zpřístupněna – pokud se přirozeně objevila mezi prvními deseti výsledky, její pozice se nezměnila; v opačném případě byla do výsledků zařazena na předem určenou pozici. Výzkumníci tak mohli za srovnatelných podmínek zkoumat, jak modely využívají dostupné důkazy.

Aby byly testy konzistentnější, byla u modelů, které toto nastavení podporovaly, teplota nastavena na nulu a každý model byl během celého experimentu provozován prostřednictvím stejného poskytovatele.

Podoba promptů

První ze dvou promptů použitých k testování faktů pokládal otevřenou otázku, například „Za který klub hraje Bernardo Silva?“ – s žádostí o uvedení zdroje i bez ní. Druhý vyzýval model, aby ověřil tvrzení obsahující buď aktuální, nebo zastaralé informace, což výzkumníkům umožnilo porovnat, jak model přistupoval k jednotlivým verzím.

V souhrnných výsledcích byly použity čtyři další typy promptů: otevřené otázky s vodítky; žádosti o citace; žádosti o uvedení citace podporující zadané tvrzení; a kontroly souboru faktů, při nichž měl model mezi několika správnými tvrzeními určit jedno zastaralé.

Ukázky skutečných promptů použitých při testování modelů, založených na otázkách a tvrzeních o fotbalistovi Bernardu Silvovi. Tabulka ukazuje, jak byla táž faktická otázka formulována prostřednictvím různých žádostí o odpovědi, ověření, citace a uvedení zdrojů. Všechny prompty začínaly datem 8. srpna 2026 a většina vyžadovala standardizovanou závěrečnou odpověď, jejíž podobu určovaly pokyny označené písmeny pod tabulkou.

Každý prompt uváděl datum a většina vyžadovala odpovědi v pevně stanoveném formátu, který umožňoval odpovědět „NELZE OVĚŘIT“, takže výsledky bylo možné vyhodnotit bez zásahu člověka nebo rozhodování na základě LLM.

Použité metriky byly hloubka čtení (zda byly zdrojové stránky otevřeny a citovány); přesnost odpovědí (procento správných odpovědí bez započítání zdržení se odpovědi); a věrnost citací (zda citované stránky odporovaly tvrzením modelu).

Hodnocení bylo tam, kde to bylo možné, automatizováno; blíže neurčený LLM mohl schválit citace pouze tehdy, když je dokládala přesná pasáž z archivované stránky. Záporné závěry vyžadující interpretaci byly svěřeny lidským hodnotitelům a nezměněná kontrolní fakta sloužila ke stanovení výchozí míry chybovosti citací každého modelu.

Výsledky

V úvodních testech (představených na začátku tohoto článku) přístup k vyhledávání na webu zlepšil schopnost modelů správně odpovídat na otázky. Při ověřování správnosti faktických tvrzení jejich výsledky vzrostly o 27–42 procentních bodů. Při přímém odpovídání na otázky podaly správnou odpověď v 85,8–95,4 % případů.

Mnoho odpovědí však modely vytvořily aniž by skutečně navštívily webové stránky, které jim vyhledávání nabídlo. Místo toho se spoléhaly na krátké úryvky textu zobrazené vedle výsledků vyhledávání. I když modely dostaly stejné výsledky vyhledávání, podíl vyhledávání, při nichž nebyla otevřena žádná stránka, se podle modelu pohyboval od 2,6 % do 76 %.

V tomto ohledu podala GPT-5.6 Luna obzvlášť povrchní výkon:

„Při stejných výsledcích vyhledávání modely odpovídají v 2,6–76,0 % případů, aniž by otevřely jedinou stránku. Při použití vlastního vyhledávání Luna odpovídá v 53,6 % případů pouze na základě úryvků.“

Výsledky testů porovnávajících zastaralé odpovědi a zavádějící citace podle toho, jak důkladně modely prozkoumaly výsledky vyhledávání. Úryvek znamená, že nebyla otevřena žádná webová stránka; Otevřeno znamená, že stránka byla otevřena, ale nebyla citována; Cit. znamená, že otevřená stránka byla citována. Všechny údaje jsou procenta souhrnně za sedm konfigurací modelů a všechny typy zadání. K chybám docházelo obecně častěji, když se modely spoléhaly pouze na úryvky z výsledků vyhledávání.

V sedmi konfiguracích modelů bylo 6,4 % odpovědí založených pouze na úryvcích zastaralých, zatímco u odpovědí, v nichž byly citovány otevřené stránky, to bylo 1,3 %. Jak je uvedeno výše, zavádějící citace byly také častější: 6,4 % oproti 2,3 %. U sportovních otázek dosáhl podíl zastaralých odpovědí u modelů s otevřenými vahami 20,2 % oproti 2,1 %. Když byly odpovědi zastaralé, 81,8 % citací, které je dokládaly, jim odporovalo; u aktuálních odpovědí to bylo pouhých 0,9 %. Podobné vzorce se objevily i v testech s faktografickými přehledy.

V praxi to znamená, že zkoumané modely umělé inteligence častěji odpovídají nesprávně, když se spoléhají na krátké popisy zobrazené ve výsledcích vyhledávání místo toho, aby si přečetly samotné webové stránky. A co hůř, někdy odkazují na stránky, které dokazují, že jejich odpovědi jsou nesprávné.

Společné selhání

Pokud výběr použitý v těchto testech nepředstavuje „společné odlehlé případy“, je rozumné předpokládat, že tento problém postihuje i další modely, ať už uzavřené, nebo open source. Sedm z devíti typů selhání pozorovaných při živém vyhledávání na webu pomocí GPT-5.6 Luna totiž významně souviselo se selháními jiných modelů testovaných se stejnými pevně danými výsledky vyhledávání, což naznačuje, že se problémy neomezovaly pouze na Lunu.

Přímé poskytnutí správné stránky Wikipedie snížilo počet zastaralých odpovědí: u gemma-4-31b klesl počet chybných odpovědí ze 14 na nulu, u gpt-oss-20b z 11 na jednu a u qwen3-8b ze 16 na osm. Opakování původní otázky po otevření každé stránky také vedlo k opravě 26,1 % předchozích neúspěšných kontrol faktografických přehledů.

Výsledky ukazují, jak často modely gemma-4-31b, gpt-oss-20b a qwen3-8b přijímaly zastaralá tvrzení za různých podmínek. Stejné důkazy byly buď zatajeny, přímo uvedeny v zadání, nebo zpřístupněny prostřednictvím výsledků vyhledávání; v samostatných testech byly modely požádány o uvedení zdrojů na podporu odpovědi. Přímé poskytnutí správné stránky bylo podstatně účinnější než požadovat po modelech, aby ji samy našly. Údaje vyjadřují počet chyb vzhledem k celkovému počtu testů.

Klubová pravidla

Nakonec se výzkumníci ve snaze lépe pochopit, proč umělá inteligence někdy ignoruje správné informace, zaměřili na tři modely s otevřenými vahami a fotbalisty, kteří změnili klub: gpt-oss-20b, gemma-4-31b a qwen3-8b.

Každému modelu byly poskytnuty zastaralé informace o klubu některého hráče, někdy společně se správnou stránkou Wikipedie. Poté se zkoumalo, které odpovědi model během zpracování upřednostnil.

Výsledky ukázaly, že modely dokázaly rozpoznat správný klub – ale přesto odpovědět nesprávně:

Výsledky testů ukazující, jak model qwen3-8b při vytváření odpovědi zvažoval správný a zastaralý fotbalový klub. Levý graf zachycuje správné odpovědi, u nichž správný klub zůstal na prvním místě; pravý graf ukazuje chybné odpovědi, při nichž zastaralý klub v závěrečných fázích zpracování předstihl správný klub. Vyšrafované oblasti znázorňují rozdíly mezi testy.

U modelu qwen3-8b se správný klub někdy během zpracování dostal do čela, ale těsně před vytvořením odpovědi ho zastaralý klub předstihl (viz výše). Podobný vzorec se objevil u modelu gpt-oss-20b, zatímco gemma-4-31b obecně po celou dobu upřednostňoval „zastaralý“ klub.

Zdá se tedy, že i když jsou správné důkazy dostupné a model je rozpozná, mohou v konečné odpovědi přesto ustoupit zastaralým informacím.

Autoři závěrem naznačují, že modely by měly lépe využívat webové stránky, které si vyhledají, místo aby se spoléhaly na úryvky z výsledků vyhledávání. Chtějí také zjistit, proč se modely někdy drží zastaralých informací, přestože znají správnou odpověď, a zda by mohly pomoci změny způsobu, jakým modely zpracovávají informace. Žádné definitivní řešení však nenavrhují.

Závěr

Nová studie sice přináší několik cenných poznatků, nevysvětluje však, proč LLM tak lehkomyslně zacházejí s citacemi a odkazy. Jako spotřebitel a také jako docela schopný analytik vzorců mám dojem, že LLM, která používám, doporučují studie nebo URL adresy proto, že je doporučují jiné… doporučující weby…? Odkud se tedy vlastně bere dojem, že jsou důvěryhodné?

Ve skutečnosti jde o problém, který se nám nepodařilo vyřešit ani v době před nástupem AI, takže možná není překvapivé, pokud se ukáže, že LLM nešetří peníze ani nezkracují dobu odezvy, ale pouze šíří tytéž čínské fámy, které sami považujeme za „pravdu“.

* Studie neuvádí, kdo tato hodnocení provedl.

Poprvé zveřejněno v pátek 16. října 2026