Andersonův úhel
Vědecký pokrok díky AI ohrožuje podivná posedlost

Klíčové bodyNovější AI recenzenti se zaměřují na přílohy, zatímco lidští recenzenti se soustředí na…
Zobrazit více
- Novější AI recenzenti se zaměřují na přílohy, zatímco lidští recenzenti se soustředí na hlavní zjištění článku.
- Jazykové modely považují každou pasáž za stejně důležitou, a proto jim uniká, které části jsou skutečně podstatné.
- Zaujatost vůči přílohám přetrvává napříč způsoby přístupu a vede k povrchní zpětné vazbě, která autorům k zlepšení sotva pomůže.
Nová americká studie naznačuje, že modely AI, které posuzují vědecké články, začínají podivně ulpívat na jejich přílohách místo na hlavním textu a často věnují větší pozornost nepodstatným podpůrným detailům než hlavním zjištěním. Jazykové modely se stále častěji využívají k tomu, aby pomáhaly lidským recenzentům, nebo je dokonce nahrazovaly. Nově identifikovaná tendence se zřejmě šíří i do lidského recenzního řízení, což může brzdit pokrok ve výzkumu AI:

Z nové studie: nárůst kritiky související s přílohami v lidských recenzích vědeckých článků. Po několik let se její podíl držel pod 11 %, v nejnovějších recenzích však dosáhl 27,6 %, a to po vydání modelů AI, u nichž se zjistilo, že více než polovinu své kritiky zaměřují na přílohy. Přerušované čáry označují vydání významných modelů. Zdroj
Při testování 2000 vědeckých článků ze čtyř oblíbených konferencí výzkumníci v nové studii zjistili, že novější modely čerpají z příloh přibližně 50–70 % své kritiky, zatímco u staršího GPT-5 je to méně než 30 %.
Dva z nejvýraznějších novějších modelů AI, které zřejmě vedou i lidské recenzenty k tomu, aby se zaměřovali na přílohy místo na důležitější hlavní výsledky, jsou GPT-6.1-Sol a GPT-6-Astra od OpenAI, oba vydané v roce 2026.
Studie uvádí*:
„Rozdíl mezi jednotlivými generacemi je výrazný. U GPT-5 se přílohy týká jen malý podíl vytýkaných nedostatků. Oba novější modely, GPT-6.1-Sol a GPT-6-Astra, se o ně opírají mnohem více a platí to pro každou konferenci.
„To naznačuje, že zaujatost vůči přílohám je především vlastností novějších modelů. Nové modely sice představují zlepšení, jejich zaujatost vůči přílohám však zesílila. Schopnost podrobně číst článek je nenaučila rozpoznat, které jeho části jsou nejdůležitější.“
Studie také zjistila, že míra tohoto upínání se k přílohám se liší podle způsobu, jakým AI dostane článek, protože rozhraní API, Codex a webová rozhraní nezpracovávají soubory PDF stejným způsobem – Codex navíc vůbec nečte prostřední část PDF průměrné délky a v případě potřeby ji později prochází jen po „kouscích“. Bylo však zjištěno, že všechny metody upřednostňují obsah příloh.
Až donedávna tuto posedlost lidské recenze a recenze AI nesdílely:
„[Human]recenzenti přistupují k hlavnímu textu a doplňujícím materiálům zcela jinak než LLM. LLM připisují více než 50 % svých výtek materiálům souvisejícím s přílohami, zatímco lidé jim připisují méně než 10 %.
„Rozdíl se projevuje i na úrovni jednotlivých recenzí. Z 200 článků vybraných každý rok v období 2021 až 2024 obdrželo lidskou recenzi obsahující jakoukoli výtku týkající se příloh celkem jen 159 článků. Naproti tomu všech 200 recenzí vygenerovaných LLM pro ICLR 2027 obsahovalo alespoň jednu kritickou připomínku k příloze.“

Srovnání kritiky týkající se příloh v lidských recenzích a recenzích generovaných AI. Lidští recenzenti připsali materiálům v přílohách pouze 8,4 % zjištěných nedostatků, zatímco u modelů AI to bylo 62 %. Druhý sloupec zachycuje kritiku týkající se výhradně příloh, která se nevztahuje k žádnému odpovídajícímu problému v hlavním textu článku.
Jak ukazuje výše uvedená testovací tabulka, recenzenti AI označili nedostatky v přílohách více než sedmkrát častěji než lidé a více než třikrát častěji vznesli kritiku týkající se pouze doplňujících materiálů. To naznačuje, že některé z nejnovějších špičkových modelů AI nyní upřednostňují detaily, které by lidští recenzenti tradičně považovali za vedlejší ve srovnání s hlavním vědeckým přínosem článku.
Proč?
Pokud lze soudit (jde o první studii, která tento jev identifikovala), část problému spočívá v tom, že AI nerozpoznává, případně si z rozsáhlých tréninkových dat neosvojila, že hlavní obsah článku se obvykle nenachází v příloze. Její obecná tendence považovat veškerý text za stejně důležitý přehlíží kontext příloh, které často nejsou redakčně upravené a bývají zpracovány mnohem méně pečlivě než hlavní text:
„LLM téměř nikdy nekritizují úvodní stránky, na nichž článek vymezuje problém a vysvětluje, proč je důležitý. Lidé právě proti tomuto vymezení často namítají, zatímco LLM je zřejmě přijmou a přejdou k číslům.“
„[Humans and LLMs] Přílohu četly velmi odlišně. Lidské výtky s postupem přílohy rychle slábnou a na jejích posledních stránkách téměř mizí. Slabiny LLM vůbec neslábnou. Naopak, nejvýraznější jsou až hluboko v příloze, nikoli na jejím začátku, a přetrvávají i za stranou 30, kde lidští recenzenti vznášejí téměř žádné námitky.“
„Pro LLM je detail na straně 25 stejně oprávněným terčem kritiky jako hlavní tabulka s výsledky.“
Autoři poznamenávají, že rovnostářský přístup LLM k textu je mohl přirozeně vést k tomu, aby se více soustředily na materiál v příloze, protože, jak už bylo uvedeno, bývá v něm více chyb.
Z této nové studie si tedy odnáším obecný závěr, že LLM se postupem času zaměřily na část nových vědeckých článků, v níž se často vyskytuje velké množství chyb nebo záměn, jednoduše proto, že ji lidské autorky a autoři tak často považují za neuspořádané odkladiště vedlejších důkazů a podpůrných materiálů.
Umělou inteligenci proto přílohy zajímají čím dál víc, zatímco pečlivě redigované hlavní části článků méně, protože v přílohách má více materiálu k analýze a opravám; studie proto uvádí, že LLM mají tendenci považovat úvodní část článku za faktický popis a přijímat ji bez výhrad:
„Lidé očekávají, že hlavní část obstojí sama o sobě, a proto namítají, když jsou důležité oddíly přesunuty do přílohy. LLM na to téměř nikdy neupozorňují.“
„To poukazuje na zásadní rozdíl: lidé chápou, že hlavní část má větší váhu než příloha, zatímco LLM nikoli.“
Důsledky a nápravná opatření
Toto nečekané zaměření na drobné detaily by mohlo mít závažné důsledky pro vědecký výzkum podporovaný umělou inteligencí, zvláště pokud by byla přehlížena důležitost hlavních zjištění článku. Protože se tato tendence zřejmě objevila až u nejnovějších modelů, její dlouhodobé dopady zatím nejsou známy.
Studie uznává, že recenzenti využívající umělou inteligenci mohou odhalit cenné chyby, i když jsou hluboko v příloze. Varuje však, že přílišná pozornost věnovaná drobnostem může jít na úkor hlavních zjištění článku, takže vznikají dlouhé recenze s malou praktickou hodnotou:
„Recenzenti využívající LLM zvyšují laťku, protože nepřehlédnou žádnou část článku. Účinná recenze však vyžaduje také úsudek o tom, na čem záleží nejvíc. Pokud většina slabin recenze pramení z obsahu přílohy, který nesouvisí s hlavním přínosem článku, zůstává zpětná vazba povrchní. Nezabývá se podstatou článku a autorům příliš nepomáhá jej vylepšit.“
Autory nové studie s názvem AI Reviews Are Biased Towards the Appendix k tomuto tématu přivedly neobvyklé vzorce, kterých si všimli při hodnocení vlastních příspěvků pomocí recenzí vytvořených nebo podporovaných LLM. Kód studie je dostupný na GitHubu.
Metodika a testování
Pro testování byly vybrány čtyři přední modely umělé inteligence od společností OpenAI a Anthropic: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 a Claude-Sonnet-5.5. Modely byly zpřístupněny prostřednictvím nástrojů Codex a Claude Code a jejich recenzní chování bylo porovnáno s přístupem přes API a webové rozhraní.
Vědecké články byly shromážděny ze čtyř významných konferencí zaměřených na umělou inteligenci a zpracování přirozeného jazyka: ACL 2026, EMNLP 2026, COLM 2026 a ICLR 2027. Všechny byly vybrány proto, že mají podobný formát odevzdávání příspěvků a recenzního řízení, přísné limity délky hlavního článku, ale obecně neomezené přílohy zařazené za seznamem literatury.
Celkem bylo analyzováno 2 000 článků: 1 200 z konferencí ICLR v letech 2021–2026 a 800 ze čtyř nedávných konferencí, po 200 z každé. Všech 800 nedávných článků mělo přílohy o délce alespoň 15 stran. Příspěvky pro ICLR 2027 již byly anonymní, zatímco z článků z konferencí ACL, EMNLP a COLM byla odstraněna jména autorů, jejich afiliace, e-mailové adresy a odkazy umožňující jejich identifikaci, aby recenzenti využívající umělou inteligenci nemohli zjistit, kdo je napsal.
Modelům byl vypnut přístup k internetu, aby se recenze opíraly výhradně o dodané soubory PDF.
Nejprve byla umělá inteligence požádána, aby vytvořila recenzi ve stylu příslušné konference, která by se zabývala přednostmi a nedostatky článku a obsahovala celkové hodnocení. Pokyny byly záměrně jednoduché, aby odpovídaly tomu, jak by umělou inteligenci mohl využívat skutečný recenzent. Poté byl stejnému modelu umělé inteligence znovu předložen článek spolu s hotovou recenzí a model měl určit, kterého oddílu článku se jednotlivé výtky týkaly. To se určovalo porovnáním výtky s původním článkem:

Třífázový recenzní proces použitý ve studii. Ze čtyř konferencí byly vybrány články s přílohami o rozsahu alespoň 15 stran a před posouzením modely AI byly anonymizovány. Každá recenze se poté porovnávala s původním článkem a jednotlivé připomínky se přiřazovaly k částem, kterých se týkaly.
Díky oddělení těchto úkolů bylo možné zkoumat části článků, které vyvolaly kritiku, aniž by původní recenze ovlivnily další pokyny.
Mezi dosud nezmíněné výsledky patří test autorů zaměřený na to, odkud pocházejí nedostatky v recenzích vytvořených pomocí LLM:

Srovnání toho, kde recenze vytvořené AI odhalily nedostatky ve čtyřech konferencích. Zelená barva označuje kritiku hlavního textu článku, červená kritiku týkající se příloh a šrafované plochy kritiku zaměřenou výhradně na přílohu. Téměř v každém testu se více než polovina připomínek týkala materiálu v přílohách; nejsilnější zkreslení bylo zaznamenáno u GPT-6-Astra.
Jak je vidět výše, přibližně polovina či více kritiky, kterou vznesly všechny čtyři modely AI, vycházela z materiálu v přílohách – tento vzorec se projevil ve všech čtyřech konferencích. Některé připomínky se týkaly výhradně přílohy a nijak nesouvisely s hlavním textem článku; představovaly 17.33% nedostatků zjištěných modely GPT, oproti 10.16% u Claude.
Podle článku výsledky naznačují, že materiálu v přílohách byla věnována nepřiměřená pozornost a relativně drobné detaily někdy sloužily jako důvod ke kritice článku jako celku.
Bylo provedeno srovnání různých metod, aby se zjistilo, zda zkreslení ve prospěch příloh ovlivňuje to, jak se k AI přistupuje. Pomocí GPT-6-Astra bylo posouzeno sto příspěvků pro ICLR 2027, a to prostřednictvím Codexu, webového rozhraní ChatGPT a rozhraní API, kterému byl poskytnut buď původní soubor PDF, nebo jeho extrahovaný text.
V Codexu byl text extrahován a zkoumán pomocí příkazů; prostřednictvím API byl přímo dodán buď celý soubor PDF, nebo jeho extrahovaný text; nahrané dokumenty pak zpracovával vlastní (neprůhledný) systém webového rozhraní:

Srovnání kritiky týkající se příloh u různých modelů AI a způsobů přístupu. Vlevo je vidět, že GPT-5 odkazoval na materiál v přílohách mnohem méně často než novější modely GPT napříč čtyřmi konferencemi. Vpravo je patrné, že zkreslení přetrvávalo při čtyřech způsobech přístupu k GPT-6-Astra; kritika týkající se příloh tvořila 62.2% až 73.7% z celkového počtu. Šrafované plochy označují kritiku zaměřenou výhradně na přílohy.
Jak je vidět výše, ve všech čtyřech metodách se kritika týkala materiálu v přílohách v 62.2% až 73.7% případů. Nejvyšší podíl byl zaznamenán, když byl prostřednictvím API přímo dodán extrahovaný text. Zkreslení tedy přetrvávalo bez ohledu na způsob přístupu k modelu.
Většina ostatních testů už byla popsána dříve v článku; další informace najdete v původních materiálech.
Triky při podávání příspěvků
Stejně jako se toto téma osobně dotýká autorů nové práce, dotýká se i mě: často čtu vědecké články a na vlastní kůži jsem poznal skrytá pravidla i jejich obcházení, která určují, jak se články píší a prezentují.
AI nelze obecně vytýkat, že věnuje pozornost přílohám, i když k tomu má nesprávné důvody, protože autoři do nich často ukrývají „záludnosti“ článku – faktory nebo výsledky, které mohou tvrzení v hlavním textu téměř zcela vyvrátit nebo je výrazně omezit.
Ani autoři nemusí nutně nést vinu za přesouvání důležitého materiálu do přílohy, protože šablony populárních periodik, například těch, která jsou v nové studii uvedena jako zdroje dat, stanovují maximální limity počtu stran či slov v hlavním textu článku.
Při popisu složitých výsledků studií to mnozí autoři zjevně považují za výrazné omezení; v případech, které bych označil za „nejhorší“†, se hlavní text článku jednoduše stává rejstříkem materiálu přesunutého na konec, aby se obešla pravidla (ta však tento „trik“ dohánějí a zakazují).
Rostoucí napětí v této situaci vzniká mezi potřebou institucí vést autory k ukázněnějším a zdrženlivějším prezentacím — což je stále důležitější s tím, jak roste objem předkládaných článků — a zjevnou frustrací výzkumníků, kteří chtějí výsledky své těžce vydobyté práce představit v tak úplném a komplexním kontextu, jaký si podle nich jejich úsilí zaslouží.
* Zvýraznění autorů, nikoli moje.
†Protože při rozhodování, které články zahrnout, může být i pro AI obtížné rozpoznat, že byl obsah přesunut do příloh; recenzentovi to však může práci značně zkomplikovat, pokud si na posouzení deseti stran vyhradil určitý čas a nyní zjistí, že ve stejném časovém limitu musí posoudit 30 stran materiálu.
Poprvé zveřejněno v pondělí 16. listopadu 2026












