Sebevědomě formulované vědecké články ovlivňují hodnocení AI – bez ohledu na jejich kvalitu

Sebevědomí je výraznou evoluční výhodou – a podle nové německé studie také výhodou při hodnocení vědeckého článku velkými jazykovými modely (LLM) namísto kolegů autora (což je stále častěji nutné, protože objem vědeckých článků díky zvýšení produktivity s AI prudce roste).

Nová studie zjistila, že recenzenti s využitím AI (tedy nehumánní recenzenti) soustavně udělují vyšší hodnocení vědeckým článkům napsaným sebejistým, průrazným jazykem – a to i tehdy, když je jejich výzkum totožný s výzkumem v článcích formulovaných méně sebevědomě. V některých případech stačí změnit pouze formulaci, aby se zamítnutí změnilo v přijetí.

Autoři uvádějí:

„Naše experimenty odhalují výraznou preferenci recenzentů založených na LLM pro [papers] používání jazyka vyjadřujícího vysokou míru jistoty. Tyto preference zásadně vedou ke změnám rozhodnutí na hranici mezi přijetím a zamítnutím, a přímo tak ovlivňují výsledky recenzního řízení.“

„Zjistili jsme také, že četnost i vyznění témat zmiňovaných v recenzích se liší v závislosti na jazykových rysech článku, což může ovlivnit konečná rozhodnutí.“

Je to ironické, protože syndrom, který autoři popisují, se velmi podobá způsobu, jakým se AI při odpovědích na naše vlastní pokyny a dotazy tak často může „sebejistě mýlit“. Tady je však rozhodnutí v rukou lidí a odpovědnost jednotlivců i celého kolektivu je skutečná, bez ohledu na to, zda vědci, kteří se na těchto článcích podíleli, svým vlastním tvrzením skutečně věří.

Pokud bude o tom, které vědecké články vyjdou, stále častěji rozhodovat AI, vědci se možná naučí „působit sebevědoměji“ jako konkurenční strategii, snad zejména tehdy, když budou jejich příspěvky chybné. Slabší věda by tak mohla získat nezasloužené místo v neustále se zmenšujícím prostoru, který je jí k dispozici.

Chvástáním k vítězství

Podle studie* AI recenzenti častěji chválili metody, teorie a vědecký přínos článků napsaných sebevědomým jazykem, i když byly totožné s těmi v méně průrazných verzích. Autoři v rámci testů přeformulovali 504 vědeckých článků do různých stylů a nechali je posoudit šesti modely AI, mimo jiné GPT-5.5, Claude Sonnet 4.6 a Gemini 3.5 Flash. Bylo nutné vytvořit umělé či upravené verze článků, aby výsledky nezkreslily zvláštnosti a výstřednosti skutečných příspěvků:

Ukázky téhož vědeckého úryvku přepracovaného do čtyř různých stylů. Barevné zvýraznění označuje změny, jejichž cílem bylo, aby text působil více či méně sebevědomě, případně více připomínal akademickou angličtinu psanou rodilými či nerodilými mluvčími. Základní zjištění a číselné údaje však zůstávají beze změny. Zdroj

Články pocházely z příspěvků zaslaných na konferenci ICLR 2026; stejný počet z nich byl přijat i zamítnut. Claude Opus 5 poté každý příspěvek přeformuloval tak, aby zněl více či méně sebevědomě^†, přičemž vědecký obsah zůstal nezměněn. Díky tomu bylo možné připsat rozdíly v recenzích AI stylu psaní, tedy odlišné míře vyjádřené sebejistoty.

Výsledky ukázaly, že AI recenzenti udělovali vyšší hodnocení vědeckým článkům napsaným sebevědomým jazykem, i když byly důkazy totožné. Claude Sonnet 4.6 vykazoval nejsilnější zkreslení: sebevědomé verze upřednostňoval sedmkrát častěji než opatrné. V 21 % případů doporučil sebevědomě formulovaný článek přijmout, zatímco opatrněji formulovanou verzi téhož článku zamítnout.

Nová studie uvádí:

„Naše zjištění vyvolávají závažné obavy ohledně využívání LLM při recenzním řízení. Pokud články se shodným obsahem získávají odlišné hodnocení a jejich recenze obsahují rozdílné argumenty pouze kvůli jazykovým vlastnostem, úsudky recenzentů neodrážejí výhradně vědeckou kvalitu.“

„Recenzenti založení na LLM by proto měli procházet zátěžovými testy s přeformulovanými texty, jejichž obsah zůstává zachován, aby se zjistilo, zda jazykové změny systematicky ovlivňují jejich hodnocení.“

Autoři dále navrhují, aby tyto testy výslovně zkoumaly jak hodnocení článků, tak písemné recenze, a ověřily, zda se sebevědomý jazyk nezaměňuje za přesvědčivější vědecké důkazy.

Metodika

Z příspěvků zaslaných na konferenci International Conference on Learning Representations (ICLR) v roce 2026 bylo vybráno celkem 504 vědeckých článků. Vzorek byl rozdělen rovným dílem na přijaté a zamítnuté články; z každé z 21 výzkumných kategorií konference bylo vybráno 24 příspěvků:

Třífázová testovací metoda. Vědecké články byly přepsány tak, aby se měnila zdánlivá úroveň znalosti angličtiny nebo míra jistoty, při zachování jejich závěrů; před hodnocením recenzenty s umělou inteligencí za totožných podmínek se ověřovalo, zda se při přepisu nezměnil styl nebo význam; a následně se porovnávaly rozdíly v hodnocení.

Každý článek byl anonymizován a přepsán pomocí Claude Opus 5. Vznikly tak alternativní verze, jejichž cílem bylo ověřit jak míru jistoty, s níž byla tvrzení formulována, tak zdánlivou úroveň autorovy znalosti angličtiny. V rámci testů míry jistoty byla tvrzení formulována buď důrazněji, nebo obezřetněji. Slova vyjadřující jistotu, například „zjevně“ a „jistě“, se v „sebejistých“ verzích používala častěji, zatímco opatrnější formulace, jako „může“ a „naznačuje“ , se upřednostňovaly v obezřetnějších návrzích.

Ve všech případech zůstala vědecká tvrzení, důkazy, výsledky, odborná terminologie i celková struktura beze změny. Autoři uvádějí, že pokyny k přepisu vycházely z uznávaného lingvistického výzkumu, nikoli z obecných požadavků napodobovat konkrétní styly psaní.

Kontrola přepisů

Při kontrole se každý přepis porovnával s původním textem pomocí sémantické podobnosti, která posuzuje, zda si pasáže zachovávají svůj význam, a podobnosti TF-IDF (která měří, nakolik se zachovala slovní zásoba a terminologie). Obě skóre se blížila hodnotě 1, což potvrzuje vysokou podobnost s původními texty:

Kontrola přepsaných článků. Sebejisté verze používaly důraznější jazyk, zatímco obezřetné verze vyjadřovaly větší nejistotu. Skóre blížící se hodnotě 1 potvrzují vysokou podobnost s původními texty a barevné zvýraznění označuje vyšší hodnoty u každého sledovaného ukazatele.

Testováno bylo šest recenzentů s umělou inteligencí: proprietární modely GPT-5.5, Claude Sonnet 4.6 a Gemini 3.5 Flash a modely s otevřenými vahami Gemma 3, Qwen3 VL a GLM 4.7. Byly vybrány mimo jiné proto, že u všech data ukončení znalostí předcházejí roku 2026, což snižuje riziko, že předem znaly rozhodnutí o přijetí článků.

Každý přepsaný článek byl nezávisle hodnocen podle pokynů pro recenze používaných na konferencích. Aby se zjistilo, nakolik se mohou hodnocení při opakovaném posuzování lišit, každý model desetkrát posoudil deset náhodně vybraných článků.

Výsledky

Testy zkoumaly, zda šest vybraných recenzentů s umělou inteligencí bude soustavně upřednostňovat určité styly psaní. Porovnávaly články napsané „sebejistým“ nebo „obezřetným“ jazykem a články připomínající akademickou angličtinu rodilých či nerodilých mluvčích^†.

Výsledky porovnání hodnocení 504 vědeckých článků přepsaných různými styly pomocí umělé inteligence. Procentuální podíly preferencí ukazují, která verze získala vyšší hodnocení; shodné výsledky jsou uvedeny v závorkách. Poměry vyjadřují, kolikrát častěji byla upřednostněna jedna verze; změny rozhodnutí ukazují, jak často změna formulace obrátila rozhodnutí o přijetí či odmítnutí. Tučně vytištěné statistické hodnoty označují významné rozdíly. Relevantní je spodní část, protože hypotéza uvedená nahoře není v tomto článku rozebírána (viz poznámky pod čarou).

Všech šest recenzentů s umělou inteligencí soustavně upřednostňovalo sebejisté psaní. Nejsilnější preferenci projevil Claude Sonnet 4.6, který, jak už bylo zmíněno, udělil „sebejistým“ návrhům vyšší hodnocení sedmkrát častěji než „obezřetným“.

Článek byl považován za přijatý, pokud jeho hodnocení dosáhlo 4,5 bodu z 10. Změna stylu psaní však někdy posunula hodnocení téhož článku nad nebo pod tuto hranici, a rozhodnutí se tak obrátilo; tyto změny obecně hrály ve prospěch sebejistého psaní.

Claude Sonnet 4.6 si vedl obzvlášť špatně: ve 21 % případů přijal „sebejistou“ verzi a odmítl „obezřetnou“ verzi. Opačný výsledek nastal pouze ve 2,8 % případů.

Tento vliv se projevil také v písemných recenzích: recenzenti s umělou inteligencí častěji chválili metody, teorie a vědecký přínos článku, pokud byla jeho tvrzení formulována sebejistě. Vzhledem k tomu, že samotný výzkum se nezměnil, lze příznivější hodnocení přičíst pouze rozdílům ve způsobu prezentace a tónu.

Závěr

Pokaždé, když lidé pomocí AI (byť neúmyslně) zvyšují poměr signálu k šumu, je AI zkoušena jako řešení – v tomto případě má pomoci zvládnout prudký nárůst počtu zaslaných výzkumných prací o umělé inteligenci; tento nápor v poslední době posílil pravomoci Arxivu při výběru příspěvků a zpřísnil jeho kritéria. Už by však mělo být jasné, že nejpokročilejší LLM i všechny jejich méně výkonné varianty mají stále příliš mnoho výstředností na to, abychom jim mohli obecně svěřit roli hodnotitelů – s výjimkou nejpřísněji parametrizovaných podmínek.

V takových případech by pravděpodobně bylo lepší proměnit menší LLM ve specializované nástroje pro hodnocení pomocí dolaďování nebo LoRAs. To však vyžaduje alespoň trochu práce navíc, případně i dodatečnou investici, zatímco „vanilkové“ lokální instalace nebo volání API jsou rychlejší a poměrně levné.

Tato poměrně stručně napsaná práce může být přesto pro běžné uživatele LLM zajímavější než průměrná studie, protože už dobře znají „nadšení“ jako úskalí, s nímž se musejí vypořádat, aby mohli s AI efektivně pracovat; a pokud tento i podobné problémy LLM zatím nelze vyřešit, lze s nimi alespoň počítat.

Než začneme tento druh povrchního ztotožňování při posuzování AI příliš zesměšňovat, stojí za to připomenout, že tyto systémy jsou na tom stejně bezradně jako my ostatní, pokud jde o epistemologii – hledání nepochybné autority; i my si v průběhu dějin velmi často pleteme signál se samotnou věcí.

* S názvem „Styl nad obsahem? Jazyková zaujatost při vzájemném hodnocení založeném na LLM“

^† Nebo aby připomínal akademickou angličtinu psanou rodilými či nerodilými mluvčími – paralelní hypotéza, kterou se práci nepodařilo stejně přesvědčivě prokázat a která se v tomto článku neprobírá.

Poprvé zveřejněno v úterý 27. října 2026