Proč se text vytvořený umělou inteligencí čte hůř, než si myslíte

Modely umělé inteligence možná začíná být těžší pochopit, protože jejich trénování stále více odměňuje efektivní řešení problémů namísto srozumitelného vysvětlování lidem.

Výše uvedenou neupravenou větu napsal ChatGPT v reakci na žádost o jednostránkové shrnutí vědecké studie ve stylu ELI5; najdeme v ní přinejmenším několik jazykových neduhů popsaných v této nové studii*. Nová práce dochází k závěru, že se tento problém týká všech špičkových modelů i modelů, které se jim blíží, a také některých testovaných modelů s otevřenými váhami.

Například úvodní část úseku „jejich trénování stále více odměňuje efektivní řešení problémů“ ilustruje tvrzení studie, že modely umělé inteligence někdy přisuzují neživým věcem lidské jednání (protože se v příkladu výše o „trénování“ mluví jako o něčem, co něco aktivně odměňuje).

To může ztížit rychlé pochopení fráze, protože si musíme v duchu uvědomit, že jde o obrazné vyjádření, a nebrat ji doslova (což je mnohem jednodušší).

Závěrečná část úseku „stále více odměňuje efektivní řešení problémů“ také stlačuje několik myšlenek dohromady a nutí čtenáře domýšlet, co je odměňováno, co se řeší a co se stává efektivnějším.

Studie uvádí^†:

„[Readers] využívají živost jako vodítko při zpracování a bez dalšího kontextu může nesoulad vyvolat odpověď P600^†† spojenou s opětovnou analýzou.

„Přeformulování těchto vět tak, aby se vyhnuly neživotným podmětům, by však mohlo vyžadovat jejich prodloužení: například slovo ‚kousnutí‘ zastupuje výraz ‚způsobuje problém‘.

„Domníváme se, že si modely během trénování mohly osvojit takové konstrukce jako účinný, byť nestandardní způsob vyjadřování významu, který by jinak zabral více tokenů.“

Cože?

V tom spočívá hlavní myšlenka studie: protože jsou moderní modely umělé inteligence, jako ChatGPT, Claude a Gemini, optimalizovány pro různé typy řešení problémů, nikoli konkrétně pro komunikaci, mají sklon předkládat jazyk v podobě velmi zhuštěných sdělení, která je třeba rozklíčovat.

To mě překvapilo, protože se ChatGPT a jeho protějšky neustále snažím přesvědčit, aby byly méně upovídané a stručnější – tento problém je přitom v odborné literatuře rozpoznán a řešen.

Studie naopak představuje upovídanost jako jakousi zipovou bombu, která brání snadnému porozumění, i když věta není příliš dlouhá. Když tedy spojíme dva související problémy – přílišnou výchozí délku odpovědí a zjištění studie o jejich nadměrné zhuštěnosti –, můžeme si představit, že typický styl výchozích odpovědí špičkových modelů umělé inteligence je velmi specifický (a tento poměrně úsečný styl se patrně částečně využívá jako rozlišovací znak v detektorech textu vytvořeného umělou inteligencí, ačkoli se tím studie nezabývá).

Autoři se zabývají také řetězenými podstatnými jmény, která ilustruje problematické slovní spojení Jednotka pomáhá psovi kousnout^†:

„V angličtině podstatná jména běžně rozvíjejí jiná podstatná jména jako přídavná jména: ve slovním spojení coffee shop slovo coffee rozvíjí slovo shop, přestože samo obvykle vystupuje jako podstatné jméno. Tato vlastnost umožňuje skládat několik podstatných jmen do bohatých složených výrazů s velmi specifickým významem.

Takové řetězce však mohou způsobovat nejednoznačnost v tom, jak se jednotlivá slova sdružují, jako v titulku Jednotka pomáhá oběti pokousané psem, a narušovat plynulé čtení.“

Jsou tedy velké jazykové modely kvůli zhušťování upovídané, a jsou dokonce dvojnásob upovídané tím, že v odpovědi na dotaz vytvářejí příliš velké množství zhuštěného textu? To znamená, že nejenže je třeba přečíst velké množství textu, ale samotný text může obsahovat také spoustu „implicitního“ významu, který je nutné rozklíčovat.

Jedna studie z roku 2023 vyslovila domněnku, že velké jazykové modely mohou být zbytečně upovídané kvůli využívání hodnotitelů s umělou inteligencí při trénování, protože ti často upřednostňují delší odpovědi – a to i přesto, že lidé v testech studie dávali přednost kratším.

Autoři nové práce přisuzují (viz předchozí citaci) některé sklony špičkových modelů ke zhušťování jejich architektonickému nastavení, které šetří tokeny, což je v dnešní době velkorysý předpoklad.

Podívejme se na metody, data a testy, které autoři studie použili.

Data a metody

Neobvyklé kombinace slov (zkoumané pomocí n-gramů, tedy slovních posloupností) byly analyzovány z hlediska nepředvídatelnosti; vzácné kombinace byly spojovány s větší obtížností při čtení.

Délka závislostí (vzdálenost mezi gramaticky propojenými slovy) se měřila také, protože větší vzdálenost klade vyšší nároky na pracovní paměť – zejména když podmět a jeho sloveso odděluje několik dalších slov.

Vztažné věty s předmětem (konstrukce jako „dům, který dodavatelé postavili“) byly zkoumány zejména tehdy, když se vynechávají nepovinná slova (například „který“ ve větě „dům, který dodavatelé postavili“).

Zkoumaly se také výše zmíněné řetězce podstatných jmen (tři nebo více podstatných jmen spojených dohromady, jako ve spojení „generátor soundtracků k hororovým filmům“), protože vztahy mezi jejich jednotlivými slovy mohou být nejednoznačné.

Zkoumala se slovesa odvozená od podstatných jmen (podstatná jména použitá jako slovesa, například „vidličkuj to“ místo „dej to na vidličku“), a také neživotné podměty spojené se slovesy, která se obvykle pojí s živými bytostmi (jak bylo uvedeno výše). Obě konstrukce umožňují vyjádřit význam menším počtem slov, čtenáři však mohou potřebovat další výklad.

Zkoumané modely

Výzkumníci shromáždili konverzace vytvořené 14 modely umělé inteligence: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 a Fable 5; GPT-5.6 Luna, Terra a Sol; Olmo Base, Instruct a Think; a Llama Base and Instruct.

Testy zahrnovaly deset úvodních zadání pro obecnou konverzaci a pět pro programování. V každém úkolu měl model naklonovat skutečný veřejný repozitář na GitHubu, najít chyby a opravit je v izolovaném prostředí.

Konverzace byly omezeny na 12 výměn, zatímco programovací relace na 11, po nichž následovala jednotná závěrečná zpráva. V samostatném testu měl každý model napsat sedm esejí podle zadání ze souboru dat PERSUADE 2.0.

Pro srovnání byly lidské texty čerpány ze zdrojů, které co nejvíce odpovídaly třem typům výstupů umělé inteligence: pro obecnou konverzaci se použil OpenSubtitles (soubor filmových a televizních titulků, který nesouvisí s platformou open source subs); pro diskuse o programování StackExchange (online síť fór s otázkami a odpověďmi); a pro písemné úkoly studentské eseje z výše zmíněného souboru dat PERSUADE 2.0. Jako další srovnávací zdroj posloužila také Wikipedie.

Tam, kde byla k dispozici vhodná lidská data, se stejné jazykové rysy měřily v lidských textech i textech vytvořených umělou inteligencí; tyto referenční soubory se použily také k posouzení četnosti slovních spojení.

K odlišení stylistických preferencí od jazykové nutnosti se použil překlad tam a zpět (z angličtiny do japonštiny a zpět) pomocí modelu NLLB-200. Význam zůstal z velké části zachován, zatímco větná stavba se změnila, což umožnilo rozpoznat zbytečně složité formulace.

Výsledky

Experiment 1

Jak ukazuje následující přehled, několik obtížných jazykových konstrukcí se v původních textech vytvořených umělou inteligencí vyskytovalo častěji, zejména u nejpokročilejších modelů. Výzkumníci to interpretovali jako důkaz, že modely upřednostňují zbytečně složité formulace:

Srovnání původních textů vytvořených umělou inteligencí s jejich verzemi přeloženými do japonštiny a zpět do angličtiny. Zelené tečky označují jazykové vzorce používané častěji v původních textech; růžové tečky vzorce častější po překladu. Rozdíly byly obecně výraznější u modelů GPT a Claude. Zdroj

Šest jazykových rysů bylo porovnáno napříč 14 modely umělé inteligence ve třech situacích (chatování, programování a psaní esejí). V chatu se testovalo 12 modelů, při programování devět a při psaní esejí všech 14:

Srovnání šesti jazykových rysů napříč modely umělé inteligence při chatování, programování a psaní esejí. Každý kosočtverec představuje souhrnný výsledek modelu; vodorovné úsečky znázorňují 95% intervaly spolehlivosti. Přerušované svislé čáry označují výchozí hodnoty lidských textů z OpenSubtitles (chatování), StackExchange (programování) a studentských esejí ze souboru dat PERSUADE 2.0 (psaní esejí). Tečkované čáry označují srovnání s Wikipedií. Vyšší hodnoty obecně znamenají častější použití měřené konstrukce nebo vyšší jazykovou složitost. Pro lepší rozlišení se podívejte do původní studie.

Původní text vytvořený umělou inteligencí byl také porovnán s jeho verzemi přeloženými zpět, což umožnilo měřit rozdíly ve stavbě vět:

Srovnání původního textu vytvořeného umělou inteligencí (plné kosočtverce) s verzemi přeloženými do japonštiny a následně zpět do angličtiny pomocí NLLB-200 (prázdné kroužky). Růžové čáry označují rysy, které se po překladu vyskytovaly častěji; zelené čáry označují rysy, které se častěji vyskytovaly v původních textech. Hvězdičky označují statistickou významnost (jedna, dvě nebo tři hvězdičky odpovídají postupně silnějším statistickým důkazům). Většina konstrukcí spojovaných s obtížnou čitelností se překladem omezila, zejména u nejmodernějších modelů. Podrobnější zobrazení najdete v původní studii.

U nejmodernějších modelů a modelů těsně za špičkou se projevovalo nadužívání neobvyklých kombinací slov, sloves odvozených od podstatných jmen, neživotných podmětů a předmětných vztažných vět s vynechanými volitelnými slovy (viz graf výše). Tyto sklony byly obecně méně výrazné u modelů Llama a Olmo Base, zato výraznější u modelu Olmo Think.

Rozdíly byly při psaní esejí menší než v chatu nebo při programování. Autoři to přisuzují tomu, že eseje vznikají na základě jediného zadání, zatímco delší konverzace s mnoha výměnami mohou podporovat větší jazykovou úspornost.

Autoři uvádějí:

„Eseje PERSUADE vykazují při překladu tam a zpět v několika kategoriích (měření pomocí n-gramů, délky závislostí, řetězce podstatných jmen, slovesa odvozená od podstatných jmen) menší změny než chat a [coding].

„Předpokládáme, že je to tím, že vznikají na základě jediného zadání, na rozdíl od mnoha opakovaných výměn v chatu a při programování. Domníváme se, že určité vzorce se mohou objevovat během dlouhých konverzací s mnoha výměnami (které mohou vyžadovat větší kompresi informací).“

Nejmenší změny po překladu byly zaznamenány u modelů Llama a Olmo Base a Instruct, které se také nejvíce podobaly studentským esejím, pokud jde o kombinace slov a používání sloves. Naproti tomu model Olmo Think se podle zjištění choval spíše jako nejmodernější modely. Claude Opus 5.5 používal méně obtížných konstrukcí než Opus 5 v 19 z 21 srovnání; v osmi z nich se 95% intervaly spolehlivosti nepřekrývaly.

Experiment 2

Druhý experiment měl ověřit, zda tlak na vytváření kratších odpovědí s vyšší informační hustotou může vést modely k upřednostňování jazykových konstrukcí, kterým lidé hůře rozumějí.

Model Qwen2.5-1.5B-Instruct byl doladěn pomocí optimalizace relativní politiky podle skupiny (GRPO) a dostal za úkol převádět strukturované popisy událostí ve formátu JSON na anglické věty.

Upravovaly se dvě vlastnosti trénování: nakolik mohl model měnit svůj obvyklý výběr slov (β) a jak přísně byl penalizován za vytváření delších odpovědí (λ). Každou událost bylo možné vyjádřit dvěma gramaticky správnými způsoby, o nichž se vědělo, že se liší počtem tokenů.

Například „He sent us a photo“ vyžadovalo šest tokenů, zatímco „He sent a photo to us“ jich vyžadovalo sedm. Použil se také samostatný test, v němž dvě formulace téhož významu vyžadovaly stejný počet tokenů, aby se ověřilo, zda jsou rozdíly způsobeny délkou vět.

Účinek se testoval na dosud neviděných větách pomocí čtyř konstrukcí, s nimiž se model setkal během trénování; dvou netrénovaných konstrukcí obsahujících volitelné anglické slovo „that“; a nesouvisejících konstrukcí se přivlastňovacími tvary, kvantifikátory, trpným rodem a účelovými větami.

Testy měly zjistit, zda se model naučí upřednostňovat kratší formulace a zda tuto preferenci přenese i na konstrukce, s nimiž se během trénování nesetkal:

Vliv penalizace delších odpovědí během trénování. Příklad kratšího a delšího vyjádření je uveden v části A. Preference kratších konstrukcí jsou měřeny v části B, zatímco testy konstrukcí, s nimiž se model při trénování nesetkal, jsou uvedeny v částech C a D. Oranžová označuje trénování bez omezení změn oproti původnímu modelu; modrá označuje trénování s tímto omezením. Přerušované čáry znázorňují preference původního modelu. Silnější penalizace obecně vedly k výraznější preferenci kratších formulací, a to i u konstrukcí, které při trénování chyběly. Pro lepší rozlišení nahlédněte do původní studie.

S rostoucí penalizací delších odpovědí se častěji volila kratší formulace (jak je znázorněno přímo výše). Bez penalizace KL (omezení toho, nakolik se model mohl odchýlit od svých původních predikcí slov) byla změna rychlá; s touto penalizací se stejný efekt projevoval pozvolněji. Bez kterékoli z těchto penalizací se preference mezi jednotlivými běhy trénování výrazně lišily, ale i malá penalizace délky vedla k jednotné preferenci kratších variant.

Tato preference se projevila také u dosud neviděných větných konstrukcí s volitelným slovem ‘that’. Přenos na vzdálenější gramatické konstrukce byl podstatně slabší; efekt se projevil pouze u přivlastňovacích konstrukcí, když penalizace KL chyběla.

Autoři docházejí k závěru:

‘Tyto výsledky považujeme za důkaz koncepce, že penalizace délky používaná při posilovacím učení s GRPO může přímo ovlivnit gramatické rysy.

‘Modelu nebylo přímo zadáno, aby používal stručný či hutný jazyk, ani nedostal přímou informaci o dostupnosti syntaktických variant.

‘Penalizace naopak vedla ke spontánní preferenci kratších variant syntaktických konstrukcí.’

Závěr

Již nějakou dobu mě zajímají různé kotvy, které charakterizují text generovaný umělou inteligencí – jak neúmyslné, tak záměrné. Tato nová práce proto osvětluje zdánlivý rozpor mezi známou upovídaností LLM a jejich dnes stejně dobře známou tendencí zhušťovat informace způsobem, který působí „snadno čitelně“ jen proto, že používá málo slov – takové čtení tohoto signálu je však zjevně nesprávné.

U LLM může stručnost textového výstupu signalizovat spíše složitost než podstatné zhuštění, jako by nám AI místo přímých pojmů, které se za slovy skrývají, předkládala hádanku. A to vše zřejmě proto, aby jediný model dokázal programovat a psát.

* S názvem „Proč je jazyk generovaný umělou inteligencí tak těžké pochopit?“, jejímiž autory jsou dva vědci z New York University a The University of Texas.

^† Moje převedení průběžných citací autorů na hypertextové odkazy.

^†† https://mikeydoes.com/glossary/p600/

Poprvé zveřejněno v pondělí 26. října 2026