Snížení verbosity zvyšuje přesnost velkých jazykových modelů

Nový výzkum zjistil, že donucení velkých jazykových modelů k poskytování kratších odpovědí výrazně zlepšuje přesnost a kvalitu jejich odpovědí.

Kdokoli, kdo se pokusil zastavit chatbota, aby “nebreptal”, bude znát závěry nového výzkumu: donucení AI k poskytování kratších odpovědí je činí přesnějšími.

Při zkoumání důvodů, proč větší modely AI hůře fungují než menší, v určitých případech (známých jako inverse scaling), výzkum zjistil, že donucení 31 populárních velkých jazykových modelů (LLM) k poskytování kratších odpovědí způsobilo až 26,3% zlepšení přesnosti jejich odpovědí:

‘Výsledky poskytují přesvědčivé kauzální důkazy: omezení délky odpovědí zlepšilo přesnost velkých modelů o 26,3 procentních bodů a snížilo mezery v inverse scaling o 67 % (z 44,2 % na 14,8 %, pairovaný t-test: t = 7,80, p < 0,0001).'

Nadměrná verbosity je častou stížností mezi koncovými uživateli, zejména mezi těmi, kteří používají komerční modely, jako je ChatGPT, kde podpůrná fóra obsahují tuto téma často.

Obor, který je nejvíce postižen odstraněním verbosity v odpovědích, je matematika, kde testované AI byly omezeny na odpovědi o délce 50 slov nebo méně. Pro čtenářské porozumění úkoly byly omezeny na odpovědi o délce pouhých 10 slov.

Příloha definuje tendenci AI k verbosity jako přemýšlení, kdy centrální zpráva není pouze zastíněna verbiáží, ale někdy i negativně ovlivněna jí. Čím menší je model, pozoruje se, že tato náprava je méně potřebná nebo funguje.

Výzkum dospívá k závěru, že není nic architektonického, co by potřebovalo být řešeno, aby se tato náprava aplikovala systematicky. Nicméně, v uživatelské relaci by direktiva k stručnosti pravděpodobně potřebovala opakování, zatímco globálně aplikovaný systémový prompt – který by potřeboval být implementován jako inženýrský výchozí stav na platformách, jako je ChatGPT – by mohl učinit kratší odpovědi výchozím chováním.

Prudké větry

Nic z toho nevysvětluje přesně, proč větší modely tendují k verbosity, protože to je něco, co postihuje i open source modely. Příloha naznačuje, že protokoly a běžné postupy v technice Reinforcement Learning from Human Feedback (RLHF) by mohly poskytnout vysvětlení*:

‘Přijatelný původ je RLHF align training, kde lidské anotátory odměňují úplnost nerovnoměrně ve větších modelech s větší kapacitou pro zpracování signálů délky–konzistentně s rozdíly v verbosity, které jsou větší v instrukčních verzích než v základních modelech. ‘

‘Předchozí práce dokumentuje systematickou délku偏见 v odměňujících modelech, kde anotátory spojují délku s kvalitou. ‘

‘Větší modely, které mají větší kapacitu pro uspokojení signálů délky, mohou internalizovat verbose generaci hlouběji než menší modely, produkující měřítko-závislé přemýšlení, které pozorujeme.’

U lidí může verbosity nastat k vyplnění ticha, nebo k maskování pocitů trapnosti, kvůli duševní nemoci, nebo k zakrytí nedostatku znalostí. V účinku by AI mohl být ovlivněn pouze absorpcí trénovacího dat, která odráží/projevuje tyto rysy.

V datových sbírkách existují další motivace pro prolix odpovědi, jako je SEO pobídka k produkci delšího textového obsahu, například v receptech, kde délka se stává (často mylně) spojena s autoritou.

Co nelze zcela vyloučit, je, že API-založené platformy, které jsou pobízeny k navigaci uživatelů na vyšší a dražší úroveň předplatného, buď podporují nebo nekontrolují verbosity, protože to zvyšuje použití tokenů poměrně levně, bez potřeby nadměrného rozumu nebo RAG volání^†.

Nová příloha se nazývá Omezení stručnosti obrací hierarchie výkonu v jazykových modelech a pochází z oddělení počítačových věd na Švédském polytechnickém institutu v Chattogramu v Bangladéši.

Metoda

Aby byly otestovány teorie přílohy, 31 jazykových modelů bylo vyhodnoceno – příliš mnoho, aby je zde bylo možné uvést v textové formě, ale jsou zobrazeny na obrázku níže:

Velké jazykové modely (LLM) testované v různých částech studií pro novou přílohu.

Modely byly vyhodnoceny proti pěti benchmarkovým sbírkám: GSM8K, pro matematické odůvodňování; BoolQ, pro čtenářské porozumění; CommonsenseQA, pro odůvodňování zdravého rozumu; ARC-Easy, pokrývající vědecké otázky; a MMLU-STEM, také pro vědecké znalosti.

Odpovědi byly generovány pomocí greedy dekódování k zajištění deterministických výstupů, poté byly extrahovány pomocí úkol-specifických pravidel, s přesností měřenou jako podíl správných odpovědí proti skutečným hodnotám.

Modely byly rozděleny podle velikosti, s těmi, které měly deset miliard parametrů nebo méně, byly považovány za “malé”, a ty, které měly více než sedmdesát miliard, byly považovány za “velké”, na základě pozorovaných výkonových mezer.

Inverse scaling byl kvantifikován porovnáním výkonu těchto skupin na každém problému, označujících případy, kdy menší modely outperformed větší ones; statistický efekt velikosti byl poté použit k potvrzení, že tyto mezery odrážejí konzistentní, významné rozdíly, spíše než šum.

Vyloučení recall

Aby se vyloučila možnost, že modely prostě pamatují trénovací data, byly provedeny tři samostatné kontroly, zkoumající, jak se liší odpovědi; jak se mění jejich délka; a jak jsou chyby provedeny. Pokud modely spoléhaly na zapamatované vzory, odpovědi by se tendenčně opakovaly nebo následovaly pevné šablony; místo toho, odpovědi se ukázaly být většinou jedinečné napříč modely, s pozorovatelnou variací v délce, z jedné odpovědi na druhou.

Chyby byly také přímo prozkoumány, s většinou selhání, která se objevila ve formě dlouhých, nesprávných vysvětlení, spíše než krátkých, vyhýbavých odpovědí – ukazujících, že modely skutečně generovaly skutečné odůvodňování, spíše než uložené odpovědi.

Data a testy

Testování pro jednotlivé otázky spíše než pro hlavních skóre, velká část benchmarkových úloh se ukázala být neinformativní, s 27,1% selháním rozlišit modely vůbec, protože buď všechny systémy uspěly, nebo všechny systémy selhaly, bez skutečného signálu o relativním výkonu:

Rozdělení úloh na úrovni problému napříč pěti benchmarky ukázalo, že podstatná část úloh selhala rozlišit mezi modely, zatímco menší, ale konzistentní část vykazovala inverse scaling, kde menší modely outperformed větší ones. Celková distribuce napříč 1 485 problémy ukazuje, že 7,7% vykazuje inverse scaling. Zdroj

Mezi otázkami, které skutečně rozlišovaly modely, většina se chovala, jak se očekávalo, s většími systémy, které fungovaly lépe, ale menší skupina vykazovala opačný vzorec, s menšími modely, které se ukázaly být lepší. Napříč všemi problémy, inverse scaling se objevil v 7,7% případů, ukazujících, že efekt není marginální.

Inverse scaling na povrchu

Napříč pěti benchmarky, 115 problémů bylo nalezeno, kde menší modely outperformed větší ones, tvořící 7,7% všech 1 485 úloh, ukazujících, že inverse scaling není žádným okrajovým jevem v tomto kontextu.

Skutečně, efekt se objevil ve každém datasetu: nejsilněji v BoolQ a slaběji v CommonsenseQA, ARC-Easy, GSM8K a MMLU-STEM, ukazujících, že je široce rozšířený, ale se liší podle úkolu:

Inverse scaling se objevil napříč všemi benchmarky, sahající od 3,9% v MMLU-STEM do 11,3% v BoolQ, s 115 problémy celkem. Mezery ve výkonu favorizovaly menší modely v průměru o 28,4 procentních bodů. Přesnost klesala, jak velikost modelu rostla, s malými modely, které dosáhly 66,1%, ve srovnání s 41,5% pro větší ones.

Velikost mezery se ukázala být podstatná, s menšími modely, které byly lepší o průměrných 28,4 procentních bodů, a každým případem, který ukazoval stejný směr výhody, ukazujících na konzistentní pokles výkonu, spíše než náhodné nebo ad hoc chyby.

Stejný vzorec se objevil napříč různými modelovými rodinami, včetně Llama, Qwen, Gemma a Mistral, kde větší verze podperformed menší ones, s přesností, která tendovala ke snížení, jak velikost modelu rostla na těchto problémech.

Mezera mezi malými a velkými modely byla dostatečně velká, aby šum nejspíše nevyvolal; a protože stejný vzorec se objevil napříč různými benchmarky, úkoly a modelovými rodinami, inverse scaling se objevil jako konzistentní, spíše než náhodný efekt.

Při pohledu dovnitř každé modelové rodiny, větší verze se opakovaně chovaly hůře než menší ones na těchto problémech, naznačujících, že pokles může být spojen se škálou samotnou, spíše než s rozdíly v designu.

Výsledky také ukazují, že existuje limit pro každý úkol, kde zvyšování velikosti modelu začíná poškozovat výkon, ukazujících, že větší modely ne vždy vedou k lepšímu výkonu.

Prozkoumání přemýšlení

Po stanovení, že větší modely někdy fungují hůře na určitých doménách, analýza se otočila k tomu, proč se to děje, navrhujících, že problém není nedostatek schopností, ale příliš mnoho vysvětlení – tj. případy, kdy delší odpovědi začínají zastírat správné odůvodňování.

Napříč daty, delší odpovědi byly spojeny s nižší přesností na těchto obtížných problémech, i když velké a malé modely produkovaly přibližně stejný počet kroků odůvodňování, naznačujících, že problém není v tom, kolik odůvodňování je provedeno, ale jak je vyjádřeno:

Krácení odpovědí zlepšilo výkon velkých modelů a snížilo mezery s menšími modely, snížením rozdílu z 44,2 procentních bodů na 14,8 (a v některých případech zcela obrácením), zatímco přímé formáty odpovědí dále zužovaly mezery. Největší zisky se objevily v GSM8K a MMLU-STEM, kde se pořadí otočilo ve prospěch větších modelů, a kontroly délky odpovědí potvrdily, že zásah fungoval, s výstupy klesajícími z přibližně 197 tokenů na méně než 80, spojující sníženou verbosity s lepší přesností.

Když byly odpovědi donuceny být kratší, velké modely se zlepšily výrazně, snížením podstatné mezery ve výkonu, a v některých případech téměř eliminací; naopak, malé modely se změnily velmi málo, ukazujících, že verbosity aktivně poškozovala větší systémy.

Účinek se ukázal lišit podle úkolu, s některými benchmarky, které silně profitovaly z kratších odpovědí, a jinými, které vyžadovaly určitou míru vysvětlení; ale v některých případech se pořadí mezi malými a velkými modely zcela otočilo, jakmile byla verbosity omezena, ukazujících, že větší modely měly skrytou schopnost zastíněnou přebytečnou verbální.

Další analýza ukázala, že velké modely tendovaly k produkci delších výstupů celkově, i když používaly mírně méně explicitních kroků odůvodňování, naznačujících více difúzní a méně strukturovaný styl odůvodňování.

Naopak, menší modely poskytly kratší, přímější odpovědi, naznačujících, že způsob, jakým je odůvodňování vyjádřeno, spíše než množství odůvodňování samo o sobě, způsobuje pokles výkonu.

Autoři závěrem uvádějí, že omezení stručnosti přinášejí výhody přesnosti a považují, že by to mohlo být základním rysem jazykových modelů, spíše než opakovanou, uživatelsky aplikovanou omezení, která nepřežijí přes relace; a uvádějí:

‘[Omezení stručnosti] pomáhají velkým modelům dramaticky, zatímco téměř neovlivňují malé modely. ‘

‘Pokud by verbosity byla náhodná, rather než kauzální, očekávali bychom uniformní změny přesnosti napříč oběma velikostními kategoriemi. Diferenční reakce potvrzuje, že přemýšlení je měřítko-závislý selhání, spíše než efekt obtížnosti úkolu.’

Závěr

Mimo open source verze testované výzkumníky, problém verbosity se objevuje, anekdoticky, s určitou frekvencí napříč mnoha velkými modely kromě ChatGPT, včetně Claude, Gemini a Grok.

Je-li nebo není, že tyto platformy přehlížejí problém verbosity, protože zvyšuje použití tokenů a podporuje vyšší a dražší předplatné, nezdá se rozumné, že by akceptovaly pokles přesnosti, který doprovází toto “navigování”.

Bude zajímavé vidět, zda nějaký empirický metodou lze určit s jistotou, odkud pochází tendence k verbosity. Kdokoli, kdo se pokusil dostat chatbota, aby skutečně komunikoval, spíše než “blogoval” verbose, ví, že model byl silně ovlivněn “vše-v-jednom” uživatelskými příručkami a “přijatými řešeními” ve svém tréninkovém datu.

Bude velmi zajímavé vidět, zda model speciálně trénovaný na konverzačních datech může skutečně odvrátit verbosity a tendenci k sumarizaci. Nicméně, zdá se, že by některé omezení nebo filtry musely být umístěny na váhu, kterou model je trénován k poskytování “rozhodnuté” odpovědi, aby se trénoval přímo i na předcházejícím materiálu – podstatně, na explicitním odůvodňování v turn-based konverzacích.

Pokud takovýto datový materiál bude pravděpodobně vzácný, možná jediný způsob, jak postupovat v tomto přístupu, by byl prostřednictvím syntetických dat, kde “komponované” závěrečné závěry jsou rozloženy konverzačně – ironicky, podobně, jako AI podcasty, které Google NotebookLM může interpretovat z prostého textového vstupu.

* Moje konverze autorů inline citací na hypertextové odkazy.

^† Ale buďme upřímní, mezera mezi skutečnými náklady na poskytování AI a poplatky za předplatné je目前 tak velká, že by to pouze poškodilo reputaci uživatelské základny, aniž by řešilo závažnou ekonomiku této fáze “konverze” a “konvergence” AI.

Poprvé publikováno v neděli, 5. dubna 2026