Nejlepší modely AI mají problém s dlouhými dokumenty

Nová studie od výzkumníků z LMU Mnichov, Mnichovského centra pro strojové učení a Adobe (ADBE ) Research odhalila slabost v modelech AI jazyka: mají problém s porozuměním dlouhým dokumentům způsobem, který vás možná překvapí. Zjištění výzkumného týmu ukazují, že i nejpokročilejší modely AI mají potíže s propojením informací, když nemohou spoléhat na jednoduché slovní shody.

Skrytý problém s čtenářskými dovednostmi AI

Představte si, že se snažíte najít konkrétní detail ve dlouhé výzkumné práci. Můžete prolétnout ji, vytvářet mentální spojení mezi různými částmi, aby jste mohli poskládat potřebné informace. Mnoho modelů AI, jak se ukázalo, nefunguje tímto způsobem vůbec. Místo toho často silně spoléhají na nalezení přesných slovních shod, podobně jako když používáte Ctrl+F na počítači.

Výzkumný tým vyvinul novou benchmarckovou metodu nazvanou NOLIMA (No Literal Matching), aby otestoval různé modely AI. Výsledky ukázaly, že když modely AI pracují s texty delšími než 2 000 slov, jejich výkon dramaticky klesá. Do doby, než dosáhnou 32 000 slov – což je délka krátké knihy – většina modelů funguje na polovině své obvyklé kapacity. To zahrnovalo testování hlavních modelů, jako je GPT-4o, Gemini 1.5 Pro a Llama 3.3 70B.

Zvažte například lékaře, který používá AI pro analýzu zdravotních záznamů pacientů, nebo právní tým, který používá AI pro kontrolu právních dokumentů. Pokud AI přehlédne důležité spojení, protože relevantní informace používají jinou terminologii než vyhledávací dotaz, důsledky by mohly být významné.

Proč slovní shody nejsou dostatečné

Současné modely AI zpracovávají text pomocí something nazvaného attention mechanism. Tento systém pomáhá AI soustředit se na různé části textu, aby pochopila vztahy mezi slovy a myšlenkami. Když pracují s kratšími texty, funguje to dostatečně dobře. Avšak výzkum ukazuje, že tento mechanismus se stává zahlceným, když texty jsou delší, zejména když nemůže spoléhat na přesné slovní shody.

Test NOLIMA odhalil tuto limitaci tím, že požádal modely AI o otázky, jejichž odpovědi vyžadovaly pochopení kontextu spíše než nalezení shodných slov. Výsledky byly výmluvné. Zatímco modely fungovaly dobře s krátkými texty, jejich schopnost vytvářet tato spojení dramaticky klesala, když délka textu vzrostla. Ani specializované modely navržené pro úkoly vyžadující myšlení nedosáhly 50% přesnosti, když pracovaly s delšími dokumenty.

Bez opory slovních shod modely AI měly potíže s:

• Propojením souvisejících konceptů, které používají odlišnou terminologii
• Následováním více kroků při myšlení
• Nalezením relevantních informací, když se objevily po klíčovém kontextu
• Ignorováním matoucích slovních shod v irelevantních částech

Čísla vyprávějí příběh

Výzkum ukazuje, jak modely AI zpracovávají delší texty. GPT-4o ukázal nejsilnější výkon, udržoval efektivitu až do asi 8 000 tokenů (přibližně 6 000 slov). Avšak i tento nejlepší výsledek ukázal významný pokles s delšími texty. Většina ostatních modelů, včetně Gemini 1.5 Pro a Llama 3.3 70B, prokázala prudký pokles výkonu mezi 2 000 a 8 000 tokeny.

Pokles výkonu se stal ještě více zřetelným, když úkoly vyžadovaly více kroků při myšlení. Například, pokud model potřeboval udělat dvě logické spojení – jako porozumění, že postava žila poblíž památníku, a že památník byl ve specifickém městě – úspěsnost dramaticky klesla. Výzkum ukázal, že tento typ více kroků při myšlení se stal zvláště náročným v textech delších než 16 000 tokenů, i když byly použity techniky navržené pro zlepšení myšlení, jako je Chain-of-Thought prompting.

Co dělá tato zjištění zvláště pozoruhodnými, je to, že zpochybňují tvrzení o schopnosti modelů AI zpracovávat dlouhé kontexty. Zatímco mnohé modely inzerují podporu pro rozsáhlé kontextové okna, benchmarck NOLIMA ukazuje, že efektivní pochopení klesá daleko před dosažením těchto teoretických limitů.

Zdroj: Modarressi et al.

Když AI přehlédne les pro stromy

Tyto limitace mají vážné důsledky pro to, jak používáme AI v reálných aplikacích. Zvažte například právní systém AI, který prohledává právní dokumenty. Může přehlédnout relevantní precedenty jednoduše proto, že používají odlišnou terminologii než vyhledávací dotaz. Systém se místo toho může soustředit na méně relevantní případy, které se shodují s vyhledávacími termíny.

Dopad na vyhledávání a analýzu dokumentů je zvláště znepokojivý. Současné systémy AI pro vyhledávání často spoléhají na techniku nazvanou Retrieval-Augmented Generation (RAG). I když tyto systémy úspěšně načtou dokument, který obsahuje správné informace, AI může selhat v rozpoznání jejich relevance, pokud se terminologie liší od vyhledávacího dotazu. Místo toho se AI může soustředit na méně relevantní dokumenty, které sdílejí povrchní podobnosti s vyhledávacími termíny.

Pro uživatele AI tato zjištění naznačují několik důležitých úvah:

Nejprve, kratší dotazy a dokumenty pravděpodobně povedou k spolehlivějším výsledkům. Když pracujete s delšími texty, rozdělení na menší, zaměřené segmenty může pomoci udržet výkon AI.

Druhé, uživatelé by měli být zvláště opatrní, když žádají AI o propojení různých částí dlouhého dokumentu. Výzkum ukazuje, že modely AI mají největší potíže, když potřebují spojit informace z různých částí, zejména když spojení není zřejmé prostřednictvím sdílené terminologie.

Třetím, tato limitace zdůrazňuje pokračující důležitost lidského dohledu. Zatímco AI může být mocným nástrojem pro zpracování a analýzu textu, neměl by být považován za jediný prostředek pro identifikaci důležitých spojení v dlouhých nebo složitých dokumentech. Lidská schopnost udržet kontext a vytvářet konceptuální spojení přes dlouhé texty zůstává nadřazená současným schopnostem AI.

Zjištění slouží jako připomínka, že navzdory rychlému pokroku v technologiích AI tyto systémy stále zpracovávají informace velmi odlišně od lidí. Pochopení těchto limitací je zásadní pro efektivní použití nástrojů AI a znalost, kdy lidský úsudek zůstává nezbytný.

Co dál

Pochopení limitací současných modelů AI pro zpracování dlouhých textů otevírá důležité otázky o budoucnosti vývoje AI. Výzkum za benchmarckem NOLIMA ukázal, že naše současné přístupy k zpracování textu AI mohou vyžadovat významné úpravy, zejména v tom, jak modely zpracovávají informace napříč delšími pasážemi.

Současné řešení ukázala pouze částečný úspěch. Chain-of-Thought prompting, který povzbuzuje modely AI k rozdělení svého myšlení na kroky, trochu zlepšuje výkon. Například, když se použije tato technika, Llama 3.3 70B ukázala lepší schopnost zpracovat delší kontexty. Avšak tento přístup stále selhává, když se jedná o texty delší než 16 000 tokenů, naznačující, že potřebujeme fundamentálnější řešení.

Mechanismus pozornosti, který tvoří základ, jak současné modely AI zpracovávají text, potřebuje přehodnocení. Představte si to jako pokus o vedení konverzace v přeplněné místnosti – čím déle konverzace trvá, tím těžší je sledovat všechny důležité body, které byly zmíněny dříve. Naše současné modely AI čelí podobné výzvě, ale v mnohem větším měřítku.

Pohledem do budoucnosti, výzkumníci zkoumají několik slibných směrů. Jedním z přístupů je vývoj nových způsobů, jak AI organizuje a priorizuje informace v dlouhých textech, pohybující se za rámec jednoduchého slovního shodu k pochopení hlubších konceptuálních spojení. To by mohlo fungovat podobně, jako když lidé vytvářejí mentální mapy informací, spojující myšlenky na základě významu spíše než jen sdílené terminologie.

Další oblast vývoje se zaměřuje na zlepšení, jak modely AI zpracovávají to, co výzkumníci nazývají “latentními skoky” – logické kroky potřebné pro propojení různých částí informací. Současné modely mají potíže s těmito spojeními, zejména v delších textech, ale nové architektury by mohly pomoci překlenout tuto mezeru.

Pro ty, kteří pracují s nástroji AI dnes, tato zjištění naznačují několik praktických přístupů:

Zvažte rozdělení delších dokumentů na smysluplné segmenty, když pracujete s AI. To pomáhá vytvářet logické sekce, které zachovávají důležité kontexty. Například, pokud analyzujete výzkumnou práci, můžete ponechat sekce metodologie a výsledků pohromadě, protože často obsahují související informace.

Když žádáte AI o analýzu delších textů, buďte specifičtí ohledně spojení, která chcete, aby vytvořila. Místo toho, abyste kladli široké otázky, směrujte AI k specifickým vztahům, které vás zajímají. To pomáhá kompenzovat současné limitace modelu v vytváření těchto spojení nezávisle.

Možná nejimportnější je zachovat realistické očekávání o schopnostech AI s delšími texty. Zatímco tyto nástroje mohou být neuvěřitelně užitečné pro mnoho úkolů, neměly by být považovány za kompletní náhradu lidské analýzy složitých dokumentů. Lidská schopnost udržet kontext a vytvářet konceptuální spojení přes dlouhé texty zůstává nadřazená současným schopnostem AI.

Cesta vpřed pro vývoj AI v této oblasti je jak náročná, tak vzrušující. Jakmile lépe pochopíme tyto limitace, můžeme pracovat na systémech AI, které skutečně chápou dlouhé texty, spíše než je pouze zpracovávají. Do té doby, efektivní použití AI znamená pracovat s jeho současnými limitacemi, zatímco oceňujeme jeho silné stránky.