Velké jazykové modely si pamatují datové sady, které mají být testovány

Pokud se spolíte na umělou inteligenci, aby vám doporučila, co sledovat, číst nebo kupovat, nová studie naznačuje, že některé systémy mohou být založeny na paměti spíše než na dovednostech: místo toho, aby se naučily poskytovat užitečné návrhy, modely často vyvolávají položky z datových sad, které se používají k jejich hodnocení, což vede k přehnanému výkonu a doporučením, která mohou být zastaralá nebo špatně sladěná s uživatelem.

V strojovém učení se používá testovací rozdělení, aby se zjistilo, zda trénovaný model naučil řešit problémy, které jsou podobné, ale ne identické s materiálem, na kterém byl trénován.

Takže pokud je nový model rozpoznávání plemen psů trénován na datové sadě 100 000 obrázků psů, obvykle bude mít 80/20 rozdělení – 80 000 obrázků se dodává k trénování modelu; a 20 000 obrázků se drží zpátky a používá se jako materiál pro testování hotového modelu.

Je zřejmé, že pokud jsou data pro trénování modelu náhodou zahrnuta do “tajného” 20% sekce testovacího rozdělení, model bude mít tyto testy vynikající, protože již zná odpovědi (již viděl 100% doménových dat). Samozřejmě, že to přesně neodráží, jak bude model fungovat později, na nových “živých” datech, v produkčním kontextu.

Movie Spoilers

Problém, že umělá inteligence podvádí na svých zkouškách, vzrostl spolu se škálou modelů samotných. Protože dnešní systémy jsou trénovány na rozsáhlých, nekontrolovaných webových korporech, jako je Common Crawl, možnost, že benchmarkové datové sady (tj. zadržené 20%) se dostanou do trénovací směsi, již není okrajovým případem, ale výchozím stavem – syndromem známým jako kontaminace dat; a v této škále je manuální kurace, která by mohla odhalit takové chyby, logisticky nemožná.

Tento případ je zkoumán v nové studii z italského Politecnica di Bari, kde se výzkumníci zaměřili na nadměrnou roli jediné datové sady pro doporučení filmů, MovieLens-1M, o které se domnívají, že byla částečně pamatována několika předními modely AI během trénování.

Protože tato konkrétní datová sada je tak široce používána při testování systémů doporučení, její přítomnost v paměti modelů potenciálně činí tyto testy bezvýznamnými: co se zdá být inteligencí, může ve skutečnosti být pouze jednoduchou vzpomínkou, a co vypadá jako intuitivní dovednost doporučení, může být pouze statistickým odrazem předchozí expozice.

Autoři uvádějí:

‘Naše výsledky ukazují, že LLMs mají rozsáhlé znalosti datové sady MovieLens-1M, pokrývající položky, atributy uživatelů a historie interakcí. Značně, jednoduchý prompt umožňuje GPT-4o obnovit téměř 80% [jménů většiny filmů v datové sadě].

‘Žádný z prozkoumaných modelů není zbaven této znalosti, což naznačuje, že data MovieLens-1M jsou pravděpodobně zahrnuta v jejich trénovacích sadách. Pozorovali jsme podobné trendy při obnově atributů uživatelů a historie interakcí.’

Krátce nová studie se jmenuje Do LLMs Memorize Recommendation Datasets? A Preliminary Study on MovieLens-1M a pochází od šesti výzkumníků Politecnica. Roura pro reprodukování jejich práce byla zpřístupněna na GitHubu.

Metoda

Aby pochopili, zda modely skutečně učí nebo zda pouze vzpomínají, výzkumníci začali definovat, co znamená paměťování v tomto kontextu, a začali testovat, zda model může vyvolat konkrétní kusy informací z datové sady MovieLens-1M, když je vyvolán správným způsobem.

Pokud model viděl ID filmu a mohl produkovat jeho název a žánr, to se počítalo jako paměťování položky; pokud mohl generovat údaje o uživateli (jako je věk, zaměstnání nebo poštovní směrovací číslo) z ID uživatele, to se také počítalo jako paměťování uživatele; a pokud mohl reprodukovat hodnocení uživatele z známé sekvence předchozích, to se považovalo za důkaz, že model může vzpomínat konkrétní interakční data, spíše než učení obecných vzorců.

Každá z těchto forem vzpomínání byla testována pomocí pečlivě napsaných promptů, vytvořených tak, aby model neposkytoval nové informace. Čím byla odpověď přesnější, tím více bylo pravděpodobné, že model již narazil na tato data během trénování:

Zero-shot prompting pro hodnocení protokolu použitý v nové studii. Zdroj: https://arxiv.org/pdf/2505.10212

Data a testy

Aby vytvořili vhodnou datovou sadu, autoři provedli průzkum nedávných prací ze dvou hlavních konferencí v oboru, ACM RecSys 2024 a ACM SIGIR 2024. MovieLens-1M se objevil nejčastěji, citován v téměř jedné pětině příspěvků. Protože předchozí studie dosáhly podobných závěrů, nebylo to překvapivým výsledkem, ale spíše potvrzením dominance datové sady.

MovieLens-1M se skládá ze tří souborů: Movies.dat, který seznamuje filmy podle ID, názvu a žánru; Users.dat, který mapuje ID uživatelů na základní biografická pole; a Ratings.dat, který zaznamenává, kdo ohodnotil co a kdy.

Aby zjistili, zda tato data byla pamatována velkými jazykovými modely, výzkumníci použili techniky promptingu, které byly poprvé představeny v práci Extracting Training Data from Large Language Models, a později upraveny v následující práci Bag of Tricks for Training Data Extraction from Language Models.

Metoda je přímá: položit otázku, která odráží formát datové sady, a zjistit, zda model odpoví správně. Zero-shot, Chain-of-Thought a few-shot prompting byly testovány, a bylo zjištěno, že poslední metoda, ve které je modelu ukázán několik příkladů, byla nejúčinnější; i když by mohly být použity složitější přístupy, tato metoda byla považována za dostatečnou k odhalení toho, co bylo zapamatováno.

Few-shot prompt použitý k testování, zda model může reprodukovat konkrétní hodnoty MovieLens-1M, když je dotázán s minimálním kontextem.

Aby měřili, jak hluboko MovieLens-1M byla vstřebána, výzkumníci definovali tři formy vzpomínání: položka, uživatel a interakce. Tyto testy zkoumaly, zda model může vyvolat název filmu z jeho ID, generovat údaje o uživateli z ID uživatele nebo předpovědět hodnocení uživatele na základě předchozích.

Modely, které byly testovány, byly GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; a Llama-3.1 8B. Všechny byly spuštěny s teplotou nastavenou na nulu, top_p nastaveným na jeden a obě frekvence a přítomnost pokuty byly zakázány. Pečlivě nastavený náhodný seed zajišťoval konzistentní výstup napříč běhy.

Podíl záznamů MovieLens-1M získaných z movies.dat, users.dat a ratings.dat, s modely seskupenými podle verze a seřazeny podle počtu parametrů.

Aby prozkoumali, jak hluboko MovieLens-1M byla vstřebána, výzkumníci vyvolali každý model pro přesné položky z datové sady:

Výsledky z počátečních testů, uvedené výše, odhalují ostré rozdíly nejen mezi rodinami GPT a Llama, ale také napříč velikostmi modelů. Zatímco GPT-4o a GPT-3.5 turbo obnovují velké části datové sady s lehkostí, většina open-source modelů si vzpomíná pouze na zlomek stejného materiálu, což naznačuje nerovnoměrnou expozici této benchmarkové datové sady během předběžného trénování.

Toto nejsou malé rozpětí. Napříč všemi třemi soubory měly silné modely nepatrně lepší výkony než slabší modely, ale vzpomínaly si na celé části MovieLens-1M.

V případě GPT-4o byla pokrytí dostatečně vysoká, aby naznačila, že podstatná část datové sady byla přímo zapamatována.

Autoři uvádějí:

‘Naše výsledky ukazují, že LLMs mají rozsáhlé znalosti datové sady MovieLens-1M, pokrývající položky, atributy uživatelů a historie interakcí.

‘Značně, jednoduchý prompt umožňuje GPT-4o obnovit téměř 80% záznamů MovieID::Title. Žádný z prozkoumaných modelů není zbaven této znalosti, což naznačuje, že data MovieLens-1M jsou pravděpodobně zahrnuta v jejich trénovacích sadách.

‘Pozorovali jsme podobné trendy při obnově atributů uživatelů a historie interakcí.’

Další pozorování výzkumníků:

‘Ačkoli se zdá, že výkon doporučení je vynikající, srovnání Tabulky 2 s Tabulkou 1 odhaluje zajímavý vzorec. Uvnitř každé skupiny model s vyšší pamětí také prokazuje lepší výkon v úkolu doporučení.

‘Například GPT-4o překonává GPT-4o mini, a Llama-3.1 405B překonává Llama-3.1 70B a 8B.

‘Tyto výsledky zdůrazňují, že hodnocení LLMs na datech, které prosákly do jejich trénovacích dat, může vést k přehnanému výkonu, poháněnému pamětí spíše než generalizací.’

Pokud jde o dopad velikosti modelu na tuto problematiku, autoři pozorovali jasnou korelaci mezi velikostí, pamětí a výkonem doporučení, přičemž větší modely nejen uchovávaly více datové sady MovieLens-1M, ale také prokazovaly lepší výkon v následujících úkolech.

Llama-3.1 405B, například, prokázala průměrnou míru paměti 12,9%, zatímco Llama-3.1 8B uchovávala pouze 5,82%. Tento pokles o téměř 55% v paměti odpovídal poklesu o 54,23% v nDCG a o 47,36% v HR napříč hodnotícími limity.

Tento vzorec platil po celou dobu – kde paměť klesala, klesal také zdánlivý výkon:

‘Tyto výsledky naznačují, že zvýšení velikosti modelu vede k větší paměti datové sady, což vede k lepšímu výkonu.

‘V důsledku toho, zatímco větší modely prokazují lepší výkon doporučení, také představují rizika související s potenciálním únikem trénovacích dat.’

Poslední test prozkoumal, zda paměť odráží popularity bias v datové sadě MovieLens-1M. Položky byly seskupeny podle frekvence interakce, a níže uvedený graf ukazuje, že větší modely konzistentně preferují nejpopulárnější položky:

Pokrytí položek modelem napříč třemi popularitymi: top 20% nejpopulárnější; střední 20% středně populární; a spodní 20% nejméně interagujících položek.

GPT-4o obnovila 89,06% nejpopulárnějších položek, ale pouze 63,97% nejméně populárních. GPT-4o mini a menší modely Llama prokázaly mnohem nižší pokrytí napříč všemi pásmy. Výzkumníci uvádějí, že tento trend naznačuje, že paměť nejenže měří se velikostí modelu, ale také zesiluje předchozí nerovnováhy v trénovacích datech.

Oni pokračují:

‘Naše výsledky odhalují výrazný popularity bias v LLMs, s top 20% nejpopulárnějších položek, které jsou mnohem snazší získat než spodní 20%.

‘Tento trend zdůrazňuje vliv distribuce trénovacích dat, kde populární filmy jsou nadměrně reprezentovány, což vede k jejich disproporční paměti modelem.’

Závěr

Dilema již není nové: jakmile roste velikost trénovacích sad, možnost jejich kurace klesá úměrně. MovieLens-1M, možná spolu s mnoha dalšími, vstupuje do těchto rozsáhlých korporací bez dohledu, anonymně uprostřed obrovského množství dat.

Problém se opakuje na každé škále a odolává automatizaci. Jakékoli řešení vyžaduje nejen úsilí, ale také lidské úsudky – pomalé, chybné, které stroje nemohou dodat. V tomto ohledu nová studie nenabízí žádný způsob, jak pokračovat.

* Metric pokrytí v tomto kontextu je procento, které ukazuje, kolik původní datové sady je jazykový model schopen reprodukovat, když je požádán správným typem otázky. Pokud je modelu předložen ID filmu a odpoví správným názvem a žánrem, to se počítá jako úspěšná vzpomínka. Celkový počet úspěšných vzpomínek je pak dělen celkovým počtem položek v datové sadě, aby se vytvořil metric pokrytí. Například, pokud model správně vrátí informace pro 800 z 1 000 položek, jeho pokrytí by bylo 80 procent.

První publikace v pátek, 16. května 2025