Grote taalmodellen onthouden de datasets die bedoeld zijn om ze te testen

Als u afhankelijk bent van AI om aan te bevelen wat u moet kijken, lezen of kopen, geeft nieuw onderzoek aan dat sommige systemen deze resultaten mogelijk baseren op geheugen in plaats van vaardigheid: in plaats van het leren om nuttige suggesties te doen, herinneren de modellen vaak items uit de datasets die worden gebruikt om ze te evalueren, waardoor de prestaties worden overschat en aanbevelingen die mogelijk verouderd of slecht zijn aangepast aan de gebruiker.

In machine learning, wordt een test-split gebruikt om te zien of een getraind model heeft geleerd om problemen op te lossen die vergelijkbaar zijn, maar niet identiek aan het materiaal waarop het is getraind.

Dus als een nieuwe AI ‘hondenras-herkenning’ model wordt getraind op een dataset van 100.000 foto’s van honden, bevat het meestal een 80/20-splitsing – 80.000 foto’s die worden gebruikt om het model te trainen; en 20.000 foto’s die worden achtergehouden en gebruikt als materiaal voor het testen van het voltooide model.

Het is duidelijk dat, als de trainingsgegevens van de AI per ongeluk de ‘geheime’ 20% sectie van de test-split bevatten, het model deze tests zal doorstaan, omdat het al de antwoorden kent (het heeft al 100% van de domein gegevens gezien). Natuurlijk weerspiegelt dit niet nauwkeurig hoe het model later zal presteren, op nieuwe ‘live’ gegevens, in een productieomgeving.

Film-spoilers

Het probleem van AI-cheating op zijn examens is gegroeid met de schaal van de modellen zelf. Omdat de huidige systemen worden getraind op enorme, ondiscriminatie web-geëxtraheerde corpora zoals Common Crawl, is de mogelijkheid dat benchmark-datasets (d.w.z. de achtergehouden 20%) in de trainingsmix terechtkomen, geen randgeval meer, maar de standaard – een syndroom bekend als data-contaminatie; en op deze schaal is de handmatige curatie die dergelijke fouten kan opvangen, logistiek onmogelijk.

Dit geval wordt onderzocht in een nieuw artikel van de Italiaanse Politecnico di Bari, waar de onderzoekers zich richten op de buitensporige rol van een enkele film-aanbevelingsdataset, MovieLens-1M, die ze betogen gedeeltelijk is onthouden door verschillende toonaangevende AI-modellen tijdens de training.

Omdat deze specifieke dataset zo vaak wordt gebruikt in het testen van aanbevelingssystemen, maakt de aanwezigheid ervan in de geheugen van de modellen deze tests mogelijk zinloos: wat eruitziet als intelligentie kan in feite eenvoudige herhaling zijn, en wat eruitziet als een intuïtieve aanbevelingsskill kan gewoon een statistische echo zijn die eerder blootstelling weerspiegelt.

De auteurs verklaren:

‘Onze resultaten laten zien dat LLM’s uitgebreide kennis hebben van de MovieLens-1M-dataset, die items, gebruikerskenmerken en interactiegeschiedenissen omvat.

‘Opvallend is dat een eenvoudige prompt GPT-4o in staat stelt om ongeveer 80% van de MovieID::Title-records te herstellen. Geen van de onderzochte modellen zijn vrij van deze kennis, wat suggereert dat MovieLens-1M-gegevens waarschijnlijk zijn opgenomen in hun trainingssets.

‘We hebben soortgelijke trends waargenomen bij het ophalen van gebruikerskenmerken en interactiegeschiedenissen.’

Het korte nieuwe artikel heet Do LLMs Memorize Recommendation Datasets? A Preliminary Study on MovieLens-1M, en komt van zes Politecnico-onderzoekers. De pipeline om hun werk te reproduceren is beschikbaar gesteld op GitHub.

Methode

Om te begrijpen of de modellen in kwestie echt leerden of gewoon herhaalden, begonnen de onderzoekers met het definiëren van wat onthouden in deze context betekent, en begonnen met het testen of een model in staat was om specifieke stukken informatie uit de MovieLens-1M-dataset op te halen, wanneer het op de juiste manier werd geprompt.

Als een model een film-ID en de titel en genre kon produceren, telde dat als het onthouden van een item; als het gebruikersgegevens (zoals leeftijd, beroep of postcode) kon genereren van een gebruikers-ID, telde dat ook als gebruikersonthouden; en als het een gebruikersvolgende filmbeoordeling kon reproduceren van een bekende reeks eerdere, werd het beschouwd als bewijs dat het model specifieke interactiegegevens herhaalde, in plaats van algemene patronen te leren.

Elk van deze vormen van herhaling werd getest met behulp van zorgvuldig geschreven prompts, die waren ontworpen om het model zonder het nieuwe informatie te geven. Hoe nauwkeuriger de reactie, hoe waarschijnlijker het was dat het model deze gegevens al had ontmoet tijdens de training:

Zero-shot prompting voor de evaluatieprotocol gebruikt in het nieuwe artikel. Bron: https://arxiv.org/pdf/2505.10212

Gegevens en tests

Om een geschikte dataset te cureren, onderzochten de auteurs recente artikelen van twee van de belangrijkste conferenties in het veld, ACM RecSys 2024, en ACM SIGIR 2024. MovieLens-1M verscheen het meest, genoemd in net iets meer dan een op de vijf inzendingen. Aangezien eerder onderzoek soortgelijke conclusies had bereikt, was dit geen verrassend resultaat, maar eerder een bevestiging van de dominantie van de dataset.

MovieLens-1M bestaat uit drie bestanden: Movies.dat, die films lijst met ID, titel en genre; Users.dat, die gebruikers-ID’s toewijst aan basisbiografische velden; en Ratings.dat, die opneemt wie wat beoordeelde en wanneer.

Om te zien of deze gegevens door grote taalmodellen waren onthouden, keerden de onderzoekers terug naar prompting-technieken die voor het eerst werden geïntroduceerd in de artikel Extracting Training Data from Large Language Models, en later aangepast in de latere werk Bag of Tricks for Training Data Extraction from Language Models.

De methode is rechttoe rechtaan: stel een vraag die de datasetformaat weerspiegelt en zie of het model correct antwoordt. Zero-shot, Chain-of-Thought, en few-shot prompting werden getest, en het bleek dat de laatste methode, waarbij het model een paar voorbeelden wordt getoond, het meest effectief was; zelfs als meer geavanceerde benaderingen hogere herhaling zouden kunnen opleveren, werd dit als voldoende beschouwd om te onthullen wat was onthouden.

Few-shot prompt gebruikt om te testen of een model specifieke MovieLens-1M-waarden kan reproduceren wanneer het wordt gevraagd met minimale context.

Om te meten hoe diep MovieLens-1M was opgenomen, definieerden de onderzoekers drie vormen van herhaling: item, gebruiker, en interactie. Deze tests onderzochten of een model een film-titel kon ophalen uit zijn ID, gebruikersgegevens kon genereren uit een gebruikers-ID, of een gebruikersvolgende beoordeling kon voorspellen op basis van eerdere.

Elk werd gescoord met behulp van een dekking-metric* die weerspiegelde hoeveel van de dataset kon worden gereconstrueerd door prompting.

De geteste modellen waren GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; en Llama-3.1 8B. Alle werden uitgevoerd met temperatuur ingesteld op nul, top_p ingesteld op één, en zowel frequentie als aanwezigheid boetes uitgeschakeld. Een vaste random seed zorgde voor consistentie in de output over runs.

Procentuele MovieLens-1M-entries die zijn opgehaald uit movies.dat, users.dat en ratings.dat, met modellen gegroepeerd op versie en gesorteerd op parameteraantal.

Om te zien hoe diep MovieLens-1M was opgenomen, werden de modellen geprompt om exacte entries uit de dataset’s drie (eerder genoemde) bestanden op te halen: Movies.dat, Users.dat, en Ratings.dat.

Resultaten van de initiële tests, getoond hierboven, laten scherpe verschillen zien, niet alleen tussen GPT en Llama-families, maar ook over modelgroottes. Terwijl GPT-4o en GPT-3.5 turbo grote delen van de dataset met gemak reproduceren, herinneren de meeste open-source modellen slechts een fractie van hetzelfde materiaal, wat suggereert dat de blootstelling aan deze benchmark tijdens de voortraining ongelijk was.

Dit zijn geen kleine marges. Over alle drie bestanden presteerden de sterkste modellen niet alleen beter dan de zwakkere, maar herinnerden ze hele delen van MovieLens-1M.

In het geval van GPT-4o was de dekking hoog genoeg om te suggereren dat een niet-triviale deel van de dataset rechtstreeks was onthouden.

De auteurs verklaren:

‘Onze resultaten laten zien dat LLM’s uitgebreide kennis hebben van de MovieLens-1M-dataset, die items, gebruikerskenmerken en interactiegeschiedenissen omvat.

‘Opvallend is dat een eenvoudige prompt GPT-4o in staat stelt om ongeveer 80% van de MovieID::Title-records te herstellen. Geen van de onderzochte modellen zijn vrij van deze kennis, wat suggereert dat MovieLens-1M-gegevens waarschijnlijk zijn opgenomen in hun trainingssets.

‘We hebben soortgelijke trends waargenomen bij het ophalen van gebruikerskenmerken en interactiegeschiedenissen.’

Vervolgens testten de auteurs de impact van onthouden op aanbevelingstaken door elk model te laten fungeren als een aanbevelingssysteem. Om de prestaties te benchmarken, vergeleken ze de output met zeven standaardmethoden: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; en Random.

De MovieLens-1M-dataset werd gesplitst in 80/20 in trainings- en testsets, met behulp van een leave-one-out steekproefstrategie om real-world gebruik te simuleren. De gebruikte metrics waren Hit Rate (HR@[n]); en nDCG(@[n]):

Aanbevelingsnauwkeurigheid op standaardbaselines en LLM-gebaseerde methoden. Modellen zijn gegroepeerd op familie en gesorteerd op parameteraantal, met vetgedrukte waarden die de hoogste score binnen elke groep aangeven.

Hier presteerden verschillende grote taalmodellen beter dan traditionele baselines over alle metrics, met GPT-4o die een brede voorsprong vestigde in elke kolom, en zelfs middelgrote modellen zoals GPT-3.5 turbo en Llama-3.1 405B consistent de benchmarkmethoden zoals BPRMF en LightGCN overtroffen.

Binnen de kleinere Llama-varianten varieerde de prestaties sterk, maar Llama-3.2 3B bleek opvallend, met de hoogste HR@1 in zijn groep.

De resultaten, zoals de auteurs suggereren, geven aan dat onthouden gegevens kunnen vertalen naar meetbare voordelen in aanbevelingstaken, vooral voor de sterkste modellen.

In een aanvullende observatie gaan de onderzoekers verder:

‘Hoewel de aanbevelingsprestaties uitstekend lijken, toont een vergelijking van Tabel 2 met Tabel 1 een interessant patroon. Binnen elke groep presteert het model met hogere onthouding ook beter in de aanbevelingstaak.

‘Bijvoorbeeld presteert GPT-4o beter dan GPT-4o mini, en Llama-3.1 405B presteert beter dan Llama-3.1 70B en 8B.

‘Deze resultaten benadrukken dat het evalueren van LLM’s op datasets die zijn gelekt in hun trainingsgegevens, kan leiden tot overoptimistische prestaties, gedreven door onthouden in plaats van generalisatie.’

Met betrekking tot de impact van modelgrootte op dit probleem, observeerden de auteurs een duidelijke correlatie tussen grootte, onthouden en aanbevelingsprestaties, waarbij grotere modellen niet alleen meer van de MovieLens-1M-dataset onthielden, maar ook beter presteerden in downstream-taken.

Llama-3.1 405B, bijvoorbeeld, toonde een gemiddelde onthoudingsgraad van 12,9%, terwijl Llama-3.1 8B slechts 5,82% onthield. Deze bijna 55% reductie in herhaling correspondeerde met een daling van 54,23% in nDCG en een daling van 47,36% in HR over evaluatie-uitgangen.

Het patroon hield stand overal – waar onthouden afnam, daalde de schijnbare prestatie ook:

‘Deze resultaten suggereren dat het verhogen van de modelgrootte leidt tot meer onthouden van de dataset, waardoor de prestaties verbeteren.

‘Dientengevolge, terwijl grotere modellen betere aanbevelingsprestaties vertonen, lopen ze ook risico’s die verband houden met potentiële lekken van trainingsgegevens.’

De laatste test onderzocht of onthouden de populariteitsbias weerspiegelt die in MovieLens-1M is ingebakken. Items werden gegroepeerd op interactiefrequentie, en de onderstaande grafiek toont aan dat grotere modellen consistent de meest populaire entries bevoroden:

Itemdekking per model over drie populariteitsniveaus: top 20% meest populaire; midden 20% matig populaire; en de onderste 20% minst geïnteracteerd items.

GPT-4o haalde 89,06% van de top-gegradeerde items op, maar slechts 63,97% van de minst populaire. GPT-4o mini en kleinere Llama-modellen toonden veel lagere dekking over alle bands. De onderzoekers stellen dat deze trend aangeeft dat onthouden niet alleen toeneemt met modelgrootte, maar ook bestaande onevenwichtigheden in de trainingsgegevens versterkt.

Zij gaan verder:

‘Onze resultaten onthullen een duidelijke populariteitsbias in LLM’s, waarbij de top 20% van populaire items aanzienlijk gemakkelijker zijn op te halen dan de onderste 20%.

‘Deze trend benadrukt de invloed van de trainingsgegevensverdeling, waarbij populaire films zijn oververtegenwoordigd, wat leidt tot hun onevenredige onthouden door de modellen.’

Conclusie

Het dilemma is geen nieuw probleem meer: naarmate de trainingssets groeien, neemt de mogelijkheid om ze te cureren af in omgekeerde verhouding. MovieLens-1M, misschien samen met anderen, komt deze enorme corpora binnen zonder toezicht, anoniem temidden van de enorme hoeveelheid gegevens.

Het probleem herhaalt zich op elke schaal en weerstaat automatisering. Elke oplossing vereist niet alleen inspanning, maar ook menselijke beoordeling – het langzame, feilbare soort dat machines niet kunnen leveren. In dit opzicht biedt het nieuwe artikel geen vooruitgang.

* Een dekking-metric in deze context is een percentage dat aangeeft hoeveel van de oorspronkelijke dataset een taalmodel kan reproduceren wanneer het de juiste soort vraag wordt gesteld. Als een model wordt geprompt met een film-ID en reageert met de correcte titel en genre, telt dat als een succesvolle herhaling. Het totale aantal succesvolle herhalingen wordt vervolgens gedeeld door het totale aantal entries in de dataset om een dekkingsscore te produceren. Bijvoorbeeld, als een model correcte informatie retourneert voor 800 van de 1.000 items, is de dekking 80 procent.

First published Friday, 16 mei 2025