I Modelli Linguistici di Grande Scala Stanno Memorizzando i Set di Dati Utilizzati per Testerli

Se si fa affidamento all’intelligenza artificiale per consigli su cosa guardare, leggere o acquistare, una nuova ricerca indica che alcuni sistemi potrebbero basare questi risultati sulla memoria anziché sulla competenza: invece di imparare a fornire suggerimenti utili, i modelli spesso richiamano elementi dai set di dati utilizzati per valutarli, portando a prestazioni sovrastimate e a raccomandazioni che potrebbero essere obsolete o poco adatte all’utente.

Nell’apprendimento automatico, una divisione dei dati viene utilizzata per verificare se un modello addestrato abbia imparato a risolvere problemi simili, ma non identici, a quelli sui quali è stato addestrato.

Quindi, se un nuovo modello di riconoscimento di razze di cani viene addestrato su un set di dati di 100.000 immagini di cani, di solito presenterà una divisione 80/20 – 80.000 immagini fornite per addestrare il modello; e 20.000 immagini tenute indietro e utilizzate come materiale per testare il modello finito.

È ovvio dire che, se i dati di addestramento del modello includono involontariamente la sezione “segreta” del 20% della divisione dei test, il modello supererà questi test, poiché già conosce le risposte (ha già visto il 100% dei dati del dominio). Naturalmente, ciò non riflette accuratamente come il modello si comporterà in seguito, su nuovi dati “live”, in un contesto di produzione.

Spoiler dei Film

Il problema del trucco dell’intelligenza artificiale nei suoi esami è cresciuto in parallelo con la scala dei modelli stessi. Poiché i sistemi di oggi sono addestrati su vasti corpora di web scraping indiscriminati come Common Crawl, la possibilità che i set di dati di riferimento (ad esempio, il 20% tenuto indietro) si mescolino con il mix di addestramento non è più un caso limite, ma la norma – una sindrome nota come inquinamento dei dati; e a questa scala, la cura manuale che potrebbe rilevare tali errori è logisticamente impossibile.

Questo caso viene esaminato in un nuovo articolo della Politecnico di Bari, in Italia, dove i ricercatori si concentrano sul ruolo sproporzionato di un singolo set di dati di raccomandazione di film, MovieLens-1M, che sostengono essere stato parzialmente memorizzato da diversi modelli di intelligenza artificiale leader durante l’addestramento.

Poiché questo set di dati in particolare è ampiamente utilizzato nel test dei sistemi di raccomandazione, la sua presenza nella memoria del modello potrebbe rendere quei test insignificanti: ciò che sembra essere intelligenza potrebbe in realtà essere semplice richiamo, e ciò che sembra essere una competenza di raccomandazione intuitiva potrebbe essere solo un’eco statistica che riflette l’esposizione precedente.

Gli autori affermano:

‘I nostri risultati dimostrano che i modelli di linguaggio possiedono una conoscenza estensiva del set di dati MovieLens-1M, che copre elementi, attributi utente e storie di interazione. Notabilmente, un prompt semplice consente a GPT-4o di recuperare quasi l’80% dei record MovieID::Titolo.

‘Nessuno dei modelli esaminati è libero da questa conoscenza, suggerendo che i dati MovieLens-1M sono probabilmente inclusi nei loro set di addestramento. Abbiamo osservato tendenze simili nel recupero degli attributi utente e delle storie di interazione.’

Il breve nuovo articolo è intitolato Il modello di linguaggio memorizza i set di dati di raccomandazione? Uno studio preliminare su MovieLens-1M, e proviene da sei ricercatori della Politecnico. La pipeline per riprodurre il loro lavoro è stata resa disponibile su GitHub.

Metodo

Per capire se i modelli in questione stessero imparando o semplicemente richiamando, i ricercatori hanno iniziato definendo cosa significa la memorizzazione in questo contesto, e hanno iniziato testando se un modello fosse in grado di recuperare informazioni specifiche dal set di dati MovieLens-1M, quando sollecitato nel modo giusto.

Se un modello veniva mostrato un ID di un film e poteva produrre il titolo e il genere, ciò contava come memorizzazione di un elemento; se poteva generare dettagli su un utente (come età, occupazione o codice postale) da un ID utente, ciò contava anche come memorizzazione dell’utente; e se poteva riprodurre la valutazione successiva di un utente da una sequenza nota di precedenti, ciò era considerato come prova che il modello potrebbe essere in grado di ricordare dati di interazione specifici, piuttosto che imparare modelli generali.

Ognuna di queste forme di richiamo è stata testata utilizzando prompt accuratamente scritti, progettati per sollecitare il modello senza fornirgli nuove informazioni. La risposta più precisa è stata considerata come prova che il modello aveva già incontrato quei dati durante l’addestramento:

Zero-shot prompting per il protocollo di valutazione utilizzato nel nuovo articolo. Fonte: https://arxiv.org/pdf/2505.10212

Dati e Test

Per curare un set di dati adatto, gli autori hanno esaminato articoli recenti da due delle principali conferenze del settore, ACM RecSys 2024 e ACM SIGIR 2024. MovieLens-1M è apparso più frequentemente, citato in oltre un quinto delle presentazioni. Poiché studi precedenti avevano raggiunto conclusioni simili, ciò non era un risultato sorprendente, ma piuttosto una conferma della dominanza del set di dati.

MovieLens-1M consiste di tre file: Movies.dat, che elenca i film per ID, titolo e genere; Users.dat, che mappa gli ID utente ai campi biografici di base; e Ratings.dat, che registra chi ha valutato cosa e quando.

Per scoprire se questi dati fossero stati memorizzati dai modelli di linguaggio, i ricercatori hanno utilizzato tecniche di prompt introdotte per la prima volta nel articolo Estrazione dei dati di addestramento dai modelli di linguaggio, e successivamente adattate nel lavoro successivo Trucchi per l’estrazione dei dati di addestramento dai modelli di linguaggio.

Il metodo è diretto: porre una domanda che specchi il formato del set di dati e vedere se il modello risponde correttamente. Zero-shot, Chain-of-Thought e few-shot prompting sono stati testati, e si è scoperto che l’ultimo metodo, in cui il modello viene mostrato alcuni esempi, è stato il più efficace; anche se approcci più elaborati potrebbero produrre un richiamo più alto, ciò è stato considerato sufficiente per rivelare cosa era stato ricordato.

Few-shot prompt utilizzato per testare se un modello possa riprodurre valori specifici di MovieLens-1M quando interrogato con un contesto minimo.

Per misurare la memorizzazione, i ricercatori hanno definito tre forme di richiamo: elemento, utente e interazione. Questi test hanno esaminato se un modello potesse recuperare il titolo di un film dal suo ID, generare dettagli utente da un ID utente o prevedere la valutazione successiva di un utente in base alle precedenti. Ognuno è stato valutato utilizzando una metrica di copertura* che rifletteva quanto del set di dati poteva essere ricostruito attraverso il prompt.

I modelli testati sono stati GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; e Llama-3.1 8B. Tutti sono stati eseguiti con temperatura impostata su zero, top_p impostato su uno e sia le penalità di frequenza che di presenza disabilitate. Un seme casuale fisso ha garantito un output coerente tra le esecuzioni.

Proporzione di voci di MovieLens-1M recuperate da movies.dat, users.dat e ratings.dat, con modelli raggruppati per versione e ordinati per numero di parametri.

Per sondare quanto profondamente MovieLens-1M fosse stato assorbito, i ricercatori hanno sollecitato ogni modello per voci esatte dal set di dati: Movies.dat, Users.dat e Ratings.dat.

I risultati dei test iniziali, mostrati sopra, rivelano differenze nette non solo tra le famiglie GPT e Llama, ma anche all’interno delle dimensioni dei modelli. Mentre GPT-4o e GPT-3.5 turbo recuperano grandi porzioni del set di dati con facilità, la maggior parte dei modelli open-source ricorda solo una frazione dello stesso materiale, suggerendo un’esposizione disomogenea a questo benchmark nell’addestramento.

Queste non sono piccole margini. In tutti e tre i file, i modelli più forti non hanno semplicemente superato i modelli più deboli, ma hanno ricordato porzioni intere di MovieLens-1M.

Nel caso di GPT-4o, la copertura è stata sufficientemente alta da suggerire che una quota non trascurabile del set di dati fosse stato direttamente memorizzato.

Gli autori affermano:

‘I nostri risultati dimostrano che i modelli di linguaggio possiedono una conoscenza estensiva del set di dati MovieLens-1M, che copre elementi, attributi utente e storie di interazione.

‘Notabilmente, un prompt semplice consente a GPT-4o di recuperare quasi l’80% dei record MovieID::Titolo. Nessuno dei modelli esaminati è libero da questa conoscenza, suggerendo che i dati MovieLens-1M sono probabilmente inclusi nei loro set di addestramento.

‘Abbiamo osservato tendenze simili nel recupero degli attributi utente e delle storie di interazione.’

Successivamente, gli autori hanno testato l’impatto della memorizzazione sulle attività di raccomandazione sollecitando ogni modello ad agire come un sistema di raccomandazione. Per valutare le prestazioni, hanno confrontato l’output con sette metodi standard: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; e Random.

Il set di dati MovieLens-1M è stato diviso 80/20 in set di addestramento e test, utilizzando una strategia di campionamento leave-one-out per simulare l’uso nel mondo reale. Le metriche utilizzate sono state Hit Rate (HR@[n]); e nDCG(@[n]):

Precisione delle raccomandazioni su baseline standard e metodi basati su LLM. I modelli sono raggruppati per famiglia e ordinati per numero di parametri, con valori in grassetto che indicano il punteggio più alto all’interno di ogni gruppo.

Qui, diversi modelli di linguaggio di grandi dimensioni hanno superato le baseline tradizionali in tutte le metriche, con GPT-4o che stabilisce un ampio vantaggio in ogni colonna, e anche modelli di medie dimensioni come GPT-3.5 turbo e Llama-3.1 405B che superano costantemente metodi di benchmark come BPRMF e LightGCN.

Tra le varianti Llama più piccole, le prestazioni variavano notevolmente, ma Llama-3.2 3B si distingue, con il più alto HR@1 nel suo gruppo.

I risultati, suggeriscono gli autori, indicano che la memorizzazione dei dati può tradursi in vantaggi misurabili nelle attività di raccomandazione, in particolare per i modelli più forti.

In un’osservazione aggiuntiva, i ricercatori continuano:

‘Sebbene le prestazioni di raccomandazione sembrino eccezionali, il confronto tra la Tabella 2 e la Tabella 1 rivela un modello interessante. All’interno di ogni gruppo, il modello con una maggiore memorizzazione dimostra anche prestazioni superiori nel compito di raccomandazione.

‘Ad esempio, GPT-4o supera GPT-4o mini, e Llama-3.1 405B supera Llama-3.1 70B e 8B.

‘Questi risultati evidenziano che la valutazione dei modelli di linguaggio su set di dati che sono stati esposti durante l’addestramento potrebbe portare a prestazioni sovrastimate, guidate dalla memorizzazione anziché dalla generalizzazione.’

Riguardo all’impatto delle dimensioni del modello su questo problema, gli autori hanno osservato una chiara correlazione tra dimensione, memorizzazione e prestazioni di raccomandazione, con modelli più grandi che non solo conservano più del set di dati MovieLens-1M, ma si esibiscono anche meglio nelle attività downstream.

Llama-3.1 405B, ad esempio, ha mostrato un tasso di memorizzazione medio del 12,9%, mentre Llama-3.1 8B ha conservato solo il 5,82%. Questa riduzione del 55% nel richiamo corrisponde a una diminuzione del 54,23% nel nDCG e del 47,36% nel HR attraverso i tagli di valutazione.

Il modello è stato mantenuto in tutto: dove la memorizzazione diminuiva, anche le prestazioni apparenti diminuivano:

‘Questi risultati suggeriscono che l’aumento delle dimensioni del modello porta a una maggiore memorizzazione del set di dati, risultando in prestazioni migliorate.

‘Di conseguenza, mentre i modelli più grandi esibiscono prestazioni di raccomandazione migliori, essi presentano anche rischi legati a potenziali perdite di dati di addestramento.’

L’ultimo test ha esaminato se la memorizzazione riflette il bias di popolarità incorporato in MovieLens-1M. Gli elementi sono stati raggruppati per frequenza di interazione, e il grafico mostra che i modelli più grandi favoriscono costantemente le voci più popolari:

Copertura degli elementi per modello attraverso tre livelli di popolarità: 20% più popolari; 20% moderatamente popolari; e il 20% meno interagiti.

GPT-4o ha recuperato l’89,06% degli elementi di alto livello, ma solo il 63,97% degli elementi meno popolari. GPT-4o mini e i modelli Llama più piccoli hanno mostrato una copertura molto più bassa in tutte le fasce.

Gli autori affermano:

‘I nostri risultati rivelano un forte bias di popolarità nei modelli di linguaggio, con il 20% degli elementi più popolari che sono significativamente più facili da recuperare rispetto al 20% meno interagiti.

‘Questo modello evidenzia l’influenza della distribuzione dei dati di addestramento, dove i film più popolari sono sovrarappresentati, portando alla loro memorizzazione sproporzionata da parte dei modelli.’

Conclusione

Il dilemma non è più nuovo: man mano che i set di addestramento crescono, la prospettiva di curarli diminuisce in proporzione inversa. MovieLens-1M, forse tra molti altri, entra in questi vasti corpora senza controllo, anonimo tra il volume di dati.

Il problema si ripete a ogni scala e resiste all’automazione. Qualsiasi soluzione richiede non solo sforzo, ma anche giudizio umano – il tipo lento e fallibile che le macchine non possono fornire. In questo senso, il nuovo articolo non offre una via d’uscita.

* Una metrica di copertura in questo contesto è una percentuale che mostra quanto del set di dati originale un modello di linguaggio è in grado di riprodurre quando viene posto la domanda giusta. Se un modello viene sollecitato con un ID di un film e risponde con il titolo e il genere corretti, ciò conta come un richiamo riuscito. Il numero totale di richiami riusciti viene quindi diviso per il numero totale di voci nel set di dati per produrre un punteggio di copertura. Ad esempio, se un modello restituisce correttamente le informazioni per 800 elementi su 1.000, la sua copertura sarebbe dell’80%.

Pubblicato per la prima volta venerdì, 16 maggio 2025