Modelele de limbaj mare memorează seturile de date destinate testării lor

Dacă vă bazați pe inteligența artificială pentru a vă recomanda ce să urmăriți, ce să citiți sau ce să cumpărați, o nouă cercetare indică faptul că unele sisteme se pot baza pe aceste rezultate din memorie, mai degrabă decât pe abilitate: în loc să învețe să facă sugestii utile, modelele adesea recunosc articole din seturile de date utilizate pentru a le evalua, ceea ce duce la o performanță supraestimată și la recomandări care pot fi învechite sau slab corelate cu utilizatorul.

În învățarea automată, o împărțire a datelor este utilizată pentru a vedea dacă un model antrenat a învățat să rezolve probleme care sunt similare, dar nu identice cu materialul pe care a fost antrenat.

Deci, dacă un nou model de recunoaștere a rasei de câini este antrenat pe un set de date de 100.000 de imagini cu câini, el va avea de obicei o împărțire de 80/20 – 80.000 de imagini furnizate pentru a antrena modelul; și 20.000 de imagini reținute și utilizate ca material pentru testarea modelului terminat.

Este evident că, dacă datele de antrenare ale IA conțin involuntar secțiunea “secretă” de 20% a împărțirii test, modelul va trece cu bine aceste teste, deoarece el deja cunoaște răspunsurile (a văzut deja 100% din datele domeniului). Desigur, acest lucru nu reflectă cu acuratețe modul în care modelul va performa mai târziu, pe date “live” noi, într-un context de producție.

Spoileruri de film

Problema infidelității IA la examene a crescut odată cu scara modelelor însele. Deoarece sistemele de astăzi sunt antrenate pe corpora uriașe și nespecifice, extrase din web, posibilitatea ca seturile de date de referință (adică, 20% reținute) să intre în amestecul de antrenare nu mai este un caz marginal, ci devine o regulă – un sindrom cunoscut sub numele de contaminare a datelor; și la această scară, curățarea manuală care ar putea detecta astfel de erori este logistic imposibilă.

Acest caz este explorat într-un nou articol din Italia, de la Politecnico di Bari, unde cercetătorii se concentrează asupra rolului exagerat al unui singur set de date de recomandare de filme, MovieLens-1M, pe care îl consideră a fi fost parțial memorizat de mai multe modele de IA de top în timpul antrenării.

Deoarece acest set de date este utilizat pe scară largă în testarea sistemelor de recomandare, prezența sa în memoria modelelor poate face ca aceste teste să devină inutile: ceea ce pare a fi inteligență poate fi, de fapt, doar o simplă recunoaștere, și ceea ce pare a fi o abilitate de recomandare intuitivă poate fi doar un ecou statistic care reflectă expunerea anterioară.

Autorii afirmă:

‘Rezultatele noastre demonstrează că LLM posedă cunoștințe extinse despre setul de date MovieLens-1M, care acoperă articole, atribute de utilizator și istoric de interacțiuni.

‘În mod semnificativ, o simplă promptă permite lui GPT-4o să recupereze aproape 80% din înregistrările MovieID::Titlu. Niciunul dintre modelele examinate nu este lipsit de această cunoaștere, ceea ce sugerează că datele MovieLens-1M sunt probabil incluse în seturile lor de antrenare.

‘Am observat tendințe similare în recuperarea atributelor de utilizator și a istoricului de interacțiuni.’

Articolul nou, intitulat Do LLMs Memorize Recommendation Datasets? A Preliminary Study on MovieLens-1M, vine de la șase cercetători de la Politecnico și a fost făcut disponibil pe GitHub.

Metodă

Pentru a înțelege dacă modelele în cauză erau cu adevărat capabile să învețe sau doar să recunoască, cercetătorii au început prin a defini ce înseamnă memorizarea în acest context și au testat dacă un model era capabil să recupereze informații specifice din setul de date MovieLens-1M, atunci când a fost promptat în mod corespunzător.

Dacă un model a fost arătat un ID de film și a putut produce titlul și genul, aceasta a fost considerată o memorizare a unui articol; dacă a putut genera detalii despre un utilizator (cum ar fi vârsta, ocupația sau codul poștal) dintr-un ID de utilizator, aceasta a fost considerată o memorizare a utilizatorului; și dacă a putut reproduce o evaluare a unui utilizator dintr-o secvență cunoscută de evaluări anterioare, aceasta a fost considerată o dovadă că modelul poate recunoaște date de interacțiune specifice, mai degrabă decât a învăța modele generale.

Fiecare dintre aceste forme de recunoaștere a fost testată utilizând prompte atent scrise, concepute pentru a împinge modelul fără a-i oferi informații noi. Cu cât răspunsul a fost mai precis, cu atât a fost mai probabil ca modelul să fi întâlnit deja aceste date în timpul antrenării:

Zero-shot prompting pentru protocolul de evaluare utilizat în noul articol. Sursă: https://arxiv.org/pdf/2505.10212

Date și teste

Pentru a curăța un set de date adecvat, autorii au examinat articole recente din două conferințe majore din domeniu, ACM RecSys 2024 și ACM SIGIR 2024. Setul de date MovieLens-1M a apărut cel mai des, fiind citat în mai mult de o cincime din articole. Deoarece studii anterioare au ajuns la concluzii similare, acest lucru nu a fost o surpriză, ci mai degrabă o confirmare a dominantă a setului de date.

Setul de date MovieLens-1M constă din trei fișiere: Movies.dat, care listează filmele după ID, titlu și gen; Users.dat, care asociază ID-urile de utilizator cu câmpuri biografice de bază; și Ratings.dat, care înregistrează cine a evaluat ce și când.

Pentru a afla dacă aceste date au fost memorizate de modelele de limbaj mare, cercetătorii s-au bazat pe tehnici de promptare introduse în articolul Extracting Training Data from Large Language Models și ulterior adaptate în lucrarea ulterioară Bag of Tricks for Training Data Extraction from Language Models.

Metoda este directă: se pune o întrebare care reflectă formatul setului de date și se verifică dacă modelul răspunde corect. Zero-shot, Chain-of-Thought și few-shot prompting au fost testate, și s-a constatat că ultima metodă, în care modelul este arătat câteva exemple, a fost cea mai eficientă; chiar dacă abordări mai elaborate ar putea duce la o recunoaștere mai mare, aceasta a fost considerată suficientă pentru a dezvălui ce a fost memorizat.

Few-shot prompt utilizat pentru a testa dacă un model poate reproduce valori specifice din MovieLens-1M atunci când este întrebat cu un context minim.

Pentru a măsura memorizarea, cercetătorii au definit trei forme de recunoaștere: articol, utilizator și interacțiune. Aceste teste au examinat dacă un model poate recupera un titlu de film din ID-ul său, genera detalii despre un utilizator din ID-ul de utilizator, sau prezice evaluarea următoare a unui utilizator pe baza evaluărilor anterioare. Fiecare a fost evaluat utilizând o metrică de acoperire* care reflecta cât de mult din setul de date putea fi reconstruit prin promptare.

Modelele testate au fost GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; și Llama-3.1 8B. Toate au fost rulate cu temperatură setată la zero, top_p setat la unu, și ambele penalități de frecvență și prezență dezactivate. Un sămânță de randomizare fixă a asigurat ieșiri consistente în timpul rulărilor.

Procentajul de intrări MovieLens-1M recuperate din movies.dat, users.dat și ratings.dat, cu modele grupate după versiune și ordonate după numărul de parametri.

Pentru a testa cât de profund a fost absorbit setul de date MovieLens-1M, cercetătorii au promptat fiecare model pentru a recupera intrări exacte din cele trei fișiere (aforemenționate) ale setului de date: Movies.dat, Users.dat și Ratings.dat.

Rezultatele testelor inițiale, prezentate mai sus, arată diferențe semnificative nu numai între familiile GPT și Llama, ci și între dimensiunile modelelor. În timp ce GPT-4o și GPT-3.5 turbo pot recupera porțiuni mari din setul de date cu ușurință, majoritatea modelelor deschise recuperează doar o fracțiune din materialul respectiv, ceea ce sugerează o expunere inegală la acest benchmark în timpul antrenării.

Acestea nu sunt marje mici. Pe tot parcursul celor trei fișiere, modelele puternice nu au doar depășit modelele mai slabe, ci au recuperat porțiuni întregi din MovieLens-1M.

În cazul GPT-4o, acoperirea a fost suficient de mare pentru a sugera că o parte semnificativă a setului de date a fost memorizată direct.

Autorii afirmă:

‘Rezultatele noastre demonstrează că LLM posedă cunoștințe extinse despre setul de date MovieLens-1M, care acoperă articole, atribute de utilizator și istoric de interacțiuni.

‘În mod semnificativ, o simplă promptă permite lui GPT-4o să recupereze aproape 80% din înregistrările MovieID::Titlu. Niciunul dintre modelele examinate nu este lipsit de această cunoaștere, ceea ce sugerează că datele MovieLens-1M sunt probabil incluse în seturile lor de antrenare.

‘Am observat tendințe similare în recuperarea atributelor de utilizator și a istoricului de interacțiuni.’

Ulterior, autorii au testat impactul memorizării asupra sarcinilor de recomandare, promptând fiecare model pentru a acționa ca un sistem de recomandare. Pentru a evalua performanța, au comparat ieșirile cu șapte metode standard: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; și Random.

Setul de date MovieLens-1M a fost împărțit 80/20 în seturi de antrenare și testare, utilizând o strategie de eșantionare leave-one-out pentru a simula utilizarea în lumea reală. Metricile utilizate au fost Hit Rate (HR@[n]); și nDCG(@[n]):

Precizia recomandărilor pe baza metodelor standard și a metodelor bazate pe LLM. Modelele sunt grupate după familie și ordonate după numărul de parametri, cu valorile îngroșate indicând cel mai bun scor în fiecare grup.

Aici, mai multe modele de limbaj mare au depășit metodele tradiționale în toate metricile, cu GPT-4o stabilind o conducere largă în fiecare coloană, și chiar modele de dimensiuni medii, cum ar fi GPT-3.5 turbo și Llama-3.1 405B, au depășit constant metodele de referință, cum ar fi BPRMF și LightGCN.

Între variantele Llama mai mici, performanța a variat puternic, dar Llama-3.2 3B se remarcă, având cel mai bun HR@1 în grupul său.

Rezultatele, după cum afirmă autorii, sugerează că datele memorizate pot duce la avantaje măsurabile în sarcinile de recomandare, în special pentru modelele puternice.

Într-o observație suplimentară, cercetătorii continuă:

‘Deși performanța de recomandare pare remarcabilă, compararea Tabelului 2 cu Tabelul 1 revelează un model interesant. În cadrul fiecărui grup, modelul cu o memorizare mai mare demonstrează, de asemenea, o performanță superioară în sarcina de recomandare.

‘De exemplu, GPT-4o depășește GPT-4o mini, și Llama-3.1 405B depășește Llama-3.1 70B și 8B.

‘Aceste rezultate subliniază faptul că evaluarea LLM pe seturi de date care au fost compromise în seturile lor de antrenare poate duce la performanțe supraestimate, conduse de memorizare mai degrabă decât de generalizare.’

Referitor la impactul dimensiunii modelului asupra acestei probleme, autorii au observat o corelație clară între dimensiune, memorizare și performanță de recomandare, cu modelele mai mari reținând mai mult din setul de date MovieLens-1M și performând mai bine în sarcinile ulterioare.

Llama-3.1 405B, de exemplu, a arătat o rată medie de memorizare de 12,9%, în timp ce Llama-3.1 8B a reținut doar 5,82%. Această reducere de aproximativ 55% în ceea ce privește recunoașterea a corespuns unei scăderi de 54,23% în nDCG și de 47,36% în HR pe parcursul evaluărilor.

Modelul a fost valabil pe tot parcursul – acolo unde memorizarea a scăzut, și performanța a scăzut de asemenea:

‘Aceste descoperiri sugerează că creșterea dimensiunii modelului duce la o memorizare mai mare a setului de date, ceea ce rezultă într-o performanță îmbunătățită.

‘Prin urmare, în timp ce modelele mai mari demonstrează o performanță de recomandare mai bună, ele prezintă și riscuri legate de posibila scurgere a datelor de antrenare.’

Ultimul test a examinat dacă memorizarea reflectă sesizarea popularității încorporată în MovieLens-1M. Articolele au fost grupate după frecvența interacțiunii, și graficul de mai jos arată că modelele mai mari au favorizat constant articolele cele mai populare:

Acoperirea articolelor pe model, pe trei niveluri de popularitate: 20% cel mai popular; 20% moderat popular; și 20% cel mai puțin interacționat.

GPT-4o a recuperat 89,06% din articolele de top, dar doar 63,97% din cele mai puțin populare. GPT-4o mini și modelele Llama mai mici au arătat o acoperire mult mai mică pe toate benzile.

Ei continuă:

‘Rezultatele noastre arată o sesizare clară a popularității în LLM, articolele din top 20% fiind semnificativ mai ușor de recuperat decât cele din 20% din fund.

‘Acest model subliniază influența distribuției datelor de antrenare, unde filmele populare sunt suprareprezentate, conducând la o memorizare disproporționată de către modele.’

Concluzie

Dilema nu mai este nouă: pe măsură ce seturile de date cresc, perspectiva curățării lor scade în proporție inversă. MovieLens-1M, poate printre multe altele, intră în aceste corpora uriașe fără supraveghere, anonim printre volumul imens de date.

Problema se repetă la fiecare scară și rezistă automatizării. Orice soluție necesită nu numai efort, ci și judecată umană – acel tip lent și imperfect pe care mașinile nu îl pot furniza. În acest sens, noul articol nu oferă nicio cale înainte.

* O metrică de acoperire în acest context este un procent care arată cât de mult din setul de date original o model de limbaj poate reproduce atunci când este întrebat cu întrebarea potrivită. Dacă un model este promptat cu un ID de film și răspunde cu titlul și genul corect, aceasta este considerată o recunoaștere de succes. Numărul total de recunoașteri de succes este apoi împărțit la numărul total de intrări din setul de date pentru a produce un scor de acoperire. De exemplu, dacă un model returnează informații corecte pentru 800 din 1.000 de articole, acoperirea sa va fi de 80%.

Publicat pentru prima dată vineri, 16 mai 2025