Duże modele językowe zapamiętują zestawy danych przeznaczone do ich testowania

Jeśli polegasz na AI, aby polecić, co obejrzeć, przeczytać lub kupić, nowe badania wskazują, że niektóre systemy mogą opierać się na wynikach pamięci zamiast umiejętności: zamiast uczyć się, aby składać przydatne sugestie, modele często przypominają elementy z zestawów danych wykorzystywanych do ich oceny, co prowadzi do przeszacowania wyników i rekomendacji, które mogą być nieaktualne lub źle dopasowane do użytkownika.

W machine learningu test-split jest wykorzystywany, aby sprawdzić, czy wytrenowany model nauczył się rozwiązywać problemy podobne, ale nie identyczne z materiałem, na którym został wytrenowany.

Więc jeśli nowy model rozpoznawania ras psów jest wytrenowany na zestawie 100 000 zdjęć psów, zwykle posiada podział 80/20 – 80 000 zdjęć dostarczonych do treningu modelu; i 20 000 zdjęć wykorzystywanych jako materiał testowy.

Jasne, że jeśli dane treningowe AI zawierają przypadkowo “tajny” 20% część test-split, model uzyska najwyższe wyniki w testach, ponieważ już zna odpowiedzi (zobaczył 100% danych z tego zakresu). Oczywiście, nie odzwierciedla to dokładnie, jak model będzie działał później, na nowych “na żywo” danych, w środowisku produkcyjnym.

Spoilery filmowe

Problem oszukiwania AI na egzaminach wzrasta wraz ze skalą modeli. Ponieważ dzisiejsze systemy są trenowane na ogromnych, nie wyselekcjonowanych korpusach zebrane z sieci, takich jak Common Crawl, możliwość, że zestawy danych testowych (tj. wykorzystane 20%) dostaną się do treningu jest już nie tylko przypadkiem, ale normą – zjawisko znane jako zanieczyszczenie danych; a w tej skali, ręczna kuracja, która mogłaby wykryć takie błędy, jest logistycznie niemożliwa.

Ten przypadek jest badany w nowym artykule z Politechniki w Bari we Włoszech, gdzie badacze skupili się na nadmiernej roli jednego zestawu danych rekomendacji filmów, MovieLens-1M, których twierdzą, że zostały częściowo zapamiętane przez kilka wiodących modeli AI podczas treningu.

Ponieważ ten konkretny zestaw danych jest tak powszechnie wykorzystywany w testowaniu systemów rekomendacji, jego obecność w pamięci modeli potencjalnie czyni te testy bezsensownymi: to, co wydaje się inteligencją, może być w rzeczywistości prostą pamięcią, a to, co wygląda na umiejętność rekomendacji, może być tylko statystycznym echem odbicia wcześniejszego narażenia.

Autorzy stwierdzają:

‘Nasze wyniki dowodzą, że LLM posiadają obszerną wiedzę na temat zestawu danych MovieLens-1M, obejmującą elementy, atrybuty użytkowników i historie interakcji.

‘Warto zauważyć, że prosta sugestia umożliwia GPT-4o odzyskanie prawie 80% rekordów MovieID::Tytuł. Żaden z badanych modeli nie jest wolny od tej wiedzy, co sugeruje, że dane MovieLens-1M są prawdopodobnie zawarte w ich zestawach treningowych.

‘Obserwowaliśmy podobne trendy w odzyskiwaniu atrybutów użytkowników i historii interakcji.’

Następnie autorzy przetestowali wpływ pamięci na zadania rekomendacji, sugerując każdemu modelowi, aby działał jako system rekomendacji. Aby zmierzyć wyniki, porównali dane wyjściowe z siedmioma standardowymi metodami: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; i Random.

Zestaw danych MovieLens-1M został podzielony na 80/20 w celu treningu i testów, przy użyciu strategii leave-one-out, aby symulować rzeczywiste użycie. Wykorzystane metryki to Hit Rate (HR@[n]); i nDCG(@[n]):

Dokładność rekomendacji na standardowych podstawach i metodach opartych na LLM. Modele są pogrupowane według rodziny i uporządkowane według liczby parametrów, z wyróżnionymi wartościami jako najwyższymi wynikami w każdej grupie.

Tutaj kilka dużych modeli językowych przewyższa tradycyjne podstawy we wszystkich metrykach, z GPT-4o, który ustanawia wyraźną przewagę we wszystkich kolumnach, a nawet średnie rozmiary modeli, takie jak GPT-3.5 turbo i Llama-3.1 405B, stale przewyższają metody benchmarkowe, takie jak BPRMF i LightGCN.

Wśród mniejszych wariantów Llama wyniki różnią się znacznie, ale Llama-3.2 3B wyróżnia się najwyższym HR@1 w swojej grupie.

Wyniki, jak sugerują autorzy, wskazują, że zapamiętane dane mogą przekładać się na wymierne korzyści w zadaniach rekomendacji, szczególnie dla najsilniejszych modeli.

W dalszym ciągu autorzy stwierdzają:

‘Chociaż wyniki rekomendacji wydają się wyjątkowe, porównanie tabeli 2 z tabelą 1 ujawnia interesujący wzorzec. W każdej grupie model z wyższą pamięcią wykazuje również lepszą wydajność w zadaniach rekomendacji.

‘Na przykład GPT-4o przewyższa GPT-4o mini, a Llama-3.1 405B przewyższa Llama-3.1 70B i 8B.

‘Te wyniki podkreślają, że ocena LLM na zestawach danych, które wyciekły do ich danych treningowych, może prowadzić do optymistycznych wyników, napędzanych przez pamięć zamiast uogólnienia.’

Co się tyczy wpływu skali modelu na ten problem, autorzy zaobserwowali wyraźną korelację między rozmiarem, pamięcią a wynikami rekomendacji, gdzie większe modele nie tylko zachowywały więcej zestawu danych MovieLens-1M, ale również osiągały lepsze wyniki w zadaniach podrzędnych.

Llama-3.1 405B, na przykład, wykazała średni wskaźnik pamięci na poziomie 12,9%, podczas gdy Llama-3.1 8B zachowała tylko 5,82%. Ten spadek o prawie 55% w odzyskiwaniu danych odpowiadał spadkowi o 54,23% w nDCG i 47,36% w HR podczas oceny.

Wzorzec utrzymywał się na przestrzeni – tam, gdzie pamięć maleje, maleją również wyniki:

‘Te wyniki sugerują, że zwiększanie skali modelu prowadzi do większej pamięci zestawu danych, co skutkuje lepszą wydajnością.

‘W związku z tym, większe modele wykazują lepszą wydajność rekomendacji, ale również niosą ze sobą ryzyko potencjalnego wycieku danych treningowych.’

Ostatni test sprawdził, czy pamięć odzwierciedla popularity bias wbudowany w MovieLens-1M. Elementy zostały pogrupowane według częstotliwości interakcji, a poniższy wykres pokazuje, że większe modele konsekwentnie faworyzują najpopularniejsze wpisy:

Pokrycie elementów przez model w trzech grupach popularności: 20% najpopularniejszych, 20% umiarkowanie popularnych i 20% najmniej interaktywnych elementów.

GPT-4o odzyskał 89,06% najwyżej sklasyfikowanych elementów, ale tylko 63,97% najmniej popularnych. GPT-4o mini i mniejsze modele Llama wykazały znacznie niższe pokrycie we wszystkich grupach. Badacze stwierdzają, że ten trend sugeruje, że pamięć nie tylko skaluje się z rozmiarem modelu, ale również nasila istniejące nierównowagi w danych treningowych.

Stwierdzają dalej:

‘Nasze wyniki ujawniają wyraźny popularity bias w LLM, z 20% najpopularniejszych elementów, które są znacznie łatwiejsze do odzyskania niż 20% najmniej popularnych.

‘Ten trend podkreśla wpływ dystrybucji danych treningowych, gdzie popularne filmy są przereprezentowane, co prowadzi do ich nieproporcjonalnego zapamiętywania przez modele.’

Wnioski

Dylemat nie jest już nowy: im większe zestawy treningowe, tym mniejsza szansa na ich kurację. MovieLens-1M, być może wraz z innymi, wchodzi do tych ogromnych korpusów bez nadzoru, anonimowo wśród ogromnej ilości danych.

Problem powtarza się na każdej skali i opiera się automatyzacji. Każde rozwiązanie wymaga nie tylko wysiłku, ale także ludzkiej oceny – powolnej, podatnej na błędy, której maszyny nie mogą dostarczyć. W tym sensie nowy artykuł nie oferuje żadnej drogi do przodu.

* Metryka pokrycia w tym kontekście jest procentem, który pokazuje, jak dużo oryginalnego zestawu danych model językowy jest w stanie odtworzyć, gdy zostanie poproszony o odpowiednie pytanie. Jeśli model jest poproszony o ID filmu i odpowiada poprawnym tytułem i gatunkiem, to liczy się to jako pomyślne odzyskanie. Łączna liczba pomyślnych odzyskań jest następnie dzielona przez łączną liczbę wpisów w zestawie danych, aby wyprodukować wynik pokrycia. Na przykład, jeśli model poprawnie zwraca informacje dla 800 z 1000 elementów, jego pokrycie wynosi 80%.

Pierwotnie opublikowane w piątek, 16 maja 2025