Suuret kielen mallit muistavat tietokannat, joita niiden testaamiseen tarkoitettu

Jos luototte AI:ta suosittelemaan, mitä katsella, lukea tai ostaa, uusi tutkimus osoittaa, että jotkut järjestelmät perustavat nämä tulokset muistista eikä taidosta: sen sijaan, että mallit oppisivat tekemään hyödyllisiä ehdotuksia, ne usein muistavat kohteita tietokannoista, joita niiden arviointiin käytetään, mikä johtaa yliarviointiin ja suosituksiin, jotka saattavat olla vanhentuneita tai huonosti soveltuvia käyttäjälle.

Koneoppimisessa testijako käytetään nähdäkseen, onko koulutettu malli oppinut ratkaisemaan ongelmia, jotka ovat samankaltaisia, mutta eivät identtisiä materiaaliin, jolla se on koulutettu.

Esimerkiksi jos uusi AI-koirarodun tunnistusmalli on koulutettu 100 000 koirien kuvista, se sisältää yleensä 80/20-jakautumisen – 80 000 kuvaa, jotka toimitetaan mallin koulutukseen; ja 20 000 kuvaa, jotka pidetään pois ja käytetään valmiin mallin testaamiseen.

On selvää, että jos AI:n koulutusdata sisältää vahingossa “salaisen” 20 %:n testijakoa, malli suorittaa nämä testit täydellisesti, koska se jo tiedostaa vastaukset (se on jo nähnyt 100 %:n alueen dataa). Tämä ei kuitenkaan heijasta tarkasti, miten malli suoriutuu myöhemmin uusilla “live”-tiedoilla tuotantoympäristössä.

Elokuvaspoilerit

Ongelma AI:n vilppiin kokeissa on kasvanut yhtä aikaa mallien kanssa. Koska nykyiset järjestelmät on koulutettu valtavilla, tarkoituksettoman verkkokokoelmilla, kuten Common Crawl, mahdollisuus, että vertailutietokannat (ts. pidätetyt 20 %) pääsevät koulutusseokseen, ei ole enää reunatapaus, vaan oletus – ilmiö, jota kutsutaan datan saastumiseksi; ja tässä mittakaavassa manuaalinen kuraattori, joka voisi havaita nämä virheet, on logistisesti mahdoton.

Tämä tapaus tutkitaan uudessa tutkimuksessa Italian Politecnico di Barista, jossa tutkijat keskittyvät yhden elokuvasuositustietokannan, MovieLens-1M:n, rooliin, jonka he väittävät useiden johtavien AI-mallien muistaneen osittain koulutuksen aikana.

Koska tämä tietokanta on erittäin laajasti käytössä suosittelujärjestelmien testaamisessa, sen läsnäolo mallien muistissa voi tehdä nämä testit merkityksettömiksi: se, mikä näyttää älykkyydeltä, saattaa olla yksinkertaisesti muisti, ja se, mikä näyttää suosittelutaidolta, saattaa olla vain tilastollinen heijaste, joka heijastaa aikaisempaa altistumista.

Tutkijat toteavat:

‘Havaintomme osoittavat, että LLM:t omistavat laajan tietämyksen MovieLens-1M-tietokannasta, joka kattaa kohteet, käyttäjän ominaisuudet ja vuorovaikutushistoriat.

‘Huomattavaa on, että yksinkertainen kehote mahdollistaa GPT-4o:lle palauttaa lähes 80 %:n MovieID::Title-tietueista. Mikään tutkituista malleista ei ole vapaa tästä tietämyksestä, mikä viittaa siihen, että MovieLens-1M-data on todennäköisesti mukana niiden koulutusjoukoissa.

‘Havaitsemme samanlaisia trendejä käyttäjän ominaisuuksien ja vuorovaikutushistorioiden palauttamisessa.’

Uusi, lyhyt tutkimus on nimeltään Onko LLM:t muistavat suosittelutietokantoja? Alustava tutkimus MovieLens-1M:stä, ja se on tehty kuuden Politecnico-tutkijan toimesta. Tutkimuksen pipeline on julkaistu GitHubissa.

Menetelmä

Tutkijat alkoivat määritelmällä, mitä muistaminen tarkoittaa tässä asiayhteydessä, ja testasivat, voivatko mallit palauttaa tiettyjä tietoja MovieLens-1M-tietokannasta, kun ne kehotettiin oikealla tavalla.

Jos malli näytettiin elokuvan ID-numero ja se pystyi tuottamaan elokuvan nimen ja genren, se laskettiin muistamiseksi; jos se pystyi generoimaan tietoja käyttäjästä (kuten ikä, ammatti tai postinumero) käyttäjän ID:stä, se laskettiin käyttäjän muistamiseksi; ja jos se pystyi toistamaan käyttäjän seuraavan elokuvan arvostelun tunnetusta järjestyksestä, se otettiin todisteeksi siitä, että malli saattaa muistaa tietyt vuorovaikutusdatat eikä yleisiä malleja.

Nämä muistamisen muodot testattiin huolellisesti kirjoitetuilla kehoituksilla, jotka oli suunniteltu ohjaamaan mallia ilman uuden tiedon antamista. Mitä tarkempi vastaus oli, sitä todennäköisemmin malli oli jo kohdannut tämän datan koulutuksen aikana:

Zero-shot-prompting arviointiprotokollan uudessa tutkimuksessa. Lähde: https://arxiv.org/pdf/2505.10212

Data ja testit

Tutkijat kartoittivat viimeaikaisia tutkimuksia kahdesta alan suuresta konferenssista, ACM RecSys 2024 ja ACM SIGIR 2024. MovieLens-1M esiintyi useimmin, ja se mainittiin yli viidenessätoista julkaisussa. Koska aiemmat tutkimukset olivat jo saavuttaneet samat johtopäätökset, tämä ei ollut yllättävää, vaan vahvisti vain tietokannan hallitsevaa asemaa.

MovieLens-1M koostuu kolmesta tiedostosta: Movies.dat, joka listaa elokuvat ID:n, nimen ja genren mukaan; Users.dat, joka kartoittaa käyttäjän ID:t perusbiografisiin kenttiin; ja Ratings.dat, joka tallentaa, kuka arvosteli mitä ja milloin.

Tutkijat käyttivät kehottamistekniikoita, jotka olivat alun perin esitelty tutkimuksessa Extracting Training Data from Large Language Models, ja myöhemmin sovellettu jatkotutkimuksessa Bag of Tricks for Training Data Extraction from Language Models.

Menetelmä on suora: aseta kysymys, joka heijastaa tietokannan muotoa, ja katso, vastaako malli oikein. Zero-shot, Chain-of-Thought ja few-shot-prompting testattiin, ja havaittiin, että viimeksi mainittu menetelmä, jossa mallille esitettiin muutamia esimerkkejä, oli tehokkain; vaikka monimutkaisemmat lähestymistavat saattavat antaa korkeamman palautusprosentin, tämä katsottiin riittäväksi osoittamaan, mitä malli oli muistanut.

Few-shot-prompting testataksesi, voivatko mallit toistaa tiettyjä MovieLens-1M-arvoja, kun niille annetaan vähäinen konteksti.

Tutkijat määrittelivät kolme muistamisen muotoa: kohteen, käyttäjän ja vuorovaikutuksen. Näitä testejä käytettiin tutkimaan, voivatko mallit palauttaa elokuvan nimen ID:stä, generoida käyttäjän tiedot käyttäjän ID:stä tai ennustaa käyttäjän seuraavan arvostelun aikaisemmista arvostelujen perusteella. Jokainen testi pisteytettiin peittävyyden mukaan, joka heijasti, kuinka paljon tietokannasta voitiin jälleenrakentaa kehottamisen avulla.

Malleja, jotka testattiin, olivat GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; ja Llama-3.1 8B. Kaikki mallit suoritettiin lämpötilalla nolla, top_p asetettuna yksi, ja sekä taajuus- että läsnäolopenaltit poistettu. Kiinteä satunnainen siemen varmisti, että tulokset olivat johdonmukaisia suoritusten välillä.

MovieLens-1M-tietokannan osuuksien osuus movies.dat-, users.dat- ja ratings.dat-tiedostojen mukaan, mallit ryhmitelty versioittain ja järjestetty parametrilukumäärän mukaan.

Tutkijat testasivat, kuinka syvällä MovieLens-1M oli absorboitunut, kehottamalla jokaista mallia etsimään tarkkoja tietokannan arvoja sen kolmesta (mainittuun) tiedostosta: Movies.dat, Users.dat ja Ratings.dat.

Alkutestien tulokset, jotka on esitetty yllä, paljastavat teräviä eroja sekä GPT- ja Llama-perheiden välillä että mallien koossa. Vaikka GPT-4o ja GPT-3.5 turbo palauttavat suuria osia tietokannasta helposti, useimmat avoimen lähdekoodin mallit muistavat vain pienen osan samaa materiaalia, mikä viittaa epätasapuoliseen altistumiseen tähän vertailuun koulutuksen aikana.

Nämä eivät ole pieniä marginaaleja. Kaikkien kolmen tiedoston yhteydessä vahvimmat mallit eivät ainoastaan suorittaneet paremmin heikompia malleja, vaan palauttivat koko osia MovieLens-1M:stä.

GPT-4o:n tapauksessa peittävyys oli tarpeeksi korkea osoittamaan, että merkittävä osa tietokannasta oli suoraan muistettu.

Tutkijat toteavat:

‘Havaintomme osoittavat, että LLM:t omistavat laajan tietämyksen MovieLens-1M-tietokannasta, joka kattaa kohteet, käyttäjän ominaisuudet ja vuorovaikutushistoriat.

‘Huomattavaa on, että yksinkertainen kehote mahdollistaa GPT-4o:lle palauttaa lähes 80 %:n MovieID::Title-tietueista. Mikään tutkituista malleista ei ole vapaa tästä tietämyksestä, mikä viittaa siihen, että MovieLens-1M-data on todennäköisesti mukana niiden koulutusjoukoissa.

‘Havaitsemme samanlaisia trendejä käyttäjän ominaisuuksien ja vuorovaikutushistorioiden palauttamisessa.’

Seuraavaksi tutkijat testasivat muistamisen vaikutusta suosittelutehtäviin kehottamalla jokaista mallia toimimaan suosittelujärjestelmänä. Vertailun vuoksi he vertasivat tulokset seitsemään perinteiseen menetelmään: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; ja Random.

MovieLens-1M-tietokanta jaettiin 80/20:een koulutus- ja testijoukkoihin, käyttäen leave-one-out-näytteistysstrategiaa simuloimaan käytännön käyttöä. Käytetyt mittarit olivat Hit Rate (HR@[n]); ja nDCG(@[n]):

Suosittelun tarkkuus perinteisissä vertailumalleissa ja LLM-pohjaisissa menetelmissä.

Useat suuret kielen mallit suorittivat perinteiset vertailumallit kaikilla mittareilla, GPT-4o:n asettamalla laajan johtoaseman jokaisessa sarakkeessa, ja jopa keskikokoiset mallit, kuten GPT-3.5 turbo ja Llama-3.1 405B, ylittivät johdonmukaisesti vertailumalleja, kuten BPRMF ja LightGCN.

Pienempien Llama-varianttien suorituskyky vaihteli voimakkaasti, mutta Llama-3.2 3B erottuu, sillä se saavutti korkeimman HR@1-tuloksen ryhmässään.

Tutkijat toteavat:

‘Vaikka suosittelun suorituskyky näyttää erinomaiselta, vertaamalla taulukkoa 2 taulukkoon 1 paljastuu mielenkiintoinen kuva. Jokaisen ryhmän sisällä malli, jolla on korkeampi muistaminen, osoittaa myös parempaa suorituskykyä suosittelutehtävissä.

‘Esimerkiksi GPT-4o suorittaa paremmin kuin GPT-4o mini, ja Llama-3.1 405B ylittää Llama-3.1 70B:n ja 8B:n.

‘Nämä tulokset korostavat, että LLM-mallien arviointi tietokannoissa, jotka on vuotanut niiden koulutusdataan, voi johtaa liioiteltuihin suorituskykyarvioihin, joita ohjaa muistaminen eikä yleistyminen.’

Mallin koosta riippuvan ongelman suhteen tutkijat havaitsivat selvän korrelaation koon, muistamisen ja suosittelun suorituskyvyn välillä, suurempien mallien muistavan enemmän MovieLens-1M-tietokantaa ja suorittavan paremmin alirakenteellisissa tehtävissä.

Llama-3.1 405B esimerkiksi osoitti 12,9 %:n muistamisprosentin, kun taas Llama-3.1 8B säilytti vain 5,82 %. Tämä 55 %:n lasku muistissa vastasi 54,23 %:n laskua nDCG:ssä ja 47,36 %:n laskua HR:ssä arviointirajoissa.

Kuvio toistui yleisesti – missä muistaminen väheni, siinä myös näennäinen suorituskyky väheni:

‘Nämä havainnot osoittavat, että mallin koosta johtuva muistaminen johtaa parempaan suorituskykyyn.

‘Seurauksena on, että vaikka suuremmat mallit osoittavat parempaa suosittelun suorituskykyä, ne myös sisältävät riskejä potentiaaliseen koulutusdatan vuotamiseen.’

Viimeinen testi tutki, heijastaa muistaminen suosituimman viilentymisen, joka on sisäänrakennettu MovieLens-1M:ään. Kohteet jaettiin vuorovaikutuksen tiheyden mukaan, ja alla oleva kaavio osoittaa, että suuremmat mallit suosivat johdonmukaisesti suosituimpia kohteita:

Kohteen peittävyys mallien mukaan kolmessa suosituimman asteikossa.

GPT-4o palautti 89,06 %:n eniten interaktiivisista kohteista, mutta vain 63,97 %:n vähiten interaktiivisista. GPT-4o mini ja pienemmät Llama-mallit osoittivat paljon alempaa peittävyyttä kaikissa ryhmissä. Tutkijat toteavat, että tämä trendi viittaa siihen, että muistaminen ei ainoastaan skaalautuva mallin koossa, vaan myös vahvistaa olemassa olevia epätasapuolisuutta koulutusdatassa.

He jatkavat:

‘Havaintomme paljastavat voimakkaan suosituimman viilentymisen LLM-malleissa, jossa 20 %:n eniten suosittuja kohteita on merkittävästi helpompi palauttaa kuin 20 %:n vähiten interaktiivisia.

‘Tämä trendi korostaa koulutusdatan jakautumisen vaikutusta, jossa suositut elokuvat ovat yliedustettuina, mikä johtaa niiden epäsuhtaisten muistamiseen malleissa.’

Johtopäätös

Dilemma ei ole enää uusi: mitä koulutusjoukot kasvavat, niiden kuraattorin mahdollisuus vähenee suoraan vastaavasti. MovieLens-1M, ehkä monien muiden joukossa, tulee näihin valtaviin kokoelmiin valvomatta, nimettömänä valtavan datamäärän keskellä.

Ongelma toistuu jokaisessa mittakaavassa ja vastustaa automaatiota. Ratkaisu vaatii ei ainoastaan vaivaa vaan myös inhimillistä harkintaa – hitaampaa, virhealttiimpaa, jota koneet eivät voi toimittaa. Tässä suhteessa uusi tutkimus ei tarjoa eteenpäin johtavaa ratkaisua.

* Peittävyyden mittari tässä asiayhteydessä on prosentti, joka osoittaa, kuinka paljon alkuperäisestä tietokannasta kielen malli pystyy jälleenrakentamaan, kun sille annetaan oikeanlainen kysymys. Jos malli kehotetaan elokuvan ID:llä ja se vastaa oikealla nimellä ja genrellä, se lasketaan onnistuneeksi palautukseksi. Onnistuneiden palautusten lukumäärä jaetaan tietokannan kokonaislukumäärällä, jolloin saadaan peittävyyden arvo. Esimerkiksi jos malli palauttaa oikein 800 kohteen tiedot 1000:sta, sen peittävyys on 80 %.

Julkaistu ensimmäisen kerran perjantaina, 16. toukokuuta 2025