‘Rogue’ -tietojen pilaantuminen generatiivisen tekoälytekniikan suorituskyvyn

Uusi tutkimus osoittaa, että useat suositut kuvadatamäärät, joita käytetään tekoälymallien kouluttamiseen, ovat saastuneita testikuvilla tai läheskäänneyhdistelmillä, jolloin mallit voivat “viljellä” vastauksia muistamalla ne sen sijaan, että ne oppisivat. Vuoto on laajaa, mutta yleensä havaitsematonta, ja se vaikuttaa hiljaisesti pisteisiin ja antaa epäreiluja etuja malleille, jotka on koulutettu web-asteisilla tiedoilla.

Kun otat ajokortin, sinulle ei yleensä kerrota etukäteen tarkalleen, mitkä tiet tullaan käyttämään kokeessa. Jos sinulle kerrottaisiin (ja sinulla olisi hieman puutteita rehellisyydessä), voit “optimoida” kokeen toistamalla sen useita kertoja, sen sijaan, että kehittäisit laajempia ajotaitoja, jotka voisivat käsitellä minkä tahansa tien järkevästi.

Koneoppimisen mallien kouluttamisessa tämä on järkevä vertaus testijakoon – jaon koulutusdatasta, joka jaetaan yleensä 70 %:iin jakoon, jota käytetään mallin kouluttamiseen, ja loput 30 %:iin “luonnolliseen” dataan.

Koska luonnollisessa datassa malli ei ole koskaan nähnyt, jos malli suoriutuu hyvin siitä, voidaan olettaa, että se on tehokas ja suorituskykyinen; jos ei, malli voi ylisovittaa hyvin tasapainotetun joukon – tai sitten dataa tarvitaan lisää ja määrittelyä.

Mikä tahansa, ei arvioida malleja koulutusdatalla on nykyisen tekoälytutkimuksen ja kehityksen kulmakivi.

Taas sama

Japanista peräisin olevan uuden tutkimuspaperin mukaan tietokoneen näkö- ja generatiivisen tekoälytutkimuksen ala ei ole edes lähestynyt LLM-tutkijoiden pyrkimyksiä varmistaa, että testidataa ei pääse saastamaan koulutusdataa; tutkijat havaitsivat, että jokainen hyperskaalainen näködatamäärä, jonka he tutkivat, mukaan lukien ne, jotka pyörittävät joitain suurimpia nykyisiä generatiivisia tekoälyjärjestelmiä, on jossain määrin sallinut testidatansa ylittää koulutusdatansa – tarkoittaen, että mallien suorituskyvyn arviot ja raportit näistä jakoihin perustuen eivät ole luotettavampia kuin kokeen tulos, jonka joku on huijannut salamalla kokeeseen, eivätkä ne heijasta todellista suorituskykyä aidoilla uusilla tiedoilla.

Tutkijoiden löytämien datavirheiden esimerkkejä, joissa kaksoiskappaleita tai läheskäänneyhdistelmiä on sekä koulutus- että testidatassa. Lähde: https://arxiv.org/pdf/2508.17416

Yllä olevassa kuvassa uudesta paperista näemme esimerkkejä joko identtisistä tai lähes identtisistä datapisteyhdistelmistä useiden mallien ydin- ja testidatassa – tarpeeksi paljon, jotta mallin suorituskyky kyseisillä tiedoilla mitätöidään, ja hieman nostaa yleiset pisteet, mikä helpottaa mallin yleistymiskyvyn tasoa, jonka se saattaa itse asiassa olla saavuttanut.

Asiaa monimutkaistaa se, että saastuminen näyttää tapahtuvan monenlaisissa tilanteissa, mukaan lukien ‘esikoulutuksen‘, jossa vanhempien, alkuperäisten mallien painot käytetään uuden mallin “käynnistämiseen”. Jos ylävirtainen, vanhempi malli sisältää joitain samoja tietoja kuin uusi datamäärä, jota esikoulutetaan, datavirhe voi tapahtua, vaikka 70/30- tai 80/20-jako olisi puhdas.

Kumulatiivinen vaikutus

Tämä on melkein varmaa tapahtua jopa viimeisimmissä datamäärissä: näkö- ja kieliaineistojen laajuus on kasvanut valtavasti viiden viime vuoden aikana, käsittäen sekä uusimmat kuvat verkossa että uudelleenkeräämällä suurimman osan samoista tiedoista, jotka olivat vanhemmissa, historiallisissa datamäärissä.

Lisäksi automaattiset toimenpiteet, jotka on suunniteltu etsimään ja suodattamaan miljardeja kuvia kaksoiskappaleita ja läheskäänneyhdistelmiä varten, ovat nyt kohtaamassa niin raskaan tehtävän, että kuraattorin kustannukset on otettava huomioon budjetin rajoitusten yhteydessä

Samaan aikaan kuvien kaksoiskappaleiden syntymä on välttämätön seuraus sellaisen ad hoc verkkokalastelun kaltaisen massiivisen kokoelman, kuten Common Crawl, takana, johtuen yleisestä käytännöstä uudelleenjulkaisemisesta ja kuvien uudelleenpakkaamisesta, sekä muokkauksista, kuten leikkaamisesta ja kääntämisestä, ja jopa kääntämisestä (välttääksesi havaitsemisen, kun kuva on käytetty ilman lupaa, esimerkiksi).

Tekijät huomauttavat*:

‘Datavirhe on laaja ongelma, joka on läsnä useimmissa visuaalisissa datamäärissä. Vuoto voi peittää mallien yleistymiskyvyn, mikä on erityisen ongelmallista, kun verrataan malleja, jotka on koulutettu eri datamäärillä, mikä johtaa epäreiluihin vertailuihin.

‘Kehotamme datamäärän suunnittelijoita huolellisesti harkitsemaan näiden arvioiden vaikutuksia. Reilumpaa mallin arviointia varten suosittelemme kaksoiskappaleiden havaitsemiseen tarkoitettujen laitteiden käyttöä, jotka ottaa huomioon sekä kovia että pehmeitä vuotoja.

‘Idealisesti, vuotaneet kuvat poistettaisiin koulutusjoukosta, ja jos se ei ole mahdollista, niitä olisi poistettava testijoukosta.’

Paperi tarkastelee useita tutkimuksia, joita tutkijat suorittivat massiivisilla ja suosituilla datamäärillä – jokainen niistä osoitti jonkinasteista saastumista.

Uusi paperi on nimeltään Visuaalisten datamäärien datavirhe, ja se on peräisin kolmelta tutkijalta Osakan yliopistosta.

Menetelmä

Paperin kirjoittajat määrittelevät vuodon kolmen ulottuvuuden avulla: modaali, kattavuus ja aste.

Modaali erottaa, onko vain kuvia vuotanut vai onko sekä kuvia että merkintöjä paljastunut; kattavuus tunnistaa, tapahtuuko leviäminen samassa datamäärissä vai eri datamäärissä; ja aste määrittää, onko kopioitu sisältö täysin sama vai ainoastaan lähes samanlainen.

Vuodon suhteen kaksi skenaariota, jotka tutkimuksessa otettiin huomioon, ovat intra-datamäärän vuoto (jossa arviointikuvat toistuvat koulutusjakossa samassa datamäärissä), ja inter-datamäärän vuoto (jossa arviointikuvat toisesta datamäärästä ovat läsnä toisessa, eri datamäärässä, jota käytetään koulutukseen).

Asteen suhteen kaksi tasoa on määritelty: pehmeä vuoto (jossa kuvat eivät ole identtisiä, mutta näyttävät muistuttavan toisiaan), ja kova vuoto (jossa kuvat ovat täysin samat koulutus- ja arviointidatasta).

Tutkijat käsittelevät vuodon havaitsemista kuvanhakua käyttäen, jossa kuvakooderit edustavat jokaisen kuvan piirtovektorina. Kyselyjoukko on arviointidata, kun taas kokoelma on koulutusjoukko.

Pienemmille datamäärille jokainen kyselyvektori vertailtiin suoraan kaikkiin koulutusvektoreihin kosinussuvatun avulla. Suuremmille datamäärille Faiss-indeksi luotiin mahdollistaaksesi nopeamman K-Nearest Neighbors (KNN) -haun.

Koska kooderin on pyrittävä havaitsemaan tarpeeksi visuaalista tietoa, jotta hauras yhtäläisyys voidaan havaita, mutta on silti tehokas hyvin suurten datamäärien edessä, kirjoittajat luottivat ennalta laskettuihin CLIP -ominaisuuksiin, jotka datamäärän luojat olivat tarjonneet, kuten LAION-kokoelma, joka muodostaa Stable Diffusionin ja myöhemmät projektien perustan.

Kirjoittajat toteavat, että sallimalla CLIPin käyttää ymmärrystään datamäärästä (sen sijaan, että se olisi kysynyt itse tiedostoja mittakaavassa) nopeutti prosessia merkittävästi ja tarjosi paremman johdonmukaisuuden vertailujen välillä.

Data ja testit

CLIP-kuvakooderi, jota käytettiin uuden työn testeissä, oli oletusarvo CLIP ViT-B/32 alkuperäisestä LAIONin siivilöinnistä. Jotta voidaan määrittää, ovatko erilaiset kuvat toistensa kaltaisia, KNN:ää käytettiin AutoFaiss:in alla.

Datamäärät jaettiin kolmeen tyyppiin: esikoulutusdatamäärät – suuret, verkkohakuilla luodut kokoelmat, joita käytetään yleismallien kouluttamiseen; koulutusdatamäärät – pienemmät, usein annotoidut kokoelmat, tarkoitettu suoraan mallin säätöön; ja vertailudatamäärät – manuaalisesti annotoidut, ja käytetty yksinomaan arviointiin.

Analyysi käsitti kaikkiaan 20 jakoa seitsemässä datamäärässä: Microsoft COCO käytettiin sekä koulutus- että arviointijoukkona, sisältäen koulutus-, validointi-, testi- ja annotoimattomat jakot; Flickr30k toimi ainoastaan vertailukohteena; ja Google Conceptual Captions (GCC) -kokoelmaa käytettiin esikoulutuslähteenä, ja sen validointiosaa käytettiin arviointiin.

Lisäksi ImageNet käytettiin sekä koulutukseen että vertailuun, kun taas LAION-400M -datamäärä käytettiin ainoastaan esikoulutukseen.

OpenImages v4 tarjosi koulutus- ja vertailudataa, ja TextCaps toimitti sekä koulutus- että testijakoa arvioinnin aikana.

Esimerkkejä kuvamerkinnöistä Google Open Images -datamäärästä, jota tutkittiin uudessa työssä. Lähde: https://arxiv.org/pdf/1811.00982

Arvioidakseen, miten menetelmä voi havaita vuotoa, kun kuvat on muokattu hienoisesti, kuten kuvan muuttaminen, leikkaaminen tai muokkaaminen, tutkijat testasivat Flickr30k:lla, valitsemalla satunnaisesti 5 000 kuvaa kyselyiksi ja käyttämällä koko datamäärää viitekokoelmana.

Jokainen kyselykuva muokattiin ennen koodaamista (ts. se kärsi epäsemanttisesta muokkauksesta, kuten kuvan muuttaminen tai leikkaaminen), ja sitten se yhdistettiin samankaltaiseen kohteeseen kokoelmassa kosinussuvatun avulla; vastaavuus laskettiin ainoastaan, jos alkuperäinen kuva palautettiin ykkössijalle.

Vertailtuja koodereita olivat ResNet-152; DINOv2 ViT-B/14; ja CLIP ViT-B/32.

Neljä tyyppiä epäsemanttisia kuvamuokkauksia käytettiin: geometriset (kääntäminen ja pyörittäminen); leikkaaminen (20, 50 tai 100 pikselin poistaminen jokaisesta reunasta); pikselöinti (Gaussin sumennus, lisätty kohina tai alennettu 128 tai 256 pikseliin); ja väri (harmaa, kääntäminen tai punainen, vihreä tai sininen peite).

Lisämateriaalista, esimerkkejä muokkauksista, joita sovellettiin datalle – tyypillisiä toimenpiteitä myös datan esikäsittelyssä.

Tutkijat testasivat sitten vuodon havaitsemista kuvanhakua käyttäen:

Vuodon havaitsemisen tarkkuus 5 000 Flickr30k -kyselykuvalla, joihin sovellettiin erilaisia epäsemanttisia muokkauksia.

Kaikki kolme kooderia saavuttivat täydellisen suorituskyvyn muokkaamattomilla kuvilla, ja CLIP säilyi luotettavana leikkaamisen, vaakasuoran kääntämisen, kohinan ja kuvan muuttamisen aikana, jolloin se ylitti ResNetin pikseli- ja värimuutoksissa.

DINOv2 osoitti vahvaakestävyyttä värimuutoksille (luultavasti sen itseopiskelun suunnittelun ansiosta, tutkijat arvelevat), mutta oli huomattavasti heikompi geometrisiin muokkauksiin ja leikkaamiseen – molemmat yleisiä toistuvissa datamäärissä.

Koska LAION sisältää jo CLIP-ominaisuudet, ja sen johdonmukainen luotettavuus ja nopeus, CLIP valittiin oletusarvoiseksi kooderiksi pääanalyysiin.

Kova ja pehmeä vuoto

Suorituskyky arvioitiin eri kosinussuvatustasojen yli, jotta voidaan erottaa identtiset ja lähes identtiset kuvat (kova ja pehmeä vuoto).

Kynnysarvo 0,98 valittiin määrittämään kova vuoto, jolloin ei ollut virheellisiä positiivisia ja täydellinen havaitseminen identtisille kuville.

Pehmeää vuotoa varten kynnysarvo 0,95 valittiin, jolloin lähes identtiset kuvat voitiin hakea, samalla pidettiin lähes nolla virheellisten positiivisten määrä; prioriteetti annettiin tarkkuudelle yli kattavuuden, ja tulokset arvioitiin konservatiivisesti:

<img class=" wp-image-222194" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-2-1.jpg" alt="Vastaanottimen toimintakäyrät ohjasivat kovan ja pehmeän vuodon havaitsemisen kynnyksen valintaa. Korkeat AUC-pisteet sekä muokattujen että muokkaamattomien olosuhteiden alla osoittavat, että lähes identtiset kuvat voidaan erottaa luotettavasti muista kuvista, vaikka muokkauksia on vähän.” width=”669″ height=”396″ /> Vastaanottimen toimintakäyrät ohjasivat kovan ja pehmeän vuodon havaitsemisen kynnyksen valintaa. Korkeat AUC-pisteet sekä muokattujen että muokkaamattomien olosuhteiden alla osoittavat, että lähes identtiset kuvat voidaan erottaa luotettavasti muista kuvista, vaikka muokkauksia on vähän.

Intra-datamäärän vuoto

Intra-datamäärän vuoto laskettiin tunnistamalla kuvien yhteensattumia koulutus- ja arviointijakojen välillä samassa datamäärässä. Vain datamäärät, joissa oli sekä vertailu- että koulutus- tai esikoulutusjakoa, otettiin arviointiin, mikä supisti analyysin COCOon, GCC:hen, ImageNetiin, OpenImagesiin ja TextCapsiin.

COCOn osalta testijoukkoa verrattiin koulutusjoukkoon, arviointijoukkoon ja annotoimattomiin alijoukkoihin, ja validointijoukkoa verrattiin koulutus- ja annotoimattomiin alijoukkoihin.

ImageNetin testi- ja validointijakojen korkeimmat intra-datamäärän vuodon määrät havaittiin, joissa kova vuoto saavutti jopa 1,58 % ja pehmeä vuoto alle 2 %. GCC ja COCO seurasivat, COCO val2017 osoitti pehmeän vuodon 3 %:n, ja sen testijakot vaihtelivat 1,35 %:sta 1,38 %:iin. OpenImages osoitti matalan kovan vuodon 0,05 %:ssa, mutta pehmeä vuoto ylitti 1,3 %:n sekä testi- että validointijoukoissa. TextCaps osoitti alhaisimman yleisen vuodon, 0,69 %:n, eikä kovaan vuotoon ollut havaittavissa.

Intra-datamäärän vuodon määrät, jotka osoittavat kunkin arviointijakon osuuden, joka yhtyy sen liittyvään koulutusdataan.

Tutkijat toteavat^†:

‘Nämä tulokset osoittavat, että intra-datamäärän vuoto tapahtuu kaikissa tutkituissa datamäärissä, joko sen kova tai pehmeä aste.

‘Koska datavirhe voi vaarantaa mallin arvioinnin ja koska datamäärät on suunniteltu tätä tarkoitusta varten, intra-datamäärän vuoto on riski, joka suunnittelun mukaan ei pitäisi olla olemassa.

‘Kuitenkin olemme tunnistaneet useita tapauksia kaikissa datamäärissä.’

Inter-datamäärän vuoto

Inter-datamäärän vuodon (jossa malli koulutetaan toisessa datamäärässä ja arvioidaan toisessa) mittaamiseksi neljä datamäärää käytettiin koulutusdatana: GCC koulutus, ImageNet koulutus, OpenImages koulutus ja LAION.

Näitä verrattiin arviointidataan, joka poimittiin COCO 2014 -testi- ja validointijakosta, Flickr30K:sta, TextCapsin testijakosta, OpenImagesin testi- ja validointijakosta sekä ImageNetin testi- ja validointijakosta.

CLIP ViT-B/32 -ominaisuudet poimittiin kaikista datamääristä paitsi LAIONista, jossa on omat ennalta laskettuja ominaisuudet. Kuitenkin, koska nämä ominaisuudet poikkeavat hieman virallisen CLIP-toteutuksen tuottamista, kyselykuvat mitattiin uudelleen menetelmällä, jota käytetään clip-haku -rekisterissä, varmistaaksesi yhdenmukaisuuden.

Haku suoritettiin KNN-haun avulla, vaikka LAIONin mittakaava edellytti jakoa miljoonan kuvan lohkoihin, joista kunkin indeksoitiin erikseen:

Inter-datamäärän vuoto vertailudatamäärien (sarakkeet) ja esikoulutusdatamäärien (rivit) välillä. Vasemmalla nähdään ‘kova’ vuoto (identtiset kuvat), ja oikealla ‘pehmeä’ vuoto (lähes identtiset kuvat).

Ristidatamäärän vuoto havaittiin kaikissa vertailudatamäärissä, vaihtelevilla tasolla. LAION osoitti korkeimmat kovien vuotojen määrät (identtiset kuvat), erityisesti OpenImagesille ja TextCapsin testidatalle, joissa kummassakin ylittyi 3 %. OpenImages myös tarjosi pienemmän määrän kovaa vuotoa COCOon.

ImageNetillä oli edelleen kovia duplikaatteja jokaisesta tutkitusta vertailukohteesta; ja GCC osoitti alhaisimman kovan vuodon yhteensä, joka pysyi alle 1 %:n.

Pehmeä vuoto (lähes identtiset kuvat) oli laajempaa: LAION tuotti jälleen korkeimmat määrät, jopa 7,9 %:n yhtäläisyyttä tietyille vertailukohteille; OpenImages ja TextCaps olivat eniten vaikuttuneita vertailukohteita yhteensä; ja Flickr30k osoitti vähiten vuotoa.

Vaikka nämä yhteensattumat voivat edustaa vain pientä osaa arviointijoukoista, tutkijat toteavat, että niiden läsnäolo voi sallia muistamisen ja vaarantaa testin validiteetin:

Vuotaneiden kuvien esimerkkejä. Vasemmalla ovat tapauksia ‘kovasta’ vuodosta, jossa kuvat ovat identtisiä joko samassa datamäärässä (yläosa) tai eri datamäärissä (alaosa); oikealla ovat tapauksia ‘pehmeästä’ vuodosta, jossa kuvat ovat visuaalisesti lähes identtisiä.

Vuodon vaikutus jälkimmäiseen arviointiin

Paperi tarkastelee seuraavaksi, miten datavirhe vaikuttaa jälkimmäisiin arviointeihin (ts. suorituskykyyn standarditehtävissä, kun esikoulutetut mallit testataan vertailukohteissa, jotka sisältävät toistuvia koulutusdataa).

Arviointiin otettiin kolme tehtävää: nollasuoritusluokittelu; valvottu luokittelu; ja kuvan ja tekstin hakeminen.

Jokaiselle tehtävälle mallin suorituskyky arvioitiin vertailukohteessa, josta tiedettiin, että siinä oli vuotaneita näytteitä koulutusdatassa. Tulokset verrattiin neljään alijoukkoon: koko vertailukohde; alijoukko vuotaneista näytteistä; alijoukko ei-vuotaneista näytteistä; ja satunnaisesti valittu alijoukko, joka oli samaa kokoa kuin vuotaneiden näytteiden joukko (käytetty vertailukohde).

Vuodon vaikutusta kolmeen jälkimmäiseen tehtävään mitattiin vertailujoukoissa, joissa tiedettiin olevan vuotaneita näytteitä koulutusdatassa. Nollasuoritusluokittelussa malli, joka oli koulutettu LAIONilla, saavutti huomattavasti korkeamman tarkkuuden vuotaneilla kuvilla ImageNetin arviointijoukossa, vahvistaen, että altistuminen jopa lähes identtisille kuville koulutuksen aikana tarjoaa mitattavissa olevan edun:

Nollasuoritusluokittelun tarkkuus ImageNetin validointijoukossa eri alijoukoissa, joissa on ja joissa ei ole vuotoa. Viimeinen sarake raportoi tarkkuuden parantumisen verrattuna koko joukkoon, ja korostetut rivit vastaavat vuotaneita alijoukkia.

Valvotussa luokittelussa vuoto ImageNetissä aiheutti dramaattisen suorituskyvyn laskun – ellei vuotaneella kuvalla ollut sama merkintä molemmissa jaksoissa, jolloin malli saavutti lähes täydellisen tarkkuuden, paljastaen vahvan muistamisen vaikutuksen:

Valvotun luokittelun tarkkuus ImageNetin validointijoukossa eri alijoukoissa, joissa on ja joissa ei ole vuotoa. Voittoprosentit osoittavat muutoksen verrattuna koko joukkoon. Vuotaneet alijoukot on korostettu.

Kuvan ja tekstin hakemisessa suorituskyky parani jälleen vuotaneilla näytteillä, ja sekä kova että pehmeä vuoto johtivat korkeampiin palautusarvoihin, ja vuotaneet alijoukot tarjosivat myös johdonmukaisempia tuloksia eri suorituskertojen aikana:

Kuvan ja tekstin hakemisen suorituskyky Flickr30k:ssa eri alijoukoissa, joissa on ja joissa ei ole vuotoa, vuotaneet alijoukot on korostettu.

Tutkijat toteavat:

‘Yhteenvetona osoitamme johdonmukaiset todisteet siitä, että vuoto aiheuttaa vakavan uhan reiluun mallin arviointiin visuaalisissa datamäärissä, vaarantaen yhden perustavanlaatuisen koneoppimisen periaatteen: älä arvioi malleja koulutusdatalla.’

Johtopäätös

Yksi paperin hämmästyttävistä näkökulmista, vaikka se ei ole uutuus, on selostus siitä, miten CLIP:in on käytettävä saadakseen LAIONin valtavan määrän kuvadataa – mittakaava, jota ei voida enää käsitellä muilla tavoin kuin yhteenvetona, käsittelemällä tokenisoitua metadataa kuvien ominaisuuksien sijaan, joita voidaan tarkastella, kun datamäärä on hallitumpi.

Se on karkea havainto siitä, miten visio-kielitekoälymallien koulutus on selvästi ylittänyt inhimillisen valvonnan ja minkä tahansa manuaalisen kuraattorin rajoitukset, tai edes edustavien alijoukkojen ulottuvuuden.

* On ehkä hieman sekavaa, että ongelmaa kaksoiskappaleiden syntymästä määritellään paperissa ‘vuotona’.

† Tekijöiden painotus.

Ensimmäinen julkaisu tiistaina, 26. elokuuta 2025