Fine-Tuned Stable Diffusion -mallien koulutusdatan extraktio

Yhdysvalloista oleva uusi tutkimus esittää menetelmän, jolla voidaan extrahoida merkittäviä osia koulutusdatasta hienosäätöisistä malleista.

Tämä voi mahdollisesti tarjota oikeudellista näyttöä tapauksissa, joissa taiteilijan tyyli on kopioitu tai joissa tekijänoikeuksien alaisia kuvia on käytetty kouluttamaan generatiivisia malleja julkisuuden henkilöistä, tekijänoikeuksien alaisista hahmoista tai muusta sisällöstä.

Uudesta tutkimuksesta: alkuperäiset koulutuskuvat näkyvät ylärivissä, ja extrahoidut kuvat ovat esitetty alarivissä. Lähde: https://arxiv.org/pdf/2410.03039

Nämä mallit ovat laajalti saatavilla internetissä, pääasiassa civit.ai:n valtavien käyttäjien luomien arkistojen kautta, ja toissijaisesti Hugging Face -repository-alustalla.

Tutkijoiden kehittämä uusi malli on nimeltään FineXtract, ja tutkijat väittävät, että se saavuttaa alan parhaat tulokset tässä tehtävässä.

Tutkimus toteaa:

‘[Meidän kehys] vastaa tehokkaasti haasteeseen, joka liittyy hienosäätödatan extrahointiin julkisesti saatavilla olevista DM-hienosäätöpisteistä. Hyödyntämällä siirtymistä esikoulutetuista DM-jakeluista hienosäätödatajakeluihin, FineXtract ohjaa tarkasti generointiprosessia kohti korkean todennäköisyyden alueita hienosäätödatan jakelussa, mahdollistaen onnistuneen datan extrahoinnin.’

Kauimpana oikealla, alkuperäinen kuva, jota käytettiin koulutuksessa. Toiseksi oikealla, kuva, joka extrahoidaan FineXtractilla. Muut sarakkeet edustavat aiempia menetelmiä. Lue lähdeartikkeli paremman resoluution saamiseksi.

Miksi se on tärkeää

Alkuperäiset koulutetut mallit teksti-kuva-generatiivisille järjestelmille, kuten Stable Diffusion ja Flux, voidaan ladata ja hienosäätää loppukäyttäjien toimesta, käyttäen menetelmiä, kuten vuoden 2022 DreamBooth -toteutusta.

Helppoa on myös luoda paljon pienempi LoRA -malli, joka on lähes yhtä tehokas kuin täysin hienosäätöity malli.

Esimerkki koulutetusta LORasta, jota tarjotaan ilmaiseksi civitai-verkkotunnalla. Tällainen malli voidaan luoda joko muutamassa minuutissa tai muutamassa tunnissa, harrastajien käyttäessä paikallisesti asennettua avoimen lähdekoodin ohjelmistoa – tai verkossa, joissakin suostuvissa API-pohjaisissa koulutusjärjestelmissä. Lähde: civitai.com

Vuodesta 2022 lähtien on ollut helppoa luoda identiteettispesifejä hienosäätöpisteitä ja LoRAsia, tarjoamalla vain pienen (keskimäärin 5-50) määrän kuvitetuista kuvista, ja kouluttamalla pistettä (tai LoRAa) paikallisesti, avoimen lähdekoodin kehyksellä, kuten Kohya ss, tai käyttäen verkkopalveluita.

Tämä helppo syväväärennösten luontimenetelmä on saavuttanut mainetta mediassa viime vuosina. Monet taiteilijat ovat myös saaneet työnsä sisällytettyä generatiivisiin malleihin, jotka jäljittelevät heidän tyyliään. Kiistat näiden asioiden ympärillä ovat lisääntyneet viimeisen vuoden ja puolen aikana.

Käyttäjien helppous luoda AI-järjestelmiä, jotka jäljittelevät oikeiden taiteilijoiden työtä, on aiheuttanut kohua ja erilaisia kampanjoita viime vuosina. Lähde: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

On vaikea todistaa, mitkä kuvat on käytetty hienosäätöpisteessä tai LoRAssa, koska yleistymisprosessi “abstrahoi” identiteetin pienistä koulutusdatasta, eikä se todennäköisesti koskaan tuota esimerkkejä koulutusdatasta (paitsi yliedustus tapauksessa, jossa voidaan ajatella, että koulutus on epäonnistunut).

Tässä FineXtract tulee kuvaan. Vertaamalla “mallin” diffuusiomallin tilaa, jonka käyttäjä lataa, malliin, jonka he myöhemmin luovat hienosäätöön tai LoRAan, tutkijat ovat pystyneet luomaan erittäin tarkkoja koulutusdatan rekonstruktioita.

Vaikka FineXtract on pystynyt vain rekonstruoimaan 20 % datasta hienosäätöön*, se on enemmän kuin mitä yleensä tarvitaan osoittamaan, että käyttäjä on käyttänyt tekijänoikeuksien alaista tai muuten suojattua tai kiellettyä materiaalia generatiivisen mallin tuottamiseen. Useimmissa esimerkeistä extrahoidtu kuva on erittäin lähellä tunnettua lähdeaineistoa.

Kuvatekstien tarve ei ole merkittävä este, koska lähettäjä yleensä haluaa helpottaa mallin käyttöä yhteisössä ja tarjoaa yleensä sovellettavia esimerkkejä; ja koska tutkijat havaitsivat, että avainkäsitteet voidaan extrahoida sokeasti hienosäätömallista:

Olennaiset avainsanat voidaan yleensä extrahoida sokeasti hienosäätömallista L2-PGD-hyökkäyksellä 1000 iteraatiolla satunnaisten tekstien pohjalta.

Käyttäjät usein välttävät tekemästä koulutusdataa saatavilla yhdessä “mustan laatikon” -tyyppisen koulutetun mallin kanssa. Tutkimuksessa tutkijat yhteistyössä machine learning -harrastajien kanssa, jotka tosiasiassa tarjosivat dataa.

Uusi tutkimus on nimeltään Revealing the Unseen: Guiding Personalized Diffusion Models to Expose Training Data, ja se tulee kolmelta tutkijalta Carnegie Mellonin ja Purduen yliopistoista.

Menetelmä

“Hyökkääjä” (tässä tapauksessa FineXtract-järjestelmä) vertaa arvioituja datajakeluita alkuperäisen ja hienosäätömallin välillä, prosessissa, jonka tutkijat kutsuvat “mallin ohjaamiseksi”.

Tutkijoiden kehittämän “mallin ohjaamisen” kautta uudessa tutkimuksessa voidaan kartoittaa hienosäätöominaisuuksia, mikä mahdollistaa koulutusdatan extrahoinnin.

Tutkijat selittävät:

‘Hienosäätöprosessin aikana [dififuusiomallit] siirtävät oppimansa jakelun esikoulutetuista DM:istä kohti hienosäätödatan jakelua.

‘Näin ollen, approksimoidaan parametrillisesti [dififuusiomallin] oppimansa jakelua.’

Tässä tapauksessa ydin- ja hienosäätömallien välinen summan ero tarjoaa ohjausprosessin.

Tutkijat toteavat edelleen:

‘Mallin ohjaamisen avulla voidaan simuloida “pseudo-“[denoiser], jota voidaan käyttää ohjaamaan näyteprosessia kohti korkean todennäköisyyden aluetta hienosäätödatan jakelussa.’

Ohjaus perustuu osittain aikariippuvaan häikäisyprosessiin, joka on samankaltainen kuin vuoden 2023 outing Erasing Concepts from Diffusion Models.

Denoising-arvio myös tarjoaa todennäköisen Luokittelu-Free Guidance (CFG) -asteikon. Tämä on tärkeää, koska CFG vaikuttaa merkittävästi kuvalaatua ja uskollisuutta käyttäjän tekstiprompttiin.

Parantamaan extrahoiden tarkkuutta FineXtract hyödyntää arvostettua vuoden 2023 yhteistyötä Extracting Training Data from Diffusion Models. Käytetty menetelmä on laskea kunkin generoityn kuvaparin samankaltaisuus, perustuen kynnyksarvoon, joka määritellään Self-Supervised Descriptor (SSCD) -pistemäärällä.

Tässä tapauksessa klusterointialgoritmi auttaa FineXtractia tunnistamaan extrahoitujen kuvien alijoukon, joka vastaa koulutusdataa.

Tässä tapauksessa tutkijat yhteistyössä käyttäjien kanssa, jotka olivat tosiasiassa tarjonneet dataa. Yksi voisi kohtuullisesti sanoa, että poissa tällaisesta datasta, olisi mahdotonta todistaa, että mikä tahansa generoitu kuva oli todella käytetty koulutuksessa.

Data ja testit

Testatakseen FineXtractia, tutkijat suorittivat kokeita vähäinen hienosäätömallien yli kahden yleisimmän hienosäätötilanteen, tutkimuksen puitteissa: taiteelliset tyylit ja objekti-ohjattu generointi (jälkimmäinen kattaa käytännössä kasvojen perusteella tapahtuvan generoinnin).

He valitsivat satunnaisesti 20 taiteilijaa (kullekin 10 kuvaa) WikiArt-aineistosta ja 30 aiheita (kullekin 5-6 kuvaa) DreamBooth-aineistosta, jotta voivat käsitellä näitä tilanteita.

DreamBooth ja LoRA olivat kohdennettuja hienosäätömenetelmiä, ja Stable Diffusion V1/.4 käytettiin testeihin.

Jos klusterointialgoritmi ei palauttanut tuloksia 30 sekunnin kuluessa, kynnyksen muutettiin, kunnes kuvia palautettiin.

Kaksi mittaria, joita käytettiin generoituja kuvia varten, olivat keskimääräinen samankaltaisuus (AS) SSCD:n mukaan ja keskimääräinen extrahointimenestysaste (A-ESR) – mitta, joka on pääasiassa linjassa aiempien tutkimusten kanssa, jossa arvo 0,7 edustaa täysin onnistunutta koulutusdatan extrahointia.

Koska aiemmat lähestymistavat ovat käyttäneet joko suoraa teksti-kuva-generointia tai CFG:ää, tutkijat vertasivat FineXtractia näihin kahteen menetelmään.

Vertailutulokset FineXtractin ja kahteen aiempaan menetelmään.

Tutkijat toteavat:

‘Tulokset osoittavat FineXtractin merkittävän edun aiempiin menetelmiin, parantumisen ollessa noin 0,02-0,05 AS:ssa ja A-ESR:n kaksinkertaistumisen useimmissa tapauksissa.’

Testatakseen menetelmän kykyä yleistää uusiin tietoihin, tutkijat suorittivat lisätestin, käyttäen Stable Diffusionia (V1.4), Stable Diffusion XL ja AltDiffusion.

FineXtract sovellettu useisiin diffuusiomalleihin. WikiArt-komponentissa testi keskittyi neljään luokkaan WikiArtissa.

Kuten tuloksista voidaan nähdä, FineXtract pystyi saavuttamaan parannuksen aiempiin menetelmiin myös tässä laajemmassa testissä.

Laadullinen vertailu FineXtractin ja aiempien lähestymistapojen välillä. Lue lähdeartikkeli paremman resoluution saamiseksi.

Tutkijat huomauttavat, että kun suurempi määrä kuvia käytetään koulutusdatasta hienosäätömalliin, klusterointialgoritmin on suoritettava pidemmän ajan, jotta se voi säilyttää tehokkuutensa.

He huomauttavat myös, että useita menetelmiä on kehitetty viime vuosina estämään tällaista extrahointia, yksityisyydensuojelun nimissä. Siksi he testasivat FineXtractia datan kanssa, jota oli täydennetty Cutout ja RandAugment -menetelmillä.

FineXtractin suorituskyky suojattuja kuvia vastaan; Cutout ja RandAugment.

Tutkijat myöntävät, että nämä kaksi suojelujärjestelmää toimivat melko hyvin koulutusdatan lähteiden peittämisessä, mutta huomauttavat, että tämä tulee kustannuksella, joka on niin suuri, että se tekee suojelun turhaksi:

Kuvia, jotka on tuotettu Stable Diffusion V1.4:llä, hienosäätöä suojellaan – mikä laskee kuvanlaatua dramaattisesti. Lue lähdeartikkeli paremman resoluution saamiseksi.

Tutkimus johtaa siihen, että:

‘Kokeemme osoittavat menetelmän luotettavuuden eri aineistoissa ja todellisissa pisteissä, korostaen datavuotojen riskejä ja tarjoavat vahvan näytön tekijänoikeusloukkauksista.’

Johtopäätös

Vuosi 2024 on osoittautunut vuodeksi, jolloin yritysten kiinnostus “puhtaaseen” koulutusdataan kasvoi merkittävästi, vastauksena jatkuvaan mediajulkisuuteen AI:n korvaavan ihmisten ja mahdollisuuden oikeudellisesti suojella generatiivisia malleja, joita ne itse ovat niin halukkaita hyödyntämään.

On helppo väittää, että koulutusdatasi on puhdas, mutta on myös helpompaa todistaa, ettei se ole – kuten Runway ML, Stability.ai ja MidJourney (muiden joukossa) ovat huomanneet viime aikoina.

Hankkeet, kuten FineXtract, ovat kiistatta merkkinä siitä, että AI:n “villien lännen” aika on päättymässä, jossa jopa koulutetun latentin avaruuden ilmeinen okkulttinen luonne voidaan pitää vastuussa.

* Pluton vuoksi oletetaan “hienosäätöä ja LoRAa”, missä tarpeen.

Julkaistu ensimmäisen kerran maanantaina, 7. lokakuuta 2024