Harjoitustietojen poimiminen hienosäädetyistä stabiileista diffuusiomalleista

Uusi yhdysvaltalainen tutkimus esittelee menetelmän, jolla voidaan poimia merkittäviä osia harjoitustiedoista hienosäätää malleja.

Tämä voisi mahdollisesti tarjota oikeudellista näyttöä tapauksissa, joissa taiteilijan tyyliä on kopioitu tai joissa tekijänoikeudella suojattuja kuvia on käytetty julkisuuden henkilöiden, immateriaalioikeuksilla suojattujen hahmojen tai muun sisällön generatiivisten mallien kouluttamiseen.

Uudelta paperilta: alkuperäiset harjoituskuvat näkyvät yllä olevalla rivillä ja poimitut kuvat alla olevalla rivillä. Lähde: https://arxiv.org/pdf/2410.03039

Tällaisia ​​malleja on laajalti ja vapaasti saatavilla Internetissä, pääasiassa civit.ai:n valtavien käyttäjien lisäämien arkistojen kautta, ja vähemmässä määrin Hugging Face -tietovarastoalustalla.

Tutkijoiden kehittämä uusi malli on ns FineXtract, ja kirjoittajat väittävät, että se saavuttaa huippuluokan tuloksia tässä tehtävässä.

Lehti huomauttaa:

”[Kehysjärjestelmämme] ratkaisee tehokkaasti hienosäädetyn datan poiminnan haasteen julkisesti saatavilla olevista DM-hienosäätöisistä tarkistuspisteistä. Hyödyntämällä siirtymistä esikoulutetuista DM-jakaumista hienosäätöisiin datajakaumiin FineXtract ohjaa tarkasti generointiprosessia kohti hienosäädetyn datajakauman korkean todennäköisyyden alueita, mikä mahdollistaa datan onnistuneen poiminnan.”

Oikealla, alkuperäinen kuva, jota käytettiin harjoituksissa. Toinen oikealta, FineXtractin kautta purettu kuva. Muut sarakkeet edustavat vaihtoehtoisia, aikaisempia menetelmiä. Katso lähdepaperista parempi resoluutio.

Miksi se koskee

- alkuperäinen koulutetut mallit tekstistä kuvaksi generatiivisille järjestelmille, kuten Vakaa diffuusio ja Vuo Loppukäyttäjät voivat ladata ja hienosäätää tekniikoita, kuten 2022 unelmakoppi täytäntöönpanoa.

Vielä helpommin käyttäjä voi luoda paljon pienemmän LoRA malli, joka on lähes yhtä tehokas kuin täysin hienosäädetty malli.

Esimerkki koulutetusta LORAsta, joka on ladattavissa ilmaiseksi erittäin suositulta civitai-verkkotunnukselta. Harrastajat voivat luoda tällaisen mallin minuuteista muutamaan tuntiin käyttämällä paikallisesti asennettuja avoimen lähdekoodin ohjelmistoja – ja verkossa joidenkin sallivampien API-ohjattujen koulutusjärjestelmien avulla. Lähde: civitai.com

Vuodesta 2022 lähtien on ollut triviaalia luoda identiteettikohtaisia ​​hienosäädettyjä tarkistuspisteitä ja LoRA:ita tarjoamalla vain pieni (keskimäärin 5–50) määrä kuvatekstejä ja kouluttamalla tarkistuspiste (tai LoRA) paikallisesti avoimen lähdekoodin kehyksessä, kuten kuten Kohya ss, tai käyttämällä verkkopalvelut.

Tämä helppokäyttöinen deepfaking-menetelmä on saavutettu mainetta mediassa muutaman viime vuoden aikana. Monet taiteilijat ovat myös saaneet työstään luovia malleja, jotka jäljittelevät heidän tyyliään. Näiden asioiden ympärillä on kiistaa kerännyt vauhtia viimeisen 18 kuukauden aikana.

Helppous, jolla käyttäjät voivat luoda tekoälyjärjestelmiä, jotka jäljittelevät oikeiden taiteilijoiden töitä, on aiheuttanut kohua ja erilaisia ​​kampanjoita viimeisen kahden vuoden aikana. Lähde: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

On vaikea todistaa, mitä kuvia käytettiin hienosäädetyssä tarkistuspisteessä tai LoRA:ssa, koska prosessi yleistys 'abstraktoi' identiteetin pienistä harjoitusdatajoukoista, eikä todennäköisesti koskaan toista esimerkkejä harjoitusdatasta (paitsi jos liikaa, jossa koulutuksen voidaan katsoa epäonnistuneen).

Tässä kohtaa FineXtract astuu kuvaan. Vertaamalla käyttäjän lataaman "templaatin" diffuusiomallin tilaa malliin, jonka he myöhemmin loivat hienosäädöllä tai LoRA:n avulla, tutkijat ovat pystyneet luomaan erittäin tarkkoja rekonstruktioita harjoitusdatasta.

Vaikka FineXtract on pystynyt luomaan uudelleen vain 20 % tiedoista hienosäädöllä*, tämä on enemmän kuin tavallisesti tarvittaisiin todisteeksi siitä, että käyttäjä on käyttänyt tekijänoikeudella suojattua tai muuten suojattua tai kiellettyä materiaalia generatiivisen mallin tuotannossa. . Useimmissa esitetyissä esimerkeissä poimittu kuva on erittäin lähellä tunnettua lähdemateriaalia.

Vaikka lähdekuvien poimimiseen tarvitaan kuvatekstejä, tämä ei ole merkittävä este kahdesta syystä: a) lataaja haluaa yleensä helpottaa mallin käyttöä yhteisön keskuudessa ja antaa yleensä sopivia esimerkkejä; ja b) tutkijoiden mukaan ei ole niin vaikeaa poimia keskeisiä termejä sokeasti hienosäädetystä mallista:

Tärkeimmät avainsanat voidaan yleensä poimia sokeasti hienosäädetystä mallista käyttämällä L2-PGD-hyökkäystä yli 1000 iteraatiolla, satunnaisesta kehotuksesta.

Käyttäjät usein välttävät harjoitusdatajoukkojensa asettamista saataville "mustan laatikon" kaltaisen opetetun mallin rinnalla. Tutkimuksessa kirjoittajat tekivät yhteistyötä koneoppimisen harrastajien kanssa, jotka todella toimittivat datajoukkoja.

- uusi paperi on otsikko Näkymättömän paljastaminen: Henkilökohtaisten diffuusiomallien ohjaaminen harjoitustietojen paljastamiseen, ja tulee kolmelta tutkijalta Carnegie Mellonin ja Purduen yliopistoista.

Menetelmä

”Hyökkääjä” (tässä tapauksessa FineXtract-järjestelmä) vertaa arvioituja datajakaumia alkuperäisen ja hienosäädetyn mallin välillä prosessissa, jota kirjoittajat kutsuvat ”malliohjaukseksi”.

Uuden artikkelin tutkijoiden kehittämän "malliohjauksen" avulla hienosäätöominaisuudet voidaan kartoittaa, mikä mahdollistaa harjoitusdatan poiminnan.

Kirjoittajat selittävät:

"Hienosäätöprosessin aikana [diffuusiomallit] siirtävät asteittain oppimaansa jakaumaa esikoulutetuista DM:istä [jakaumasta] hienosäädettyä dataa [jakaumaa] kohti.

"Näin ollen approksimoimme parametrisesti hienosäädettyjen diffuusiomallien opittua jakaumaa."

Tällä tavalla ydin- ja hienosäädetyn mallin välisten erojen summa tarjoaa ohjausprosessin.

Kirjoittajat kommentoivat vielä:

”Mallinohjauksen avulla voimme tehokkaasti simuloida pseudo-[kohinanpoistoainetta], jota voidaan käyttää ohjaamaan näytteenottoprosessia kohti korkean todennäköisyyden aluetta hienosäädetyssä datajakaumassa.”

Ohje perustuu osittain ajallisesti vaihtelevaan meluprosessiin, joka on samanlainen kuin vuoden 2023 retki Käsitteiden poistaminen diffuusiomalleista.

Saatu vaimennusennuste antaa myös todennäköisyyden Luokittamaton opastus (CFG) -asteikko. Tämä on tärkeää, koska CFG vaikuttaa merkittävästi kuvan laatuun ja käyttäjän tekstikehotteen tarkkuuteen.

Poimittujen kuvien tarkkuuden parantamiseksi FineXtract hyödyntää kehuttua 2023 yhteistyö Harjoitustietojen poimiminen diffuusiomalleista. Käytetty menetelmä on laskea kunkin luodun kuvaparin samankaltaisuus, joka perustuu kuvan määrittelemään kynnykseen. Self-Supervised Descriptor (SSCD) pisteet.

Tällä tavalla klusterointialgoritmi auttaa FineXtractia tunnistamaan poimittujen kuvien osajoukon, joka on koulutustietojen mukainen.

Tässä tapauksessa tutkijat tekivät yhteistyötä käyttäjien kanssa, jotka olivat antaneet tiedot saataville. Voisi järkevästi sanoa, että poissa tällaisilla tiedoilla olisi mahdotonta todistaa, että jotakin tiettyä luotua kuvaa on todella käytetty alkuperäisessä koulutuksessa. Nykyään on kuitenkin suhteellisen triviaalia verrata ladattuja kuvia joko verkossa oleviin live-kuviin tai sellaisiin kuviin, jotka ovat myös tunnetuissa ja julkaistuissa tietosarjoissa pelkästään kuvasisällön perusteella.

Tiedot ja testit

FineXtractin testaamiseksi kirjoittajat suorittivat kokeita muutama laukaus hienosäädetyt mallit kahdessa yleisimmässä hienosäätöskenaariossa projektin puitteissa: taiteellisia tyylejäja objektivetoinen sukupolvi (jälkimmäinen kattaa tehokkaasti kasvoihin perustuvat aiheet).

He valitsivat satunnaisesti 20 taiteilijaa (jokaisessa 10 kuvaa). WikiArt tietojoukko ja 30 kohdetta (jokaisessa 5–6 kuvaa) kohteesta DreamBooth-tietojoukko, käsitelläksesi näitä vastaavia skenaarioita.

Kohdennettuina hienosäätömenetelminä olivat DreamBooth ja LoRA, ja testeissä käytettiin Stable Diffusion V1/.4:ää.

Jos klusterointialgoritmi ei palauttanut tuloksia 30 sekunnin kuluttua, kynnystä muutettiin, kunnes kuvat palautettiin.

Luoduissa kuvissa käytetyt kaksi mittaria olivat SSCD:n mukainen keskimääräinen samankaltaisuus (AS) ja keskimääräinen erottelun onnistumisprosentti (A-ESR) – mitta, joka on pitkälti linjassa aikaisempien töiden kanssa, joissa 0.7 on minimi, joka ilmaisee täysin onnistuneen. harjoitustietojen poimiminen.

Koska aikaisemmissa lähestymistavoissa on käytetty joko suoraa tekstistä kuvaksi luomista tai CFG:tä, tutkijat vertasivat FineXtractia näihin kahteen menetelmään.

Tulokset FineXtractin vertailuista kahteen suosituimpaan aikaisempaan menetelmään.

Tekijät kommentoivat:

'[Tulokset] osoittavat FineXtractin merkittävän edun aiempiin menetelmiin verrattuna, sillä se parantaa AS:ää noin 0.02–0.05 kertaa ja A-ESR:ää kaksinkertaistaa useimmissa tapauksissa.'

Menetelmän yleistettävyyden testaamiseksi tutkijat suorittivat lisätestin käyttäen Stable Diffusion (V1.4) -ohjelmistoa. Vakaa diffuusio XLja AltDiffusion.

FineXtractia käytetään useissa diffuusiomalleissa. WikiArt-komponentin testi keskittyi neljään WikiArt-luokkaan.

Kuten yllä olevista tuloksista näkyy, FineXtract onnistui saavuttamaan parannusta aikaisempiin menetelmiin myös tässä laajemmassa testissä.

FineXtractin ja aikaisempien lähestymistapojen tulosten laadullinen vertailu. Katso lähdepaperista parempi resoluutio.

Kirjoittajat huomauttavat, että kun hienosäädetyn mallin tietojoukossa käytetään lisääntynyttä kuvien määrää, klusterointialgoritmia on ajettava pidempään, jotta se pysyy tehokkaana.

Lisäksi he huomauttavat, että viime vuosina on kehitetty erilaisia ​​menetelmiä, jotka on suunniteltu estämään tämänkaltainen kopiointi yksityisyyden suojan puitteissa. Tästä syystä he testasivat FineXtractia suhteessa tietoihin, joita oli täydennetty automaattikatkaisin ja RandAugment menetelmiä.

FineXtractin suorituskyky Cutout- ja RandAugment-suojattujen kuvien kanssa.

Vaikka kirjoittajat myöntävät, että nämä kaksi suojausjärjestelmää toimivat melko hyvin opetuksen tietolähteiden hämärtämisessä, he huomauttavat, että tämä tapahtuu tulosten laadun heikkenemisen kustannuksella, joka tekee suojauksesta hyödyttömän:

Kuvat on tuotettu Stable Diffusion V1.4 -versiolla, hienosäädetty suojatoimenpiteillä – mikä heikentää kuvanlaatua huomattavasti. Katso lähdepaperista parempi resoluutio.

Paperin lopputulos:

"Kokeilumme osoittavat menetelmän kestävyyden erilaisissa tietojoukoissa ja todellisissa tarkastuspisteissä, korostaen datavuotojen mahdollisia riskejä ja tarjoamalla vahvaa näyttöä tekijänoikeusrikkomuksista."

Yhteenveto

Vuosi 2024 osoittautui vuodeksi, jolloin yritysten kiinnostus "puhtaaseen" koulutusdataan kasvoi merkittävästi tekoälyn ihmisten korvaamisesta kertovan mediahuomion jatkuessa ja samalla ajatellen niiden itse innokkaiden hyödyntämien generatiivisten mallien laillista suojaamista.

On helppo väittää, että harjoitusdata on puhdasta, mutta vastaavien teknologioiden on myös helpompi todistaa, ettei se ole – kuten Runway ML, Stability.ai ja MidJourney (muun muassa) ovat tehneet. saada selville viime päivinä.

FineXtractin kaltaiset projektit ovat kiistatta enteitä tekoälyn "villin lännen" aikakauden täydellisestä lopusta, jossa jopa koulutetun latenttitilan näennäisesti okkulttista luonnetta voidaan pitää syynä.

* Mukavuuden vuoksi oletamme nyt tarvittaessa 'hienosäätöä ja LoRA:ta'.

Julkaistu ensimmäisen kerran maanantaina 7