Utvinning av treningsdata fra finjusterte Stable Diffusion-modeller

NY forskning fra USA presenterer en metode for å utvinne betydelige deler av treningsdata fra finjusterte modeller.

Dette kan potensielt gi juridisk bevis i saker hvor en kunstners stil er blitt kopiert, eller hvor opphavsrettslige bilder er blitt brukt til å trene generative modeller av offentlige figurer, IP-beskyttede karakterer eller annet innhold.

Fra den nye artikkelen: originale treningsbilder sees i raden over, og de utvunne bildene er avbildet i raden under. Kilde: https://arxiv.org/pdf/2410.03039

Slike modeller er vidt tilgjengelige og gratis på internettet, primært gjennom de enorme brukerbidragsarkivene til civit.ai, og, i mindre grad, på Hugging Face-repositorieplattformen.

Den nye modellen utviklet av forskerne kalles FineXtract, og forfatterne hevder at den oppnår state-of-the-art resultater i denne oppgaven.

Artikkelen observerer:

‘[Vår ramme] håndterer effektivt utfordringen med å utvinne finjusteringsdata fra offentlig tilgjengelige DM finjusterte sjekkpunkter. Ved å utnytte overgangen fra forhåndsrentede DM-distribusjoner til finjusteringsdata-distribusjoner, guider FineXtract genereringsprosessen mot høy-sannsynlighetsområder i finjusteringsdata-distribusjonen, og muliggjør suksessfull datautvinning.’

Lengst til høyre, det originale bildet brukt i treningsdata. Andre fra høyre, bildet utvunnet via FineXtract. De andre kolonnene representerer alternative, tidligere metoder. Vennligst se kildeartikkelen for bedre oppløsning.

Hvorfor det betyr noe

De originale trente modellene for tekst-til-bilde generative systemer som Stable Diffusion og Flux kan lastes ned og finjusteres av sluttbrukere, ved hjelp av teknikker som 2022 DreamBooth-implementeringen.

Enklere enn det, kan brukeren opprette en mye mindre LoRA-modell som er nesten like effektiv som en fullt finjustert modell.

Et eksempel på en trent LoRA, tilbudt for gratis nedlastning på det svært populære Civitai-nettstedet. Slike modeller kan opprettes på noen minutter til noen timer, av entusiaster som bruker lokal installert åpen kildekode – og på nettet, gjennom noen av de mer permissive API-drevne treningsystemene. Kilde: civitai.com

Siden 2022 har det vært enkelt å opprette identitetsspesifikke finjusterte sjekkpunkter og LoRAs, ved å tilby bare et lite (i gjennomsnitt 5-50) antall beskrevne bilder, og trene sjekkpunktet (eller LoRA) lokalt, på en åpen kildekode-ramme som Kohya ss, eller ved hjelp av online-tjenester.

Dette lett tilgjengelige metoden for deepfaking har oppnådd notorietet i media over de siste årene. Mange kunstnere har også hatt sitt arbeid inntatt i generative modeller som gjengir deres stil. Kontroversen rundt disse problemene har samlet seg over de siste 18 månedene.

Det er enkelt for brukere å opprette AI-systemer som gjengir arbeidet til virkelige kunstnere, noe som har forårsaket furore og diverse kampanjer over de siste to årene. Kilde: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

Det er vanskelig å bevise hvilke bilder som er brukt i en finjustert sjekkpunkt eller i en LoRA, siden prosessen med generalisering ‘abstraherer’ identiteten fra de små treningsdatasettene, og det er ikke sannsynlig å noen gang gjengi eksempler fra treningsdata (unntatt i tilfeller av overfitting, hvor en kan betrakte treningen som mislykket).

Dette er der FineXtract kommer inn i bildet. Ved å sammenligne tilstanden til ‘mal’-diffusjonsmodellen som brukeren lastet ned til modellen de deretter opprettet gjennom finjustering eller LoRA, har forskerne vært i stand til å opprette svært nøyaktige rekonstruksjoner av treningsdata.

Selv om FineXtract bare har kunnet gjengi 20% av data fra en finjustering*, er dette mer enn det som vanligvis ville være nødvendig for å gi bevis for at brukeren hadde brukt opphavsrettslige eller andre beskyttede eller forbudte materialer i produksjonen av en generativ modell. I de fleste av de tilgjengelige eksemplene er det utvunne bildet ekstremt likt det kjente kilde materialet.

Men bildetekster er nødvendige for å utvinne kildebildene, og dette er ikke en betydelig hindring for to grunner: a) den som laster opp vanligvis ønsker å lette bruken av modellen blant en samfunn og vil vanligvis gi passende eksempler på bildetekster; og b) det er ikke så vanskelig, forskerne fant, å utvinne de avgjørende termene blindt fra den finjusterte modellen:

De essensielle nøkkelordene kan vanligvis utvunnes blindt fra den finjusterte modellen ved hjelp av en L2-PGD-angrep over 1000 iterasjoner, fra en tilfeldig bildetekst.

Brukere unngår ofte å gjøre sine treningsdatasett tilgjengelige sammen med den ‘black box’-stil trent modell. For forskningen samarbeidet forfatterne med maskinlærings-entusiaster som faktisk tilbød datasett.

Den nye artikkelen heter Avsløring av det usynlige: Guiding Personalized Diffusion Models to Expose Training Data, og kommer fra tre forskere på Carnegie Mellon og Purdue universitetene.

Metode

Den ‘angriperen’ (i dette tilfelle, FineXtract-systemet) sammenligner estimerte datafordelinger over den originale og finjusterte modellen, i en prosess forfatterne kaller ‘modellguiding’.

Gjennom ‘modellguiding’, utviklet av forskerne i den nye artikkelen, kan finjusteringskarakteristikkene kartlegges, og det muliggjør utvinning av treningsdata.

Forfatterne forklarer:

‘Under finjusteringsprosessen, skifter [diffusjonsmodellene] gradvis sin lært fordelt fra de forhåndsrentede DM-er [fordeling] mot finjusteringsdata [fordeling].

‘Derfor approksimerer vi parametrisk [den] lært fordelt til den finjusterte [diffusjonsmodellen].’

På denne måten gir summen av forskjellen mellom kjerne- og finjusterte modeller guidingsprosessen.

Forfatterne kommenterer videre:

‘Med modellguiding, kan vi effektivt simulere en “pseudo-”[renser], som kan brukes til å styre sampelingsprosessen mot høy-probabilitetsområdet i finjusteringsdatafordelingen.’

Guidingen avhenger delvis av en tidsvarierende støyprosess som ligner på 2023 outing Erasing Concepts from Diffusion Models.

Den predikerte rensningen gir også en sannsynlig Classifier-Free Guidance (CFG) skala. Dette er viktig, ettersom CFG påvirker bildekvalitet og trofasthet til brukerens tekstprompt.

For å forbedre nøyaktigheten av de utvunne bildene, trekker FineXtract på den anerkjente 2023 samarbeidet Extracting Training Data from Diffusion Models. Metoden som brukes er å beregne likheten mellom hver par av genererte bilder, basert på en terskel definert av Self-Supervised Descriptor (SSCD) score.

På denne måten hjelper cluster-algoritmen FineXtract å identifisere undermengden av utvunne bilder som stemmer overens med treningsdata.

I dette tilfelle samarbeidet forskerne med brukere som faktisk tilbød data. En kunne rimeligvis si at, fraværende slike data, ville det være umulig å bevise at noen bestemt generert bilde faktisk ble brukt i treningsdata i det originale. Men det er nå relativt enkelt å sammenligne lastede bilder mot live-bilder på nettet, eller bilder som også er i kjente og publiserte datasett, basert bare på bildeinnhold.

Data og tester

For å teste FineXtract, gjennomførte forfatterne eksperimenter på few-shot finjusterte modeller over de to vanligste finjusteringsscenariene, innenfor prosjektets omfang: kunstneriske stiler, og objekt-drevet generering (den siste omfatter effektivt ansiktsbaserte subjekter).

De valgte tilfeldig 20 kunstnere (hver med 10 bilder) fra WikiArt-datasetten, og 30 subjekter (hver med 5-6 bilder) fra DreamBooth-datasettet, for å håndtere disse respektive scenariene.

DreamBooth og LoRA var de målrettede finjusteringsmetodene, og Stable Diffusion V1/.4 ble brukt for testene.

Hvis cluster-algoritmen returnerte ingen resultater etter tretti sekunder, ble terskelen endret til bilder ble returnert.

De to målene som ble brukt for de genererte bildene var Gjennomsnittlig likhet (AS) under SSCD, og Gjennomsnittlig utvinnings-suksess-rate (A-ESR) – et mål som er i linje med tidligere arbeid, hvor en score på 0,7 representerer minimum for å angi en fullstendig suksessfull utvinning av treningsdata.

Ettersom tidligere metoder har brukt enten direkte tekst-til-bilde-generering eller CFG, sammenlignet forskerne FineXtract med disse to metodene.

Resultater for sammenligninger av FineXtract mot de to mest populære tidligere metodene.

Forfatterne kommenterer:

‘[Resultatene] demonstrerer en betydelig fordel med FineXtract over tidligere metoder, med en forbedring på omtrent 0,02 til 0,05 i AS og en fordobling av A-ESR i de fleste tilfeller.’

For å teste metoden sin evne til å generalisere til nye data, gjennomførte forskerne en ytterligere test, med Stable Diffusion (V1.4), Stable Diffusion XL, og AltDiffusion.

FineXtract brukt over en rekke diffusjonsmodeller. For WikiArt-komponenten, fokuserte testen på fire klasser i WikiArt.

Som vist i resultatene ovenfor, var FineXtract i stand til å oppnå en forbedring over tidligere metoder også i denne bredere testen.

En kvalitativ sammenligning av utvunne resultater fra FineXtract og tidligere metoder. Vennligst se kildeartikkelen for bedre oppløsning.

Forfatterne observerer at når et økt antall bilder brukes i datasettet for en finjustert modell, må cluster-algoritmen kjøres i en lengre periode for å forbli effektiv.

De observerer også at en rekke metoder har blitt utviklet i de siste årene for å hindre denne type utvinning, under auspisene av personvernbeskyttelse. De testet derfor FineXtract mot data som var forbedret med Cutout og RandAugment-metodene.

FineXtract’s ytelse mot bilder beskyttet av Cutout og RandAugment.

Men forfatterne innrømmer at de to beskyttelsessystemene fungerer ganske bra i å kamuflere treningsdatakildene, men de merker også at dette skjer på bekostning av en nedgang i utgangskvalitet så alvorlig at det gjør beskyttelsen meningsløs:

Bilder produsert under Stable Diffusion V1.4, finjustert med defensive tiltak – som dramatisk reduserer bildekvaliteten. Vennligst se kildeartikkelen for bedre oppløsning.

Artikkelen konkluderer:

‘Våre eksperimenter demonstrerer metoden sin robusthet over ulike datasett og virkelige sjekkpunkter, og understreker de potensielle risikoene for datalekkasjer og gir sterke bevis for opphavsrettsbrudd.’

Konklusjon

2024 har vist seg å være året da bedrifters interesse for ‘rent’ treningsdata økte betydelig, i møte med pågående mediedekning av AI sin evne til å erstatte mennesker, og perspektivet om å juridisk beskytte de generative modellene de selv er så ivrige etter å utnytte.

Det er enkelt å hevde at din treningsdata er ren, men det blir også enklere for lignende teknologier å bevise at det ikke er tilfelle – som Runway ML, Stability.ai og MidJourney (blant andre) har funnet ut i de siste dagene.

Prosjekter som FineXtract er uten tvil varsel om slutten på den ‘ville vesten’-æraen for AI, hvor selv den åpenbart okkulte naturen til en trent latent rom kan holdes ansvarlig.

* For å lette lesningen, antar vi ‘finjuster og LoRA’, hvor nødvendig.

Først publisert mandag, 7. oktober 2024