Виключення навчальних даних з тонко налаштованих моделей стабільної дифузії

Нові дослідження з США представляють метод для видобування значних частин навчальних даних з тонко налаштованих моделей.

Це потенційно може забезпечити юридичні докази у випадках, коли стиль художника був скопійований, або коли захищені авторським правом зображення були використані для навчання генеративних моделей публічних осіб, захищених персонажів або іншого контенту.

З нової статті: оригінальні навчальні зображення видно в рядку зверху, а витягнуті зображення зображені в рядку знизу. Джерело: https://arxiv.org/pdf/2410.03039

Такі моделі широко та вільно доступні в інтернеті, в основному через величезні архіви, створені користувачами civit.ai, та, у меншій мірі, на платформі Hugging Face.

Нова модель, розроблена дослідниками, називається FineXtract, і автори стверджують, що вона досягає найкращих результатів у цій задачі.

У статті зазначається:

‘[Наша структура] ефективно вирішує проблему видобування даних тонкої налаштовки з публічно доступних контрольних точок DM. Використовуючи перехід від попередньо натренованих розподілів DM до розподілів даних тонкої налаштовки, FineXtract точно направляє процес генерації у високіймовірнісні області розподілу даних тонкої налаштовки, забезпечуючи успішне видобування даних.’

Зправа, оригінальне зображення, використане під час навчання. Друге зправа, зображення, витягнуте за допомогою FineXtract. Інші колонки представляють альтернативні попередні методи. Будь ласка, зверніться до джерела статті для кращої роздільності.

Чому це важливо

Оригінальні навчені моделі для текстово-образних генеративних систем, таких як Stable Diffusion і Flux, можна завантажити та тонко налаштувати кінцевими користувачами, використовуючи техніки, такі як реалізація DreamBooth 2022 року.

Ще простіше, користувач може створити значно меншу LoRA-модель, яка майже так же ефективна, як повністю тонко налаштована модель.

Приклад навченої LORA, доступної для безкоштовного завантаження на дуже популярному сайті Civitai. Таку модель можна створити за кілька хвилин чи годин, використовуючи локально встановлене програмне забезпечення з відкритим кодом – і онлайн, через деякі більш перmissive API-орієнтовані системи навчання. Джерело: civitai.com

Від 2022 року стало тривіальним створити ідентифікаторно-специфічні тонко налаштовані контрольні точки та LoRA, надаючи лише невелику (в середньому 5-50) кількість підписаних зображень та навчання контрольної точки (або LoRA) локально, на відкритій платформі, chẳng hạn як Kohya ss, або використовуючи онлайн-сервіси.

Цей легкий метод глибокого фейковání здобув зловісну популярність у ЗМІ за останні кілька років. Багато художників також мали свою роботу поглинено генеративними моделями, які реплікують їхній стиль. Скандаль навколо цих питань збірало імпульс за останні 18 місяців.

Легкість, з якою користувачі можуть створювати системи AI, які реплікують роботу реальних художників, викликала фурор і різні кампанії за останні два роки. Джерело: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

Важко довести, які саме зображення були використані в тонко налаштованій контрольній точці або в LoRA, оскільки процес загального ‘абстрагує’ ідентичність з малих навчальних наборів даних і не ймовірно, що коли-небудь відтворить приклади з навчальних даних (крім випадків переобучення, де можна вважати, що навчання провалилося).

Це саме тут FineXtract вступає у справу. Порівнюючи стан ‘шаблонної’ моделі дифузії, яку користувач завантажив, з моделлю, яку вони згодом створили через тонку налаштовку або через LoRA, дослідники змогли створити високоточні реконструкції навчальних даних.

Хоча FineXtract зміг відтворити лише 20% даних з тонкої налаштовки*, це все ж більше, ніж зазвичай потрібно для надання доказів того, що користувач використовував захищені авторським правом або інші захищені матеріали при створенні генеративної моделі. У більшості випадків витягнуте зображення дуже близьке до відомого джерельного матеріалу.

Хоча підписи потрібні для витягування джерельних зображень, це не суттєва перешкода через дві причини: а) завантажувач зазвичай хоче полегшити використання моделі серед спільноти та зазвичай надає відповідні приклади підказок; і б) не дуже складно, як виявили дослідники, витягнути ключові терміни сліпо з тонко налаштованої моделі:

Есенційні ключові слова зазвичай можна витягнути сліпо з тонко налаштованої моделі, використовуючи атаку L2-PGD за 1000 ітерацій, з випадкової підказки.

Користувачі часто уникають надання своїх навчальних наборів даних поряд з ‘чорним ящиком’-стилем навченої моделі. Для дослідження автори співпрацювали з ентузіастами машинного навчання, які фактично надали дані.

Нова стаття називається Відкриття невидимого: керування персоналізованими моделями дифузії для розкриття навчальних даних і походить від трьох дослідників з університетів Карнегі-Меллона та Пердью.

Метод

‘Атакувальник’ (у цьому випадку система FineXtract) порівнює оцінені розподіли даних між оригінальною та тонко налаштованою моделлю в процесі, який автори називають ‘керуванням моделлю’.

Через ‘керування моделлю’, розроблене дослідниками нової статті, характеристики тонкої налаштовки можна відобразити, що дозволяє витягувати навчальні дані.

Автори пояснюють:

‘Під час процесу тонкої налаштовки [моделі дифузії] поступово зміщують свій вивчений розподіл від попередньо натренованих DM до розподілу тонко налаштованих даних.

‘Таким чином, ми параметрично наближаємо вивчений розподіл тонко налаштованих [моделей дифузії].’

У такий спосіб сума різниці між основною та тонко налаштованою моделлю забезпечує процес керування.

Автори далі коментують:

‘З керуванням моделлю ми можемо ефективно симулювати “псевдо-”[денойзер], який можна використовувати для керування процесом вибірки у напрямку високіймовірнісної області розподілу тонко налаштованих даних.’

Керування частково залежить від процесу шумування, подібного до виведення 2023 року Видалення концепцій з моделей дифузії.

Отримане передбачення денойзингу також забезпечує ймовірний класифікаторне керування (CFG) масштаб. Це важливо, оскільки CFG суттєво впливає на якість зображення та вірність текстовій підказці користувача.

Для покращення точності витягнутих зображень FineXtract використовує відоме співробітництво 2023 року видобування навчальних даних з моделей дифузії. Використовуваний метод полягає у розрахунку подібності кожної пари згенерованих зображень на основі порогу, визначеного самонавчальним дескриптором (SSCD) оцінки.

У такий спосіб алгоритм кластеризації допомагає FineXtract ідентифікувати підмножину витягнутих зображень, які відповідають навчальним даним.

У цьому випадку дослідники співпрацювали з користувачами, які надали дані. Можно сказати, що, відсутність таких даних, було б неможливо довести, що будь-яке згенероване зображення було фактично використано під час навчання в оригіналі. Однак тепер відносно легко зіставити завантажені зображення проти живих зображень у мережі або зображень, які також знаходяться у відомих і опублікованих наборах даних, лише на основі змісту зображення.

Дані та тести

Для тестування FineXtract автори провели експерименти з малосхожими тонко налаштованими моделями у двох найпоширеніших сценаріях тонкої налаштовки, у рамках проекту: художні стилі та об’єктно-орієнтована генерація (остання ефективно охоплює генерацію на основі обличчя).

Вони випадково вибрали 20 художників (по 10 зображень кожний) з набору даних WikiArt та 30 об’єктів (по 5-6 зображень кожний) з набору даних DreamBooth, для розгляду цих сценаріїв.

DreamBooth і LoRA були цілевими методами тонкої налаштовки, а Stable Diffusion V1/.4 використовувався для тестів.

Якщо алгоритм кластеризації не повернув жодних результатів після тридцяти секунд, поріг було змінено до тих пір, поки не повернулися зображення.

Два метрики, використані для згенерованих зображень, були Середня подібність (AS) під SSCD та Середній коефіцієнт успішного видобування (A-ESR) – міра, яка загалом збігається з попередніми роботами, де оцінка 0,7 представляє мінімум для позначення повністю успішного видобування навчальних даних.

Оскільки попередні підходи використовували або пряму генерацію тексту-образу, або CFG, дослідники порівняли FineXtract з цими двома методами.

Результати порівняння FineXtract з двома найбільш популярними попередніми методами.

Автори коментують:

‘Результати демонструють суттєву перевагу FineXtract над попередніми методами, з покращенням приблизно на 0,02 до 0,05 у AS та подвійним збільшенням A-ESR у більшості випадків.’

Для тестування можливості методу узагальнюватися до нових даних дослідники провели додатковий тест, використовуючи Stable Diffusion (V1.4), Stable Diffusion XL та AltDiffusion.

FineXtract, застосований до ряду моделей дифузії. Для компоненту WikiArt тест був зосереджений на чотирьох класах WikiArt.

Як видно з результатів вище, FineXtract зміг досягти покращення над попередніми методами також у цьому ширшому тесті.

Якісне порівняння витягнутих результатів з FineXtract та попередніми підходами. Будь ласка, зверніться до джерела статті для кращої роздільності.

Автори спостерігають, що коли збільшується кількість зображень, використовуваних у наборі даних для тонко налаштованої моделі, алгоритм кластеризації потрібно запускати протягом довшого періоду часу, щоб залишатися ефективним.

Вони також спостерігають, що ряд методів було розроблено за останні роки для перешкоджання такому виду видобування, під егідою захисту приватності. Тому вони протестували FineXtract проти даних, доповнених методами Cutout та RandAugment.

FineXtract’s продуктивність проти зображень, захищених методами Cutout та RandAugment.

Хоча автори визнають, що дві системи захисту працюють досить добре у маскуванні джерел навчальних даних, вони відзначають, що це відбувається за рахунок зниження якості виводу такої міри, що робить захист безглуздим:

Зображення, згенеровані під Stable Diffusion V1.4, тонко налаштовані з захисними заходами – які суттєво знижують якість зображення. Будь ласка, зверніться до джерела статті для кращої роздільності.

Стаття висновує:

‘Наші експерименти демонструють стійкість методу у різних наборах даних та реальних контрольних точках, підкреслюючи потенційні ризики витоку даних та надаючи сильні докази порушень авторських прав.’

Висновок

2024 рік став роком, коли корпорації значно підвищили інтерес до “чистих” навчальних даних у зв’язку з тривалим висвітленням у ЗМІ про здатність AI заміняти людей та перспективи юридичного захисту генеративних моделей, які вони так хочуть використовувати.

Легко заявити, що ваші навчальні дані чисті, але тепер також легше для подібних технологій довести, що вони не є такими – як це дізналися компанії Runway ML, Stability.ai та MidJourney (серед інших) у останні дні.

Проекти, такі як FineXtract, можна вважати ознаками абсолютного кінця “дикого заходу” ери AI, де навіть, здавалося б, окультна природа навченого латентного простору могла бути піддана відповідальності.

* Для зручності ми зараз припускаємо ‘тонку налаштовку та LoRA’, якщо це необхідно.

Перша публікація понеділка, 7 жовтня 2024 року