Цензурування моделей штучного інтелекту не працює добре, показало дослідження

Спроби цензурувати генератори зображень штучного інтелекту шляхом видалення забороненого вмісту (наприклад, порнографії, насильства чи авторських стилів) з навчених моделей виявилися невдалими: нове дослідження показало, що сучасні методи видалення концепцій дозволяють “забороненим” атрибутам проникати в не пов’язані зображення, а також не зупиняють появи тісно пов’язаних версій видаленого вмісту.

Якщо компанії, які виготовляють базові моделі штучного інтелекту, не можуть запобігти їхньому неправильному використанню для створення забороненого або незаконного матеріалу, вони ризикують бути притягнутими до відповідальності та/або закритими. Навпаки, постачальники, які надають доступ до своїх моделей лише через API, як це робить Adobe з її генеративним двигуном Firefly, перебувають у позиції, коли їм не потрібно турбуватися про те, що можуть створити їхні моделі, оскільки як запит користувача, так і результат обробки інспектуються та санітаризуються:

Система Adobe Firefly, використовувана в інструментах типу Photoshop, іноді відмовляється у генеративному запиті одразу ж, блокуючи запит до створення чого-небудь. Іноді вона генерує зображення, але потім блокує результат після перевірки. Такий же середньо-процесовий відмов може відбуватися в ChatGPT, коли модель починає відповідь, але обрізає її після виявлення порушення політики – і іноді можна побачити відмінену картинку під час цього процесу.

Однак API-фільтри такого типу зазвичай можна нейтралізувати користувачами на локально встановлених моделях, включаючи моделі мови та зображення (VLM), які користувач може бажати налаштувати шляхом локальної навчальної програми на власних даних.

У більшості випадків вимкнення таких операцій є тривіальним і полягає у видаленні функції виклику в Python (хоча такі хаки зазвичай потрібно повторювати або винаходити заново після оновлень фреймворку).

З бізнес-перспективи важко зрозуміти, як це може бути проблемою, оскільки підхід API максимізує корпоративний контроль над робочим процесом користувача. Однак з точки зору користувача як вартість моделей лише API, так і ризик помилкової або надмірної цензури, ймовірно, змусить їх завантажувати та налаштовувати локальні установки відкритих альтернатив – принаймні, якщо ліцензія FOSS є сприятливою.

Останньою значною моделлю, випущеною без будь-якої спроби вбудувати самоціензуру, була Stable Diffusion V1.5, майже три роки тому. Пізніше відкриття того, що її навчальні корпуси включали дані про сексуальне насильство над дітьми, призвело до зростаючих вимог заборонити її доступність, а також її видалення з репозиторію Hugging Face у 2024 році.

Видаліть це!

Циніки стверджують, що інтерес компанії до цензурування локально встановлених генеративних моделей штучного інтелекту ґрунтується виключно на турботах про юридичну відповідальність, якщо їхні фреймворки стануть публічно відомими за сприяння створенню забороненого або незаконного вмісту.

Дійсно, деякі “локально-дружні” відкриті моделі не дуже важко декенсорувати (наприклад, Stable Diffusion 1.5 та DeepSeek R1).

Натомість недавнє випуск моделей серії Kontext від Black Forest Lab був відзначений значним зобов’язанням компанії щодо видалення всього ряду Kontext шляхом ретельної кураторської обробки даних та націленого дофінування після навчання, призначеного для видалення будь-якої залишкової схильності до нецензурного або забороненого вмісту.

Саме тут була сфокусована дія в дослідницькій сфері за останні 2-3 роки: на післяфактному виправленні моделей з недообробленими даними. Приклади таких пропозицій включають Єднальне редагування концепцій у моделях дифузії (UCE); Надійне та ефективне видалення концепцій у текстово-зображенних моделях дифузії (RECE); Масове видалення концепцій у моделях дифузії (MACE); та концепт-напівпроникна структура вводиться як мембрана (SPM):

У 2024 році робота «Єднальне редагування концепцій у моделях дифузії» пропонувала закриті форми редагування вагових коефіцієнтів уваги, що дозволяє ефективно редагувати кілька концепцій у текстово-зображенних моделях. Але чи витримує цей метод перевірку? Source: https://arxiv.org/pdf/2308.14761

Хоча це ефективний підхід (гіпермасштабні колекції, такі як LAION, надто великі для ручної кураторської обробки), він не обов’язково ефективний: згідно з новим американським дослідженням, жоден з вищезгаданих методів редагування не працює дуже добре.

Автори виявили, що ці методи видалення концепцій (CETs) зазвичай можна легко обійти, а навіть якщо вони ефективні, вони мають суттєві побічні ефекти:

Ефекти видалення концепцій на текстово-зображенних моделях. Кожна колонка показує запит і концепцію, позначену для видалення, разом із згенерованими виходами до та після редагування. Ієрархії вказують на батьківсько-дитячі відносини між концепціями. Приклади підкреслюють звичайні побічні ефекти, включаючи невдачу у видаленні дочірніх концепцій, пригнічення сусідніх концепцій, обхід через перефразування та передачу видалених атрибутів до не пов’язаних об’єктів. Source: https://arxiv.org/pdf/2508.15124

Автори виявили, що провідні сучасні методи видалення концепцій не блокують композиційні запити (наприклад, червоний автомобіль або маленький дерев’яний стілець); часто дозволяють підкласам просочуватися навіть після видалення батьківської категорії (наприклад, автомобіль або автобус продовжують з’являтися після видалення транспортного засобу); і вводять нові проблеми, такі як витік атрибутів (наприклад, видалення синього дивана може змусити модель генерувати не пов’язані об’єкти, такі як синій стілець).

У понад 80% тестових випадків видалення широкої концепції, chẳng hạn як транспортний засіб, не зупиняло модель від генерації більш конкретних екземплярів транспортного засобу, таких як автомобілі чи автобуси.

Редагування, як зазначається в роботі, також спричиняє розсіювання карт уваги (частин моделі, які визначають, де зосередитися в зображенні), що послаблює якість виходу.

Цікаво, що робота показує, що видалення пов’язаних навчених концепцій поодинці працює краще, ніж спроба видалити їх усі одразу – хоча це не усуває всіх недоліків вивчених методів редагування:

Порівняння прогресивної та одразу-усього стратегій видалення. Коли всі варіанти ‘тедді-бера’ видаляються одночасно, модель продовжує генерувати об’єкти, подібні до ведмежат. Видалення варіантів крок за кроком є більш ефективним, що призводить до того, що модель більш надійно пригнічує цільову концепцію.

Хоча дослідники зараз не можуть запропонувати рішення проблем, викладених у роботі, вони створили новий набір даних та бенчмарк, які можуть допомогти пізнішим дослідницьким проектам зрозуміти, чи працюють їхні власні “цензуровані” моделі так, як очікувалося.

У роботі зазначається:

‘Попередні оцінки спиралися виключно на малий набір цільових та збережених класів; наприклад, коли видаляється “автомобіль”, перевіряється лише здатність моделі генерувати автомобілі. Ми демонструємо, що такий підхід є фундаментально недостатнім, і оцінка видалення концепцій повинна бути більш комплексною, щоб охопити всі пов’язані підконцепції, такі як “червоний автомобіль”.’

‘Вводячи різноманітний набір даних з композиційними варіаціями та систематично аналізуючи ефекти, такі як вплив на сусідні концепції, концептуальне обхід та витік атрибутів, ми розкриваємо суттєві обмеження та побічні ефекти існуючих CETs.’

‘Наш бенчмарк є модельно-агностичним та легко інтегрованим і ідеально підходить для допомоги у розробці нових методів видалення концепцій (CETs).’

Хоча CETs видаляють цільову концепцію “птах”, вони не працюють для композиційної варіації “червоний птах” (вгорі). Після видалення “синього дивана” всі методи також втрачають здатність генерувати синій стілець (внизу). Успішні результати позначені зеленим галочкою, а невдачі – червоним хрестом.

Дослідження пропонує цікавий погляд на ступінь переплетення концепцій, навчених у латентному просторі моделі, та ступінь, у якій заплутування не дозволить жодного виду видалення концепцій, який був би справжнім та дискретним.

Робота нова називається Побічні ефекти видалення концепцій з моделей дифузії і надходить від чотирьох дослідників з Університету Меріленду.

Метод і дані

Автори вважають, що попередні роботи, які стверджують, що видаляють концепції з моделей дифузії, не доводять це твердження достатньо, заявляючи*:

‘Заяви про видалення потребують більш надійної та комплексної оцінки. Наприклад, якщо концепція, яку потрібно видалити, – це “транспортний засіб”, підконцепції, такі як “автомобіль” і композиційні концепції, такі як “червоний автомобіль” або “маленький автомобіль”, також повинні бути видалені. ‘

‘Однак цей аспект концептуальної ієрархії та композиційності не розглядається у існуючих протоколах оцінки, оскільки вони фокусуються виключно на точності видалення однієї концепції. [Автори EraseBench] оцінюють, як CETs впливають на візуально подібні та перефразовані концепції (наприклад, “кішка” та “кітен”); однак вони не вичерпно досліджують ієрархію та композиційність концепцій.’

Для створення бенчмарк-даних для майбутніх проектів автори створили набір даних Оцінка побічних ефектів (SEE) – велику колекцію текстових запитів, призначену для перевірки того, як добре працюють методи видалення концепцій.

Запити слідують простому шаблону, у якому об’єкт описується атрибутами розміру, кольору та матеріалу – наприклад, зображення маленького червоного дерев’яного автомобіля.

Об’єкти були вибрані з набору даних MS-COCO та організовані у ієрархію суперкласів, таких як транспортний засіб, та підкласів, таких як автомобіль або автобус, з їхніми комбінаціями атрибутів, що утворюють листові вузли (найбільш конкретний рівень ієрархії). Ця структура дозволяє перевірити видалення на різних семантичних рівнях, від широких категорій до конкретних варіантів.

Для підтримки автоматичної оцінки кожен запит був парований з так-або-ні питаннями, такими як Є автомобіль у зображенні?, а також використовувався як мітка класу для моделей класифікації зображень:

Комбінації запитів у наборі даних SEE, згенерованих шляхом варіювання атрибутів розміру, кольору та матеріалу.

Для вимірювання того, як добре кожен метод видалення концепцій працював, автори розробили два методи оцінювання: Точність цільової концепції, яка відстежує, скільки разів видалені концепції все ще з’являються у згенерованих зображеннях; та Точність збереження, яка відстежує, чи продовжує модель генерувати матеріал, який не повинен був бути видалений.

Баланс між двома оцінками призначений для того, щоб показати, чи метод успішно видаляє заборонену концепцію без пошкодження ширшого виходу моделі.

Автори оцінили видалення концепцій у трьох режимах невдачі: по-перше, міра того, чи видалення концепції, такої як автомобіль, порушує сусідні або не пов’язані концепції, засновану на семантичній та атрибутній подібності; по-друге, тест на те, чи видалення можна обійти, запитуючи підконцепції, такі як червоний автомобіль, після видалення транспортного засобу.

Нарешті, було проведено перевірку на витік атрибутів, де атрибути, пов’язані з видаленою концепцією, з’являються в інших частинах зображення (наприклад, видалення дивана може змусити інший об’єкт, такий як горщик з квітами, успадкувати його колір або матеріал). Останній набір даних містить 5056 композиційних запитів

Тести

Перевірені попередні фреймворки включали перелічені вище – UCE, RECE, MACE та SPM. Дослідники прийняли стандартні налаштування з оригінальних проектів та дофінували всі моделі на GPU NVIDIA RTX 6000 з 48 ГБ відеопам’яті.

Stable Diffusion 1.4, одна з найбільш довговічних моделей у літературі, була використана для всіх тестів – можливо, не в останню чергу тому, що перші моделі SD мали мало або жодних концептуальних обмежень, і тому пропонують чистий аркуш у цьому дослідницькому контексті.

Кожен із 5056 запитів з набору даних SEE був запущений через не редаговані та редаговані версії моделі, генеруючи чотири зображення на запит за допомогою фіксованих випадкових насінників, що дозволяє перевірити, чи ефекти видалення залишаються послідовними у декількох виходах. Кожна редагована модель створила загалом 20 224 зображення.

Відсутність збережених концепцій була оцінена згідно з попередніми методами для процедур видалення тексту та зображення, використовуючи моделі VQA BLIP, QWEN 2.5 VL та Florence-2base.

Вплив на сусідні концепції

Перший тест виміряв, чи видалення концепції ненавмисно впливає на сусідні концепції. Наприклад, після видалення автомобіля, модель повинна зупинитися генерувати червоний автомобіль або великий автомобіль, але все ще повинна генерувати пов’язані концепції, такі як автобус або вантажівка, та не пов’язані концепції, такі як виделка.

Аналіз використовував CLIP подібність вкладень та атрибутно-орієнтовану відстань редагування для оцінки того, наскільки близька кожна концепція до видаленої цільової концепції, що дозволило дослідженню квантитативно оцінити, наскільки далеко поширюється порушення:

Об’єднані результати для точності цільової концепції (ліворуч) та точності збереження (праворуч) у координатах з семантичною подібністю (вгорі) та композиційною відстанню (внизу). Ідеальний метод видалення концепції мав би показувати низьку точність цільової концепції та високу точність збереження на всіх відстанях; однак результати показують, що сучасні техніки не працюють чисто, з ближчими концепціями, які або недостатньо видалені, або надмірно порушені.

З цих результатів автори коментують:

‘Всі CETs продовжують генерувати композиційні або семантично віддалені варіанти цільової концепції, незважаючи на видалення, що ідеально не повинно відбуватися. Чітко видно, що UCE постійно досягає вищої точності, ніж інші методи CET, щодо набору збереження, вказуючи на мінімальний ненавмисний вплив на семантично пов’язані концепції. ‘

‘Натомість SPM досягає найнижчої точності, що свідчить про те, що її стратегія редагування більш сприйнятлива до подібності концепцій.’

Серед чотирьох методів, протестованих, RECE був найбільш ефективним у блокуванні цільової концепції. Однак, як показано у лівій частині зображення вище, всі методи не змогли пригнічення композиційних варіантів. Після видалення птаха модель все ще генерувала зображення червоного птаха, вказуючи на те, що концепція залишилася частково цілою.

Видалення синього дивана також завадило моделі генерувати синій стілець, вказуючи на шкоду сусіднім концепціям.

RECE обробляв композиційні варіанти краще, ніж інші методи, тоді як UCE краще зберігав пов’язані концепції.

Вторгнення видалення

Тест на обхід видалення оцінював, чи може модель все ще генерувати підконцепції після видалення їхнього суперкласу. Наприклад, якщо транспортний засіб був видалений, тест перевіряв, чи модель все ще могла генерувати виходи, такі як велосипед або червоний автомобіль.

Запити були націлені на прямої підкласи та композиційні варіанти, щоб визначити, чи операція видалення концепції справді видалила всю ієрархію, чи її можна було обійти через більш конкретні описи:

Обхід видалених суперкласів через їхні підкласи та композиційні варіанти на Stable Diffusion v1.4, з вищою точністю, що вказує на більший обхід.

Не редагована модель зберегла високу точність у всіх суперкласах, підтверджуючи, що вона не видала жодної цільової концепції. Серед CETs MACE показав найменше обходу, досягнувши найнижчу точність підкласу у більш ніж половині протестованих категорій. RECE також працював добре, особливо у категоріях аксесуари, спорт та електроніка.

Натомість UCE та SPM показали вищу точність підкласу, вказуючи на те, що видалені концепції були легше обійдені через пов’язані чи вкладені запити.

Автори відзначають:

‘[Всі] CETs успішно пригнічують цільову концепцію суперкласу (“їжа”). Однак, коли запитують атрибутні діти харчової ієрархії (например, “велика піца”), всі методи генерують харчові продукти. ‘

‘Аналогічно у категорії “транспортний засіб” всі моделі генерують велосипеди, незважаючи на видалення “транспортного засобу”.’

Витік атрибутів

Третій тест, витік атрибутів, перевіряв, чи атрибути, пов’язані з видаленою концепцією, з’являються в інших частинах зображення.

Наприклад, після видалення дивана, модель не повинна генерувати диван, а також не повинна застосовувати його типові атрибути (наприклад, колір або матеріал) до не пов’язаних об’єктів у тому ж запиті. Це було виміряно шляхом запитання моделі парними об’єктами та перевірки, чи видалені атрибути помилково з’являються у збережених концепціях:

Карти уваги для токенів атрибутів після видалення концепції. Ліворуч: Коли “лавка” видалена, токен “дерев’яний” переміщується до птаха, в результаті чого з’являються дерев’яні птахи. Праворуч: Видалення “дивана” не зупиняє генерацію дивана, тоді як токен “великий” неправильно призначений для пончика.

RECE був найбільш ефективним у видаленні цільових атрибутів, але також вводив найбільший витік атрибутів у збережених запитах, перевершуючи навіть не редаговану модель. UCE витікав менше, ніж інші методи.

Результати, як вважають автори, вказують на необхідність внутрішньої компромісу, при якому сильніше видалення підвищує ризик неправильного переносу атрибутів.

Висновок

Латентний простір моделі не заповнюється у порядку під час навчання, з виведеними концепціями, які відкладаються у шафи чи файли; навпаки, навчені вкладення є одночасно вмістом і контейнерами: не розділені жодними різкими межами, а скоріше змішані між собою таким чином, що робить видалення проблематичним – як спроба витягнути фунт плоті без жодної втрати крові.

У розумних та еволюційних системах фундаментальні події – такі як опіки пальців та подальше поважне ставлення до вогню – пов’язані з поведінкою та асоціаціями, які вони пізніше утворюють, що робить складним створення моделі, яка може бути залишена з наслідками центральної, потенційно “забороненої” концепції, але не містить самої концепції.

* Моя конвертація вбудованих цитат авторів у гіперпосилання.

Перша публікація – п’ятниця, 22 серпня 2025 року