Як зупинити зображення AI в минулому

Як уявляють собі минуле генератори зображень AI? Нові дослідження показують, що вони розміщують смартфони в 18 столітті, вставляють ноутбуки в сцени 1930-х років і розміщують пилососи в домах 19 століття, що викликає питання про те, як ці моделі уявляють собі історію – і чи здатні вони до контекстуальної історичної точності взагалі.

На початку 2024 року можливості генерації зображень моделі Google Gemini піддалися критиці за нав’язування демографічної справедливості в непридатних контекстах, таких як генерація солдатів Вермахту з малоймовірним походженням:

Демографічно малоймовірні військові особи, як їх бачила модель Google Gemini у 2024 році. Джерело: Gemini AI/Google через The Guardian

Це був приклад того, як спроби виправити предвзятість у моделях AI не врахували історичний контекст. У цьому випадку проблема була вирішена невдовзі після цього. Однак дифузійні моделі залишаються схильними генерувати версії історії, які спотворюють сучасні та історичні аспекти та артефакти.

Це частково відбувається через заплутування, коли якості, які часто з’являються разом у навчальних даних, стають пов’язаними у виводі моделі. Наприклад, якщо сучасні об’єкти, такі як смартфони, часто співвідносяться з дією розмови або слухання в наборі даних, модель може вивчити асоціацію цих дій з сучасними пристроями, навіть коли запит вказує історичний контекст. Коли ці асоціації стають частиною внутрішніх представлень моделі, стає важко відокремити дію від її сучасного контексту, що призводить до історично неточних результатів.

Нова робота з Швейцарії, що вивчає явище заплутаних історичних поколінь у моделях дифузії, показує, що моделі AI, які досить добре створюють фотореалістичні зображення людей, все ж таки віддають перевагу зображенню історичних постатей у історичних спосіб:

З нової роботи, різноманітні представлення через LDM запиту ‘Фотореалістичне зображення людини, що сміється з другом у [історичному періоді]’, з кожним періодом, вказаним у кожному виводі. Як ми бачимо, носій епохи став асоційованим з вмістом. Джерело: https://arxiv.org/pdf/2505.17064

Для запиту ‘Фотореалістичне зображення людини, що сміється з другом у [історичному періоді]’ одна з трьох протестованих моделей часто ігнорує негативний запит ‘монochrome’ і замість цього використовує кольорові обробки, які відображають візуальні засоби епохи, наприклад, імітує приглушені тони кінофільму 1950-х і 1970-х років.

При тестуванні трьох моделей на їхню здатність створювати анахронізми (річі, які не належать до цільового періоду, або ‘з іншого часу’ – які можуть бути як з майбутнього, так і з минулого періоду), вони виявили загальну схильність змішувати безчасові дії (такі як ‘співання’ або ‘готування’) з сучасними контекстами та обладнанням:

Різноманітні дії, які цілком прийнятні для попередніх століть, зображені з сучасними або більш недавніми технологіями та атрибутами, проти духу запиту.

Зокрема, смартфони особливо важко відокремити від ідій фотографії, а також від багатьох інших історичних контекстів, оскільки їхнє поширення та зображення добре представлені в впливових гіпермасштабних наборах даних, таких як Common Crawl:

У генеративній текст-до-зображення моделі Flux, комунікації та смартфони тісно пов’язані концепції – навіть коли історичний контекст цього не дозволяє.

Щоб визначити масштаб проблеми та надати майбутнім дослідженням можливість подолати цю проблему, автори нової роботи розробили спеціальний набір даних для тестування генеративних систем. Зараз ми розглянемо цю нову роботу, яка називається Синтетична історія: оцінка візуальних представлень минулого в моделях дифузії і походить від двох дослідників Університету Цюриха. Набір даних і код є відкритими.

Хитра ‘правда’

Деякі теми в роботі торкаються культурно чутливих питань, таких як недопредставленість рас та статей в історичних представленнях. Хоча нав’язуванняGemini расової рівності в Третьому рейху є абсурдним і образливим історичним ревізіонізмом, відновлення ‘традиційних’ расових представлень (де моделі дифузії ‘оновлюють’ їх) часто фактично ‘перебілило б’ історію.

Багато недавніх популярних історичних шоу, таких як Bridgerton, розмивають історичну демографічну точність способами, які, ймовірно, вплинуть на майбутні навчальні набори даних, ускладнюючи зусилля зі збігання зображень періоду, згенерованих LLM, з традиційними стандартами. Однак це складна тема, враховуючи історичну тенденцію (західної) історії віддавати перевагу багатству та білості, залишаючи багато ‘менших’ історій невидимими.

Враховуючи ці складні та постійно зміщувані культурні параметри, давайте розглянемо новий підхід дослідників.

Метод і тести

Щоб протестувати, як генеративні моделі інтерпретують історичний контекст, автори створили HistVis, набір даних з 30 000 зображень, згенерованих з ста запиту, що зображують звичайні людські дії, кожна з яких відображена в десяти різних часових періодах:

Зразок з набору даних HistVis, який автори розмістили на Hugging Face. Джерело: https://huggingface.co/datasets/latentcanon/HistVis

Дії, такі як готування, молитва або слухання музики, були обрані за їхню універсальність та сформульовані в нейтральній формі, щоб уникнути закріплення моделі в певній естетиці. Часові періоди для набору даних варіюються від 17 століття до сьогодення, з додатковим акцентом на п’ять окремих десятиліть 20 століття.

30 000 зображень були згенеровані за допомогою трьох широко використовуваних відкритих моделей дифузії: Stable Diffusion XL; Stable Diffusion 3; і FLUX.1. Відокремлюючи часовий період як єдину змінну, дослідники створили структуровану основу для оцінки того, як історичні підказки візуально кодуються або ігноруються цими системами.

Візуальний стиль домінування

Автори спочатку розглянули, чи моделі генеративні моделі за замовчуванням використовують певні візуальні стилі при зображенні історичних періодів; оскільки здавалося, що навіть коли запити не містили жодної згадки про носій або естетику, моделі часто асоціювали певні століття з характерними стилями:

Передбачувані візуальні стилі для зображень, згенерованих з запиту ‘Людина, що танцює з іншою в [історичному періоді]’ (ліворуч) і з модифікованого запиту ‘Фотореалістичне зображення людини, що танцює з іншою в [історичному періоді]’ з ‘монochrome picture’ як негативним запитом (праворуч).

Щоб виміряти цю схильність, автори тренували конвольюційну нейронну мережу (CNN), щоб класифікувати кожне зображення в наборі даних HistVis в одну з п’яти категорій: малюнок; гравюра; ілюстрація; малюнок; або фотографія. Ці категорії були призначені для відображення спільних закономірностей, що виникають у часових періодах, і які підтримують структуроване порівняння.

Класифікатор базувався на моделі VGG16, попередньо тренованій на ImageNet і дообученій з 1 500 прикладами на клас з набору даних WikiArt. Оскільки WikiArt не розрізняє монохромні зображення від кольорової фотографії, окремий бал з кольоровості був використаний для позначення низькосатурних зображень як монохромних.

Навчений класифікатор був потім застосований до повного набору даних, а результати показали, що всі три моделі нав’язують послідовні стилістичні стандарти за періодами: SDXL асоціює 17 і 18 століття з гравюрами, тоді як SD3 і FLUX.1 схильні до малюнків. У десятиліттях 20 століття SD3 віддає перевагу монохромній фотографії, тоді як SDXL часто повертається до сучасних ілюстрацій.

Ці переваги були виявлені навіть при зміні запиту, що свідчить про те, що моделі закодували глибоко вкорінені зв’язки між стилем і історичним контекстом.

Передбачувані візуальні стилі згенерованих зображень у часових періодах для кожної моделі дифузії, засновані на 1 000 зразках на період на модель.

Щоб кількісно оцінити, наскільки сильно модель пов’язує історичний період з певним візуальним стилем, автори розробили метрику, яку вони називають Візуальне стильове домінування (VSD). Для кожної моделі та часу VSD визначається як пропорція виводів, передбачених як спільний найпоширеніший стиль:

Приклади стилістичних упереджень у моделях.

Більш високий бал свідчить про те, що один стиль домінує у виводах для цього періоду, тоді як нижчий бал вказує на більшу варіативність. Це дозволяє порівняти, наскільки сильно кожна модель дотримується певних стилістичних конвенцій у часі.

Застосування до повного набору даних HistVis метрики VSD показує різні рівні збіжності, що допомагає прояснити, наскільки сильно кожна модель звужує свій візуальний погляд на минуле:

Таблиця результатів вище показує бал VSD за історичними періодами для кожної моделі. У 17 і 18 століттях SDXL схильна до генерації гравюр з високою послідовністю, тоді як SD3 і FLUX.1 схильні до малюнків. У 20 і 21 століттях SD3 і FLUX.1 зміщуються до фотографії, тоді як SDXL показує більшу варіативність, але часто повертається до ілюстрацій.

Всі три моделі демонструють сильну перевагу до монохромних зображень у ранніх десятиліттях 20 століття, особливо в 1910-х, 1930-х і 1950-х роках.

Щоб протестувати, чи ці закономірності можна пом’якшити, автори використали інженерія запиту, явно запитуючи фотореалізм і забороняючи монохромний вивід за допомогою негативного запиту. У деяких випадках бал домінування зменшувався, а ведучий стиль зміщувався, наприклад, з монохромного до малюнка у 17 і 18 століттях.

Однак ці втручання рідко призводили до真正их фотореалістичних зображень, що свідчить про те, що стилістичні стандарти моделей глибоко вкорінені.

Історична послідовність

Наступна лінія аналізу розглядала історичну послідовність: чи включені у згенеровані зображення об’єкти, які не пасують до часу. Замість використання фіксованого списку заборонених предметів автори розробили гнучкий метод, який використовував великі мовні (LLM) та візуально-мовні моделі (VLM), щоб виявити елементи, які здаються не на місці, засновані на історичному контексті.

Метод виявлення слідував тому ж формату, що й набір даних HistVis, де кожен запит поєднував історичний період з людською діяльністю. Для кожного запиту GPT-4o генерував список об’єктів, які були б не на місці в вказаному часовому періоді; і для кожного запропонованого об’єкта GPT-4o створював так-або-ні питання, призначене для перевірки того, чи з’являється цей об’єкт у згенерованому зображенні.

Наприклад, для запиту ‘Людина, що слухає музику в 18 столітті’ GPT-4o міг ідентифікувати сучасні аудіоапарати як історично неточні, і створити питання Чи використовує людина навушники або смартфон, який не існував у 18 столітті?.

Ці питання поверталися до GPT-4o у візуальному питання-відповідь форматі, де модель переглядала зображення та повертала так або ні відповідь для кожного. Цей трубопровід дозволив виявити історично недоцільний вміст без залежності від будь-якої попередньо визначеної таксономії сучасних об’єктів:

Приклади згенерованих зображень, позначених двостадійним методом виявлення, що показують анахронічні елементи: навушники в 18 столітті; пилосос у 19 столітті; ноутбук у 1930-х роках; і смартфон у 1950-х роках.

Щоб виміряти, наскільки часто анахронізми з’являються у згенерованих зображеннях, автори ввели простий метод для оцінки частоти та тяжкості. Спочатку вони врахували незначні відмінності у формулюваннях, як GPT-4o описував один і той же об’єкт.

Наприклад, сучасний аудіоапарат і цифровий аудіоапарат розглядався як еквівалентні. Щоб уникнути подвійного підрахунку, розмитий систематичний підхід був використаний для групування цих поверхневих варіацій без впливу на справжні відмінні концепції.

Після того, як усі запропоновані анахронізми були нормалізовані, дві метрики були обчислені: частота вимірювала, наскільки часто певний об’єкт з’являвся в зображеннях для певного часу та моделі; і тяжкість вимірювала, наскільки надійно цей об’єкт з’являвся після того, як був запропонований моделлю.

Якщо сучасний телефон був позначений десять разів і з’являвся в десяти згенерованих зображеннях, він отримував бал тяжкості 1,0. Якщо він з’являвся лише в п’яти, бал тяжкості був 0,5. Ці бали допомогли визначити не лише те, чи відбуваються анахронізми, а й наскільки сильно вони вкорінені у виводі моделі для кожного періоду:

Топ-15 анахронічних елементів для кожної моделі, позначених за частотою на осі X і тяжкістю на осі Y. Кола позначають елементи, що займають перші 15 місць за частотою, трикутники – за тяжкістю, і діаманти – за обома.

Вище ми бачимо 15 найбільш поширених анахронізмів для кожної моделі, ранжованих за частотою та послідовністю.

Одяг був частим, але розсіяним, тоді як предмети, такі як аудіоапарати та праски, з’являлися рідше, але з вищою послідовністю – закономірності, які свідчать про те, що моделі часто реагують на дія в запиту більше, ніж на часовий період.

SD3 показала найвищу частоту анахронізмів, особливо в зображеннях 19 століття та 1930-х років, за нею слідували FLUX.1 і SDXL.

Щоб протестувати, наскільки добре метод виявлення збігається з людською оцінкою, автори провели дослідження з 1 800 випадково вибраних зображень з SD3 (моделі з найвищим рівнем анахронізмів), де кожне зображення було оцінено трьома працівниками. Після фільтрації надійних відповідей 2 040 суджень від 234 користувачів були включені, і метод погодився з більшістю голосів у 72% випадків.

GUI для дослідження людської оцінки, що показує інструкції завдання, приклади точних і анахронічних зображень, і так-або-ні питання для ідентифікації тимчасових несумісностей у згенерованих виводах.

Демографія

Останній аналіз розглянув, як моделі зображують расу та стать у часі. Використовуючи набір даних HistVis, автори порівняли вивід моделей з базовими оцінками, згенерованими мовною моделлю. Ці оцінки не були точними, але надавали приблизне відчуття історичної правдоподібності, допомагаючи показати, чи адаптують моделі зображення до наміченого періоду.

Щоб оцінити ці зображення у великому масштабі, автори створили трубопровід для порівняння демографічних виводів моделей з приблизними очікуваннями для кожної доби та діяльності. Вони спочатку використали FairFace класифікатор, заснований на ResNet34, інструмент, навчений на понад 100 000 зображень, для виявлення статі та раси у згенерованих виводах, що дозволяло виміряти, наскільки часто обличчя в кожній сцені класифікувалися як чоловічі або жіночі, і відстежувати расові категорії у часі:

Приклади згенерованих зображень, що показують демографічну надпредставленість у різних моделях, періодах часу та діяльності.

Результати з низькою впевненістю були відфільтровані, щоб зменшити шум, і передбачення були усереднені за всі зображення, пов’язані з певним часом та діяльністю. Щоб перевірити надійність оцінок FairFace, друга система, заснована на DeepFace, була використана на вибірці з 5 000 зображень. Дві класифікатори показали сильну згоду, що підтверджує послідовність демографічних оцінок, використаних у дослідженні.

Щоб порівняти вивід моделей з історичною правдоподібністю, автори попросили GPT-4o оцінити очікуваний розподіл статі та раси для кожної діяльності та часу. Ці оцінки служили приблизними еталонами, а не абсолютною правдою. Дві метрики були використані: недопредставленість і надпредставленість, що вимірювали, наскільки вивід моделі відхилявся від очікувань LLM:

Результати показали чіткі закономірності: FLUX.1 часто надпредставляла чоловіків, навіть у сценаріях, таких як готування, де очікувалися жінки; SD3 і SDXL показали схожі тенденції у категоріях, таких як робота, освіта та релігія; білі обличчя з’являлися частіше, ніж очікувалося в цілому, хоча цей упередження зменшувався у пізніших періодах; і деякі категорії показували несподівані сплески у представленості не-білих осіб, що свідчить про те, що поведінка моделі може відображати кореляції набору даних, а не історичний контекст:

Надпредставленість і недопредставленість статі та раси у виводах FLUX.1 у століттях і діяльності, показані як абсолютні відхилення від демографічних оцінок GPT-4o.

Автори висновують:

‘Наш аналіз показує, що моделі [Text-to-image/TTI] залежать від обмежених стилістичних кодувань, а не від нюансованих розумінь історичних періодів. Кожна епоха сильно пов’язана з певним візуальним стилем, що призводить до однорозмірних зображень історії.

‘Значно, фотореалістичні зображення людей з’являються лише з 20 століття, з рідкісними винятками в FLUX.1 і SD3, що свідчить про те, що моделі підтримують вивчені асоціації, а не гнучко адаптуються до історичних контекстів, підтримуючи думку про те, що реалізм – це сучасна риса.

‘Крім того, часті анахронізми свідчать про те, що історичні періоди не чітко розділені у латентних просторах цих моделей, оскільки сучасні артефакти часто з’являються у до-модерних умовах, підкріплюючи ненадійність систем TTI у контекстах освіти та культурної спадщини.’

Висновок

Під час навчання моделі дифузії нові концепції не чітко вписуються у попередньо визначені слоти у латентному просторі. Замість цього вони утворюють кластери, сформовані частотою їх появи та їхньою близькістю до пов’язаних ідей. Результатом є вільно організована структура, де концепції існують у відносинах до їхньої частоти та типового контексту, а не за допомогою будь-якого чистого або емпіричного розділення.

Це робить складним визначення того, що становить ‘історичне’ у великому, загальному наборі даних. Як свідчать результати нової роботи, багато часових періодів представлені більше за виглядом носія, використаного для їхнього зображення, ніж за будь-якими глибшими історичними деталями.

Це одна з причин, чому залишається складним згенерувати фотореалістичне зображення персонажа з (наприклад) 19 століття; у більшості випадків модель буде залежати від візуальних тропів, взятих з кіно та телебачення. Коли ці тропи не відповідають запиту, у даних немає нічого іншого, щоб компенсувати. Подолання цього розриву, ймовірно, залежатиме від майбутніх удосконалень у роз’єднанні перекриваючих концепцій.

Перша публікація понеділка, 26 травня 2025 року