Система виявлення чистої синтезу зображень для каркасів типу DALL-E 2

Нові дослідження Каліфорнійського університету в Берклі пропонують метод визначення того, чи можна виявити вивід нових поколінь каркасів синтезу зображень – таких як DALL-E 2 від Open AI, а також Imagen і Parti від Google – як “не дійсний”, вивчаючи геометрію, тіні та відображення, які з’являються в синтезованих зображеннях.

Вивчаючи зображення, згенеровані текстовими запитами в DALL-E 2, дослідники виявили, що попри вражаючу реалістичність, якої здатна ця архітектура, деякі постійні несучастності відбуваються щодо відтворення глобальної перспективи, створення та розташування тіней, а особливо щодо відтворення відображених об’єктів.

У статті зазначається:

‘[Геометричні] структури, відображені тіні та відображення в дзеркальних поверхнях не повністю узгоджуються з очікуваною перспективною геометрією природних сцен. Геометричні структури та тіні, як правило, локально узгоджені, але глобально неузгоджені.

‘Відображення, з іншого боку, часто відтворюються недовірливо, ймовірно, тому що вони менш поширені в навчальному наборі даних зображень.’

Відсутність узгодженого перетину між відтвореним об’єктом та його відображенням зараз є надійним способом виявлення зображення DALL-E 2, згідно з новим дослідженням. Джерело: https://arxiv.org/pdf/2206.14617.pdf

Стаття представляє собою ранню спробу того, що може в кінцевому підсумку стати помітним напрямком у дослідницькій спільноті комп’ютерного зору – виявлення синтезу зображень.

Від часу появи deepfake в 2017 році виявлення deepfake (в основному вивіду автоенкодера з пакетів, таких як автоенкодер та DeepFaceLab і FaceSwap) стало активним та конкурентним академічним напрямком, з різними статтями та методологіями, спрямованими на розвиток еволюційних “телесних” синтезованих облич у реальному відео.

Однак, до недавнього виникнення гіпермасштабних навчених систем генерації зображень, вивід текстових запитів систем, таких як CLIP, не становив загрози статус-кво “фотореальності”. Автори нової статті вважають, що це ось-ось зміниться, і що навіть несучастності, які вони виявили в виводі DALL-E 2, можуть не мати великого значення для потенціалу обману глядачів.

Автори зазначають*:

‘[Такі] невдачі можуть не мати великого значення для людської візуальної системи, яка виявилася досить нездатною до певних геометричних суджень, включаючи несучастності в освітленні, тінях, відображеннях, візуальній позиції та перспективній деформації.’

Зникаюча достовірність

Перший судовий аналіз виводу DALL-E 2 авторами стосується перспективної проекції – того, як позиціонування прямих країв у ближніх об’єктах та текстурах повинно однорідно вирішуватися до “точки зникнення”.

Зліва, паралельні лінії на одній площині вирішуються до спільної точки зникнення; справа, декілька точок зникнення на одній та паралельних площинах визначають лінію зникнення (зображену червоним).

Для перевірки узгодженості DALL-E 2 у цьому відношенні автори використали DALL-E 2 для генерації 25 синтезованих зображень кухонь – знайомого простору, який, навіть у добре обладнаних помешканнях, зазвичай обмежений досить, щоб забезпечити декілька можливих точок зникнення для ряду об’єктів та текстур.

Вивчаючи вивід за запитом ‘фотографія кухні з плиткою на підлозі’, дослідники виявили, що попри загалом переконливе представлення в кожному випадку (за винятком деяких дивних, менших артефактів, не пов’язаних з перспективою), об’єкти, зображені ніколи не здаються правильно сходяться.

Автори відзначають, що хоча кожна серія паралельних ліній з малюнка плитки узгоджена та перетинається в одній точці зникнення (синій на зображенні нижче), точка зникнення для стільниці (бірюзовий) не узгоджується з обома лініями зникнення (червоним) та точкою зникнення, отриманою з плитки.

Автори спостерігають, що навіть якщо стільниця не паралельна плитці, бірюзова точка зникнення повинна вирішуватися до (червоної) лінії зникнення, визначеної точками зникнення плитки на підлозі.

У статті зазначається:

‘Хоча перспектива в цих зображеннях – вражаюча – локально узгоджена, вона не глобально узгоджена. Такий самий шаблон був знайдений у кожному з 25 синтезованих зображень кухонь.’

Тіньові судові розслідування

Як кожен, хто коли-небудь займався трасуванням променів, знає, тіні також мають потенційні точки зникнення, вказуючи на один або декілька джерел освітлення. Для зовнішніх тіней у жорсткому сонячному світлі можна очікувати, що тіні по всіх гранях зображення будуть узгоджуватися до одного джерела світла (сонця).

Як і у попередньому експерименті, дослідники створили 25 зображень DALL-E 2 за запитом ‘три куби на тротуарі, сфотографовані в сонячний день’, а також ще 25 за запитом ‘три куби на тротуарі, сфотографовані в хмарний день’.

У верхньому ряду зображення, створені за запитом дослідників “три куби на тротуарі, сфотографовані в хмарний день”; у нижньому ряду зображення, створені за запитом “три куби на тротуарі, сфотографовані в сонячний день”.

Дослідники відзначають, що при відтворенні хмарних умов DALL-E 2 здатна відтворювати більш розсіяні пов’язані тіні в переконливій та правдоподібній манері, можливо, не в останню чергу тому, що такий тип тіні, ймовірно, більш поширений у наборі даних зображень, на яких була навчена система.

Однак деякі “сонячних” фотографій автори виявили несумісними з сценою, освітленою одним джерелом світла.

Для вищезазначеного зображення генерації були перетворені в сірому масштабі для ясності та показують кожен об’єкт з власним окремим “сонцем”.

Хоча середній глядач може не помітити таких аномалій, деякі з генерованих зображень мали більш явні приклади “тіньової невдачі”:

Хоча деякі тіні просто знаходяться не на місці, багато з них, цікаво, відповідають типу візуальної несумісності, яку викликає моделювання CGI, коли вибірка для віртуального світла занадто низька.

Відображення в DALL-E 2

Найбільш засуджувальні результати щодо судових розслідувань були отримані, коли автори протестували здатність DALL-E 2 створювати високорефлексивні поверхні, що є обчислювально важким завданням у традиційних алгоритмах трасування променів та інших традиційних алгоритмів відтворення.

Для цього експерименту автори створили 25 зображень DALL-E 2 за запитом ‘фотографія іграшки динозавра та його відображення у ваніті-дзеркалі’.

У всіх випадках автори повідомляють, що дзеркальне зображення відтвореного іграшки динозавра було якимось чином роз’єднаним з “реальним” іграшкою динозавра та його розташуванням. Автори зазначають, що проблема була стійкою до варіацій текстового запиту, і здається, що це фундаментальна слабкість системи.

Здається, існує логіка в деяких помилках – перший і третій приклади у верхньому ряду здаються показувати динозавра, який дублюється досить добре, але не дзеркально.

Автори коментують:

‘На відміну від відображених тіней та геометричних структур у попередніх розділах, DALL·E-2 бореться з синтезом правдоподібних відображень, ймовірно, тому що такі відображення менш поширені у його навчальному наборі даних.’

Помилки такого типу можуть бути виправлені в майбутніх текстово-образових моделях, які зможуть більш ефективно переглядати загальну семантичну логіку свого виводу та будуть здатні накладати абстрактні фізичні правила на сцени, які, до певної міри, були зібрані з ознак, відповідних словам, у латентному просторі системи.

У світлі зростаючої тенденції до все більших архітектур синтезу автори висновують:

‘[Це] може бути лише питання часу, перш ніж двигуни синтезу за текстом навчаться відтворювати зображення з повною перспективною узгодженістю. До того часу, однак, геометричні судові розслідування можуть виявитися корисними при аналізі цих зображень.’

* Моє перетворення внутрішніх цитат авторів у гіперпосилання.

Перша публікація 30 червня 2022 року.