Дослідження Disney пропонує покращений AI-основний стиск зображень – Але він може галюцинувати деталі

Дослідницький підрозділ Disney пропонує новий метод стиснення зображень, використовуючи відкритий код моделі Stable Diffusion V1.2 для створення більш реалістичних зображень при нижчих бітрейтах порівняно з іншими методами.

Метод стиснення Disney порівняно з попередніми підходами. Автори стверджують, що їхній метод забезпечує кращу відновлення деталей, а також пропонує модель, яка не вимагає сотень тисяч доларів на навчання, і працює швидше, ніж найближчий аналог методу. Джерело: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Новий підхід (визначений як “кодек”, незважаючи на свою підвищену складність порівняно з традиційними кодеками, такими як JPEG і AV1) може працювати з будь-якою латентною дифузійною моделлю (LDM). У кількісних тестах він перевершує попередні методи за точністю та деталями, і вимагає значно менше часу на навчання та обчислювальних ресурсів.

Ключовий висновок нової роботи полягає в тому, що помилка квантування (центральний процес у всіх методах стиснення зображень) схожа на шум (центральний процес у дифузійних моделях).

Отже, “традиційно” квантоване зображення можна розглядати як шумове версію оригінального зображення, і використовувати в процесі денойзингу LDM замість випадкового шуму, щоб відновити зображення на цільовому бітрейті.

Додаткові порівняння нового методу Disney (виділено зеленим), у порівнянні з іншими підходами.

Автори стверджують:

‘[Ми] формулюємо видалення помилки квантування як завдання денойзингу, використовуючи дифузію для відновлення втраченої інформації у переданому латентному зображенні. Наш підхід дозволяє нам виконувати менше 10% повного процесу дифузійної генерації та не вимагає жодних архітектурних змін у моделі дифузії, що дозволяє використовувати основні моделі як сильний апріор без додаткового доопрацювання основної моделі.

‘Наш пропонований кодек перевершує попередні методи у кількісних метриках реалізму, і ми підтверджуємо, що наші реконструкції якісно кращі за реконструкції інших методів, навіть якщо інші методи використовують вдвічі більший бітрейт.’

Однак, як і інші проекти, які намагаються використати можливості стиснення дифузійних моделей, вихідний результат може галюцинувати деталі. На відміну від цього, втратні методи, такі як JPEG, будуть продукувати явно спотворені або过-smoothed області деталей, які можна розпізнати як обмеження стиснення непідготовленим глядачем.

Натомість кодек Disney може змінити деталі з контексту, який не був присутній у вихідному зображенні, через грубий характер варіаційного автоенкодера (VAE), який використовується у типових моделях, навчених на гіпермасштабних даних.

‘Подібно до інших генеративних підходів, наш метод може відкинути певні особливості зображення, синтезуючи подібну інформацію на приймальній стороні. У певних випадках, однак, це може призвести до неточної реконструкції, chẳng hạn як згинання прямих ліній або викривлення межі малих об’єктів.

‘Ці відомі проблеми основної моделі, на якій ми будемо, можна віднести до відносно низької розмірності її VAE.’

Хоча це має деякі наслідки для художніх зображень і достовірності випадкових фотографій, це може мати більш критичний вплив у випадках, коли дрібні деталі становлять важливу інформацію, chẳng hạn як докази у судових справах, дані для розпізнавання облич, скани для оптичного розпізнавання символів (OCR) та широкий спектр інших можливих випадків використання, у разі популяризації кодека з цією можливістю.

На цій ранній стадії прогресу AI-підтриманого стиснення зображень всі ці можливі сценарії ще далекі у майбутньому. Однак зберігання зображень є глобальною проблемою, яка торкається питань зберігання даних, потокового передавання та споживання електроенергії, крім інших проблем. Тому AI-основне стиснення може пропонувати привабливу компроміс між точністю та логістикою. Історія показує, що найкращі кодеки не завжди перемагають найбільшу базу користувачів, коли питання ліцензування та захоплення ринку власними форматами є факторами прийняття.

Disney вже давно експериментує з машинним навчанням як методом стиснення. У 2020 році один з дослідників нової статті був залучений до проекту на основі VAE для покращення відеостиснення.

Нова стаття Disney була оновлена на початку жовтня. Сьогодні компанія випустила супровідне відео на YouTube. Проект називається Втратне стиснення зображень з основними дифузійними моделями, і походять від чотирьох дослідників з ETH Zürich (афілійованих з проектами Disney на основі AI) та Disney Research. Дослідники також пропонують доповнюючу статтю.

Метод

Новий метод використовує VAE для кодування зображення у його стиснене латентне представлення. На цій стадії вхідне зображення складається з похідних особливостей – низькорівневих векторних представлень. Латентне вкладення потім квантується назад у бітпотік, і назад у простір пікселів.

Це квантоване зображення потім використовується як шаблон для шуму, який зазвичай використовується для ініціалізації дифузійного зображення, з різною кількістю кроків денойзингу (де часто існує компроміс між збільшенням кількості кроків денойзингу та підвищенням точності проти нижчої затримки та вищої ефективності).

Схема нового методу стиснення Disney.

Обидва параметри квантування та загальна кількість кроків денойзингу можна контролювати під новою системою, через навчання нейронної мережі, яка передбачає відповідні змінні, пов’язані з цими аспектами кодування. Цей процес називається адаптивним квантуванням, і система Disney використовує Entroformer як модель ентропії, яка підтримує процедуру.

Автори зазначають:

‘Інтуїтивно, наш метод вчиться відкидати інформацію (через перетворення квантування), яку можна синтезувати під час процесу дифузії. Оскільки помилки, введені під час квантування, схожі на додавання шуму, а дифузійні моделі є моделями денойзингу, їх можна використовувати для видалення шуму квантування, введеного під час кодування.’

Stable Diffusion V2.1 є дифузійним основою для системи, обраною через те, що весь код і базові ваги є відкритими. Однак автори підкреслюють, що їхня схема застосовна до ширшого числа моделей.

Пivotальний для економіки процесу є передбачення кроків денойзингу, яке оцінює оптимальну кількість кроків денойзингу – баланс між ефективністю та продуктивністю.

Предбачення кроків денойзингу, з оптимальною кількістю кроків денойзингу, позначеною червоним кордоном. Будь ласка, зверніться до джерела PDF для точного розрішення.

Кількість шуму у латентному вкладенні потрібно враховувати при передбаченні найкращої кількості кроків денойзингу.

Дані та тести

Модель була навчена на наборі даних Vimeo-90k. Зображення були випадково обрізані до 256x256px для кожного епохи (тобто кожного повного прийому відфільтрованого набору даних моделлю).

Модель була оптимізована за 300 000 кроків при швидкості навчання 1e-4. Це найпоширеніший серед проектів комп’ютерного бачення, і також найнижчий і найдрібніший загальноприйнятий значення, як компроміс між широким узагальненням концепцій і особливостей набору даних, і можливістю відтворення дрібних деталей.

Автори коментують деякі логістичні міркування для економічної, але ефективної системи*:

‘Під час навчання дуже дорого повертати градієнт через кілька проходів дифузійної моделі, оскільки вона працює під час DDIM зразка. Тому ми виконуємо лише один крок DDIM і безпосередньо використовуємо його як повністю денойзований дані.’

Набори даних, використані для тестування системи, були Kodak; CLIC2022; і COCO 30k. Набір даних був попередньо оброблений згідно з методологією, викладеною у статті Google 2023 року Мультіреалістичне стиснення зображень з умовним генератором.

Метрики, використані для оцінки, були Піковий сигнал-шумовий відношення (PSNR); Навчені перцептивні метрики подібності (LPIPS); Мультімасштабний індекс структуальної подібності (MS-SSIM); і Відстань Фреше-Інсепшена (FID).

Рівні попередні.frameworks, протестовані, були розділені між старішими системами, які використовували генеративні суперницькі мережі (GAN), і більш недавніми пропозиціями, заснованими на дифузійних моделях. Системи GAN, протестовані, були High-Fidelity Generative Image Compression (HiFiC); і ILLM (який пропонує деякі покращення HiFiC).

Дифузійні системи були Втратне стиснення зображень з умовними дифузійними моделями (CDC) і Високоефективне стиснення зображень з моделями генерації на основі оцінки (HFD).

Кількісні результати проти попередніх.frameworks на різних наборах даних.

Для кількісних результатів (відображених вище) дослідники зазначають:

‘Наш метод встановлює новий стан-оф-арт у реалізмі реконструйованих зображень, перевершуючи всі базові рівні у кривих FID-бітрейту. У деяких метриках спотворення (наприклад, LPIPS і MS-SSIM) ми перевершуємо всі дифузійні кодеки, залишаючись конкурентоспроможними з найкращими генеративними кодеками.

‘Як очікувалося, наш метод і інші генеративні методи страждають, коли вимірюються у PSNR, оскільки ми віддаємо перевагу перцептивно привабливим реконструкціям, а не точному відтворенню деталей.’

Для用户 дослідження використовувався метод двовибірного примусового вибору (2AFC), у турнірному контексті, де переважені зображення переходили до пізніх раундів. Дослідження використовувало систему рейтингу Elo, спочатку розроблену для шахових турнірів.

Отже, учасники переглядали та вибирали найкраще з двох представлених 512x512px зображень серед різних генеративних методів. Додатковий експеримент був проведений, у якому всі порівняння зображень від одного користувача були оцінені через симуляцію Монте-Карло за 10 000 ітерацій, з медіанним балом, представленим у результатах.

Оцінки Elo для користувачів, що містять турніри Elo для кожного порівняння (ліворуч) і для кожного учасника, з вищими значеннями краще.

Тут автори коментують:

‘Як можна побачити у рейтингах Elo, наш метод значно перевершує всі інші, навіть порівняно з CDC, який використовує в середньому вдвічі більше бітів нашого методу. Це залишається вірним незалежно від стратегії турніру Elo, використовуваної.’

У оригінальній статті, а також у доповнюючому PDF, автори пропонують подальші візуальні порівняння, одне з яких показано вище у цій статті. Однак через дрібні відмінності між зразками, ми просимо читача звернутися до джерельного PDF, щоб ці результати могли бути оцінені справедливо.

Стаття завершується тим, що запропонований метод працює вдвічі швидше, ніж суперник CDC (3,49 проти 6,87 секунд відповідно). Він також відзначає, що ILLM може обробити зображення за 0,27 секунди, але ця система вимагає великих витрат на навчання.

Висновок

Дослідники з ETH/Disney чітко заявляють у висновку статті про потенційну можливість їхньої системи генерувати хибні деталі. Однак жоден з зразків, представлених у матеріалі, не зупиняється на цій проблемі.

У справедливості, ця проблема не обмежується новим підходом Disney, а є неминучим побічним ефектом використання дифузійних моделей – винахідливої та інтерпретативної архітектури – для стиснення зображень.

Цікаво, що лише п’ять днів тому два інших дослідники з ETH Zurich опублікували статтю під назвою Умовні галюцинації для стиснення зображень, яка досліджує можливість “оптимального рівня галюцинацій” у системах стиснення зображень на основі AI.

Автори статті роблять випад для бажаності галюцинацій, де домен є достатньо загальним (і, можливо, “безпечним”):

‘Для текстурного вмісту, такого як трава, веснянки та кам’яні стіни, генерація пікселів, які реалістично відповідають заданій текстурі, важливіша, ніж відновлення точних значень пікселів; генерація будь-якого зразка з розподілу текстури загалом достатня.’

Таким чином, ця друга стаття робить випад для того, щоб стиснення було оптимально “креативним” та репрезентативним, а не точним відтворенням основних рис і особливостей оригінального незастисненого зображення.

Хто знає, що фотографічна та творча спільнота зробить з цього досить радикального переозначення “стиснення”?

*Мій перехід авторських внутрішніх посилань на гіперпосилання.

Перша публікація середу, 30 жовтня 2024 року