Рішення проблеми артефактів JPEG у наборах даних комп’ютерного зору

Нове дослідження Університету Меріленду та Facebook AI виявило “значну пенальті за продуктивність” для систем глибокого навчання, які використовують високозжаті зображення JPEG у своїх наборах даних, і пропонує нові методи для пом’якшення наслідків цього.

У звіті, озаглавленому Аналіз і пом’якшення дефектів стиснення JPEG у глибокому навчанні, стверджується, що це “значно більш повне” дослідження порівняно з попередніми дослідженнями щодо впливу артефактів на навчання комп’ютерних зображень. У цьому дослідженні виявлено, що “[важке] до помірного стиснення JPEG призводить до значної пенальті за продуктивність за стандартними метриками”, і що нейронні мережі, можливо, не так стійкі до таких порушень, як попередня робота показала.

Фотографія собаки з набору даних MobileNetV2 2018 року. При якості 10 (ліворуч) система класифікації не може правильно ідентифікувати породу ‘Пемброк-Вельш-Корґі’, замість цього вважаючи її ‘Норвіч-тер’єром’ (система вже знає, що це фотографія собаки, але не породу); другий зліва, версія зображення з виправленням артефактів JPEG знову не може правильно ідентифікувати породу; другий справа, цілеве виправлення артефактів відновлює правильну класифікацію; і праворуч, оригінальна фотографія, правильно класифікована. Джерело: https://arxiv.org/pdf/2011.08932.pdf

Артефакти стиснення як “дані”

Екстремальне стиснення JPEG, ймовірно, створить видимі або напіввидимі межі навколо блоків 8×8, з яких складається зображення JPEG у вигляді сітки пікселів. Як тільки ці блокування або “звоніння” артефакти з’являються, вони, ймовірно, будуть неправильно інтерпретовані системами машинного навчання як реальні елементи зображення, якщо не буде зроблено жодних компенсацій для цього.

Вище, система машинного навчання комп’ютерного зору витягує “чисте” зображення градієнта з високоякісної картинки. Нижче, “блокування” артефакти у низькоякісному збереженні зображення затуляють особливості об’єкта, і можуть закінчитися “інфекцією” особливостей, витягнутих із набору зображень, особливо у випадках, коли високоякісні та низькоякісні зображення трапляються у наборі даних,例如, у веб-скрепедних колекціях, яким застосовується тільки загальне очищення даних. Джерело: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Як видно на першому зображенні вище, такі артефакти можуть впливати на завдання класифікації зображень, з наслідками також для алгоритмів розпізнавання тексту, які можуть неправильно ідентифікувати字符и, що постраждали від артефактів.

У випадку систем навчання синтезу зображень (наприклад, програмного забезпечення для створення глибоких фейків або систем генерації зображень на основі ГАН), “злий” блок низькоякісних, сильно стиснутих зображень у наборі даних може або знижувати медіану якості відтворення, або ж бути поглинутим і фактично заміненим більшим числом високоякісних особливостей, витягнутих із кращих зображень у наборі. У будь-якому випадку, кращі дані бажані – або, принаймні, послідовні дані.

JPEG – Зазвичай “достатньо добре”

Стиснення JPEG – це необоротний втратний кодек, який можна застосувати до різних форматів зображень, хоча він застосовується переважно до обгортки файлу зображення JFIF. Незважаючи на це, формат JPEG (.jpg) був названий на честь свого методу стиснення, а не обгортки JFIF для даних зображення.

Цілі архітектури машинного навчання виникли в останні роки, які включають пом’якшення артефактів JPEG як частина процедур масштабування/відновлення, керованих ІІ, і видалення артефактів стиснення на основі ІІ зараз включено до кількох комерційних продуктів, таких як набір інструментів Topaz для зображень/відео suite, і нейронні особливості останніх версій Adobe Photoshop.

Від моменту створення схеми JPEG 1986 року, яка зараз широко використовується, було майже закріплено на початку 1990-х років, тому не можна додати метадані до зображення, які б вказували, який рівень якості (1-100) мав зображення JPEG під час збереження – принаймні, не без зміни понад тридцяти років споживчих, професійних та академічних програмних систем, які не очікували наявності таких метаданих.

Відповідно, не рідко машинні навчання підлаштовуються під оцінені або відомі якості даних зображення JPEG, як це зробили дослідники для нового документу (див. нижче). У відсутність “якості” запису метаданих зараз необхідно або знати деталі про те, як зображення було стиснено (тобто стиснено з безвтратного джерела), або оцінити якість через перцептивні алгоритми або ручну класифікацію.

Економічний компроміс

JPEG не є єдиним втратним методом стиснення, який може вплинути на якість наборів даних машинного навчання; налаштування стиснення у файлах PDF також можуть відкидати інформацію таким чином і бути встановлені на дуже низькі рівні якості для збереження місця на диску для локального чи мережевого архівування.

Це можна побачити, вибірково перевіряючи різні PDF-файли на archive.org, деякі з яких були стиснені так сильно, що стали значною проблемою для систем розпізнавання зображень або тексту. У багатьох випадках, таких як авторські книги, таке інтенсивне стиснення, ймовірно, було застосовано як дешевий засіб захисту авторських прав, подібно до того, як власники авторських прав можуть вибирати зниження роздільної здатності відеороликів користувачів на YouTube, на яких вони володіють ІП, залишаючи “блокові” відео як рекламні жетони для підтримки покупок у “повному розрізі”, а не видаляючи їх.

У багатьох інших випадках роздільна здатність або якість зображення низька просто тому, що дані дуже старі і походять з епохи, коли локальне та мережеве сховище було дорожче, а обмежені швидкості мережі віддавали перевагу високооптимізованим та портативним зображенням над високоякісною репродукцією.

Було висловлено припущення, що JPEG, хоча зараз і не найкраще рішення, було “закріплено” як незмінна спадщина, яка фактично переплетена з основами інтернету.

Спадщина

Хоча пізніші інновації, такі як JPEG 2000, PNG та (останнім часом) формат.webp, пропонують вищу якість, повторне зчитування старих, високо популярних наборів даних машинного навчання аргументувалося б як “сброс” послідовності та історії рік за роком викликів комп’ютерного зору в академічному співтоваристві – перепона, яка також застосовувалася б у випадку збереження зображень набору даних PNG у вищих налаштуваннях якості. Це можна вважати певним видом технічного боргу.

Хоча старовинні серверні бібліотеки обробки зображень, такі як ImageMagick, підтримують кращі формати, включаючи.webp, вимоги до перетворення зображень часто виникають у спадкових системах, які не налаштовані для чогось іншого, крім JPG або PNG (яке пропонує безвтратне стиснення, але за рахунок затримки та місця на диску). Навіть WordPress, система керування вмістом, яка живить 几乎 40% усіх сайтів, додала підтримку.webp лише три місяці тому.

PNG був пізнім (можливо, занадто пізнім) учасником сектору форматів зображень, який виник як відкритий вирішення у другій половині 1990-х років у відповідь на заяву 1995 року компанії Unisys та CompuServe про те, що відтепер будуть сплачуватися роялті за формат стиснення LZW, використовуваний у файлах GIF, які часто використовувалися раніше для логотипів та плоских елементів, навіть якщо відродження формату GIF у початку 2010-х років було пов’язано з його здатністю забезпечувати низькобітратний, швидкий анімаційний контент (іронічно, анімовані PNG ніколи не набули популярності чи широкої підтримки та навіть були заборонені у Twitter у 2019 році).

Незважаючи на свої недоліки, стиснення JPEG є швидким, ефективним щодо місця на диску, і глибоко вбудованим у системи всіх типів – і, отже, не ймовірно зникне повністю зі сцени машинного навчання в найближчому майбутньому.

Найкраще з AI/JPEG-перемир’я

До певної міри співтовариство машинного навчання пристосувалося до капризів стиснення JPEG: у 2011 році Європейське товариство радіології (ESR) опублікувало дослідження щодо “використання необоротного стиснення зображень у радіологічному зображенні”, надаючи рекомендації щодо “прийнятної” втрати; коли знаменитий набір даних MNIST для розпізнавання тексту (чиї дані зображень спочатку постачалися у новому двійковому форматі) був перенесений у “звичайний” формат зображення, JPEG, а не PNG, був вибраний; і раніше (2020) співробітництво від авторів нового документу запропонувало нову архітектуру для калібрування систем машинного навчання до недоліків різної якості зображень JPEG, без потреби навчання моделей на кожному налаштуванні якості JPEG – особливість, використану у новій роботі.

Дійсно, дослідження щодо корисності даних зображень JPEG з різними рівнями якості є досить живучим напрямком у машинному навчанні. Одне (не пов’язане) проект 2016 року з Центру автоматики досліджень Університету Меріленду фактично централізується на області DCT (де артефакти JPEG виникають при низьких налаштуваннях якості), як шлях до глибокого витягування особливостей; інший проект 2019 року зосереджується на байт-читанні даних JPEG без часу, витраченого на декомпресію зображень (тобто відкриття їх у певній точці автоматизованого робочого процесу); і дослідження з Франції 2019 року активно використовує стиснення JPEG на користь процедур розпізнавання об’єктів.

Тестування та висновки

Повернувшись до останнього дослідження Університету Меріленду та Facebook, дослідники намагалися протестувати зрозумілість та корисність JPEG для зображень, стиснутих між 10-90 (пониже якого зображення неможливо спотворено, а вище якого воно дорівнює безвтратному стисненню). Зображення, використані у тестах, були попередньо стиснуті на кожному значенні у цільовому діапазоні якості, що складало щонайменше вісім сесій навчання.

Моделі були навчені на стохастичному градієнтному спуску через чотири методи: базовий, де жодних додаткових пом’якшень не було додано; кероване тонке налаштування, де навчальний набір має перевагу попередньо натренованих ваг та позначених даних (хоча дослідники визнають, що це важко повторити у споживчих застосуваннях); виправлення артефактів, де покращення здійснюється над стисненими зображеннями до навчання; і цільове виправлення артефактів, де мережа виправлення артефактів доналаштовується на повернених помилках.

Навчання відбувалося на широкому різноманітті відповідних наборів даних, включаючи кілька варіантів ResNet, FastRCNN, MobileNetV2, MaskRCNN та Keras’ InceptionV3.

Вибіркові результати втрат після цілевого виправлення артефактів візуалізуються нижче (нижче = краще).

Не можливо глибоко зануритися у деталі результатів, отриманих у дослідженні, оскільки висновки дослідників розділені між метою оцінки артефактів JPEG та новими методами для пом’якшення цього; навчання було повторено за якістю над багатьма наборами даних; і завдання включали кілька цілей, таких як виявлення об’єктів, сегментація та класифікація. По суті, новий звіт позиціонує себе як повну роботу щодо посилання, що адресує кілька питань.

Незважаючи на це, документ загалом висновує, що “стиснення JPEG має круту пенальті по всьому діапазону для сильного та помірного стиснення”. Він також стверджує, що його нові методи без позначок досягають кращих результатів серед інших подібних підходів; що для складних завдань кероване методом дослідників також перевершує своїх однолітків, незважаючи на відсутність доступу до міток справжніх даних; і що ці нові методи дозволяють повторно використовувати моделі, оскільки отримані ваги переносяться між завданнями.

У термінах завдань класифікації документ явно заявляє, що “JPEG погіршує якість градієнта, а також викликає помилки локалізації”.

Автори сподіваються розширити майбутні дослідження, щоб охопити інші методи стиснення, такі як в основному зневажений JPEG 2000, а також WebP, HEIF та BPG. Вони також пропонують, що їхню методологію можна застосувати до аналогічних досліджень щодо алгоритмів стиснення відео.

Оскільки метод цілевого виправлення артефактів виявився如此 успішним у дослідженні, автори також сигналізують про намір випустити ваги, натреновані під час проекту, передбачаючи, що “[багато] застосування будуть користуватися нашими вагами TTAC без жодних змін.”

n.b. Джерело зображення для статті походять з thispersondoesnotexist.com