Краща продуктивність машинного навчання завдяки технології зміни розміру зображення на основі CNN

Дослідники з Google запропонували новий метод підвищення ефективності та точності процесів навчання комп’ютерного бачення, заснованих на зображеннях, шляхом покращення методів зменшення розміру зображень на етапі попередньої обробки.

У статті «Learning to Resize Images for Computer Vision Tasks» дослідники Хоссейн Талебі та Пейман Міланфар використали卷неву нейронну мережу (CNN) для створення нової гібридної архітектури зміни розміру зображень, яка дає помітне покращення результатів розпізнавання над чотирма популярними наборами даних комп’ютерного бачення.

Пропонована спільна структура для розпізнавання та зміни розміру зображень. Джерело: https://arxiv.org/pdf/2103.09950.pdf

У статті зазначається, що методи зміни розміру зображень, які зараз використовуються в автоматизованих процесах машинного навчання, застарілі та часто використовують лише базові методи білінійної, бікубічної та найближчого сусіда інтерполяції зображень – методи, які обробляють всі пікселі однаково.

Натомість, пропонований метод розширює дані зображень за допомогою CNN та включає ці дані у зменшені зображення, які потім передаються через архітектуру моделі.

Обмеження зображень у навчанні штучного інтелекту

Для навчання моделі, яка працює з зображеннями, у рамках машинного навчання необхідно провести етап попередньої обробки, на якому різноманітні зображення різних розмірів, кольорових просторів та роздільностей (які будуть складати навчальний набір даних) систематично обрізаються та змінюють розмір до однакових розмірів та стабільного формату.

Зазвичай це включає певний компроміс щодо формату PNG, при якому встановлюється баланс між часом обробки/ресурсами, розміром файлу та якістю зображення.

У більшості випадків кінцеві розміри обробленого зображення дуже малі. Нижче ми бачимо приклад зображення розміром 80×80 пікселів, у якому були згенеровані деякі з перших наборів даних для створення deepfake:

Оскільки обличчя (та інші можливі об’єкти) рідко відповідають необхідній квадратній пропорції, можуть з’являтися чорні смуги (або дозволяється наявність не використаного простору) для уніфікації зображень, що ще більше зменшує фактичну корисну область зображення:

Тут обличчя було виділено з більшої області зображення до тих пір, поки воно не було обрізано найекономнішим чином, щоб включити всю область обличчя. Однак, як видно справа, велика частина залишиної області не буде використана під час навчання, що ще більше підкреслює важливість якості зменшених даних.

Оскільки можливості графічних процесорів покращились за останні роки, зокрема з появою нових поколінь карт NVIDIA з збільшеною кількістю відеопам’яті (VRAM), середній розмір зображень, які використовуються для навчання, починає збільшуватися, хоча розмір 224×224 пікселів все ще досить стандартний (наприклад, це розмір набору даних ResNet-50).

Незмінене зображення розміром 224×244 пікселів.

Підгонка пакетів у VRAM

Причина, через яку зображення повинні мати однаковий розмір, полягає в тому, що градієнтний спуск, метод, яким модель покращується з часом, вимагає уніфікованих навчальних даних.

Причина, через яку зображення повинні бути такими малими, полягає в тому, що вони повинні бути завантажені (повністю розстиснені) у VRAM під час навчання у малих пакетах, зазвичай по 6-24 зображення в пакет. Занадто мало зображень у пакеті, і немає достатньо матеріалу для узагальнення, крім того, це розтягує час навчання; занадто багато, і модель може не отримати необхідних характеристик та деталей (див. нижче).

Ця «живе завантаження» секція архітектури навчання називається латентним простором. Це місце, де особливості повторно витягуються з тих самих даних (тобто з тих самих зображень) до тих пір, поки модель не досягне стану, у якому вона має все узагальнені знання, необхідні для виконання перетворень над пізнішими, невидимими даними подібного типу.

Цей процес зазвичай триває дні, хоча іноді може тривати навіть місяць або більше постійного інтенсивного 24/7 «розмірковування», щоб досягти корисного узагальнення. Збільшення розміру VRAM корисне лише до певної межі, оскільки навіть незначні збільшення роздільності зображення можуть мати порядок-магнітудний ефект на обчислювальну потужність та пов’язані з цим ефекти на точність, які не завжди можуть бути сприятливими.

Використання збільшеної кількості VRAM для розміщення більших пакетів також є сумішшю благословення, оскільки більші швидкості навчання, отримані завдяки цьому, ймовірно, будуть компенсуватися менш точними результатами.

Отже, оскільки архітектура навчання так обмежена, будь-яка річ, яка може покращити результати у рамках існуючих обмежень конвеєра, є помітним досягненням.

Як краща зміна розміру допомагає

Остаточна якість зображення, яке буде включено до навчального набору даних, була доведена як чинник, який покращує результати навчання, особливо у завданнях розпізнавання об’єктів. У 2018 році дослідники з Інституту інтелектуальних систем імені Макса Планка ствердили, що вибір методу перепробування суттєво впливає на результати навчання та його ефективність.

Крім того, попередня робота Google (співавторами якої є автори нової статті) показала, що точність класифікації можна покращити, підтримуючи контроль над артефактами стиснення у зображеннях набору даних.

Архітектура CNN для запропонованого алгоритму зменшення розміру зображень Google Research.

Модель CNN, побудована у новому зменшиві, поєднує білінійне зменшення розміру з особливістю «skip connection», яка може включати вихід з навченої мережі у зменшене зображення.

На відміну від типової архітектури кодувача/декодувача, нова пропозиція може діяти не лише як прямий вузький місце, а й як обернене вузьке місце для збільшення до будь-якого цільового розміру та/або співвідношення сторін. Крім того, «стандартний» метод перепробування можна замінити будь-яким іншим підходящим традиційним методом, таким як Ланцос.

Деталі високої частоти

Новий метод створює зображення, які фактично «запікають» ключові особливості (які в кінцевому підсумку будуть розпізнані процесом навчання) прямо у джерельне зображення. З естетичної точки зору, результати є незвичайними:

Новий метод, застосований до чотирьох мереж: Inception V2; DenseNet-121; ResNet-50; і MobileNet-V2. Результати методу зменшення розміру зображень Google Research створюють зображення з очевидною агрегацією пікселів, що передчувають ключові особливості, які будуть розпізнані під час процесу навчання.

Дослідники зазначають, що ці початкові експерименти оптимізовані виключно для завдань розпізнавання зображень, і що під час тестів їхній CNN-підтримуваний «запам’ятований змінювач розміру» зміг досягти покращених показників похибок у таких завданнях. Дослідники планують у майбутньому застосувати цей метод до інших типів завдань комп’ютерного бачення, заснованих на зображеннях.