Зменшення високих роздільностей зображень за допомогою машинного навчання

Нові дослідження з Великої Британії запропонували покращений метод машинного навчання для зміни розміру зображень, заснований на сприйманій вартості різних частин змісту зображення, а не на безрозбірному зменшенні розміру (і, отже, якості та витягуваних ознак) для всіх пікселів у зображенні.

Як частина зростаючого інтересу до систем стиснення, керованих ІІ, це підхід, який може в кінцевому підсумку сформувати нові кодеки для загального стиснення зображень, хоча робота мотивована медичними зображеннями, де довільне зменшення високих роздільностей медичних зображень може привести до втрати життєво важливої інформації.

Представницька архітектура нової системи. Модуль деформації міжпросторового типу створює карту деформації, яка відповідає областям інтересу в зображенні. Густота та напрямок червоних крапок вказують на ці області. Карта використовується не тільки для зменшення розміру, але й для реконструкції основних областей інтересу, коли вміст зображення неоднорідно збільшується на іншому боці процесу навчання. Джерело: https://arxiv.org/pdf/2109.11071.pdf

Система застосовує семантичну сегментацію до зображень – широкі блоки, представлені як кольорові блоки в зображенні вище, що охоплюють визнані сутності всередині зображення, такі як ‘дорога’, ‘велосипед’, ‘порочнина’ тощо. Розташування карт семантичної сегментації потім використовується для розрахунку тих частин фотографії, які не повинні бути надмірно зменшені.

Назва Навчання зменшення розміру для сегментації зображень надвисокої роздільності, нова стаття є спільною роботою дослідників з Центру медичної інформатики університету Коледжу Лондона та дослідників відділу Healthcare Intelligence компанії Microsoft у Кембриджі.

Світ комп’ютерного бачення з відносно низькою роздільністю

Навчання систем комп’ютерного бачення суттєво обмежене можливостями графічних процесорів. Набори даних можуть містити тисячі зображень, з яких потрібно витягувати ознаки, але навіть промислові графічні процесори часто мають обмеження у 24 ГБ оперативної пам’яті, при цьому тривають нестачі, що впливають на доступність і вартість.

Це означає, що дані потрібно подавати через обмежені тензорні ядра графічного процесора у керованих партіях, з 8-16 зображеннями, типовими для багатьох робочих процесів комп’ютерного бачення.

Є небагато очевидних рішень: навіть якщо оперативна пам’ять була б необмеженою, а архітектури процесорів могли б забезпечити такий рівень пропускної здатності від графічного процесора без формування архітектурної瓶ляки, дуже великі розміри партій будуть схильні виводити високорівневі ознаки за рахунок більш детальних перетворень, які можуть бути критичними для корисності кінцевого алгоритму.

Збільшення роздільності вхідних зображень означатиме, що потрібно використовувати менші розміри партій, щоб помістити дані у “латентному просторі” графічного процесора. Це, в свою чергу, ймовірно призведе до створення моделі, яка є “ексцентричною” та надмірно підігнаною.

Додавання додаткових графічних процесорів також не допомагає, принаймні у найбільш поширених архітектурах: хоча налаштування з кількома графічними процесорами можуть прискорити час навчання, вони також можуть компрометувати цілісність результатів навчання, як дві сусідні фабрики, які працюють над одним і тим же продуктом, маючи лише телефонну лінію для координації їхніх зусиль.

Інтелектуально зменшені зображення

Що залишається, так це те, що найрелевантніші частини типового зображення для набору даних комп’ютерного бачення могли б, за допомогою нового методу, бути збережені цілісними під час автоматичного зменшення розміру, яке відбувається, коли дуже високі роздільності зображень потрібно зменшити, щоб вони помістилися у трубопровід машинного навчання.

Це є окремим викликом для проблеми втратних артефактів у наборах даних машинного навчання, де якість втрачена у автоматизованих трубопроводах зменшення розміру, оскільки кодек стиснення відкидає занадто багато (зазвичай невідновлюваної) інформації.

Натомість у цьому випадку навіть збереження у форматі зображення без втрат (такому як PNG з стисненням LZW) не може відновити інформацію, яка генерично викидається при зменшенні розміру (наприклад) магнітно-резонансної томографії (МРТ) з часто рекордними розмірами до більш правдоподібного типового розміру 256×256 або 512×512 пікселів.

Ще гірше, залежно від вимог框ки, чорні рамки часто додаються до прямокутних вихідних зображень як звичайна задача обробки даних, щоб створити дійсно квадратний формат вводу для обробки нейронної мережі, ще більше зменшуючи доступний простір для потенційно критичної інформації.

Дослідники з UCL та Microsoft замість цього пропонують зробити процес зменшення розміру більш інтелектуальним, ефективно використовуючи те, що завжди було загальною стадією у трубопроводі, щоб виділити області інтересу, передавши частину тлумачної відповідальності від системи машинного навчання, через яку зображення в кінцевому підсумку пройдуть.

Метод, який пропонують дослідники, покращує результат 2019 року (зображення нижче), який мав на меті подібні здобутки, зосереджуючи увагу на межах об’єктів.

З ‘Ефективної сегментації: Навчання зменшення розміру біля семантичних меж’, Марін та ін., 2019. Джерело: https://arxiv.org/pdf/1907.07156.pdf

Як зазначається у новій роботі, цей підхід припускає, що області інтересу збираються біля меж, тоді як приклади з медичних зображень, такі як анотовані регіони раку, залежать від вищого контексту та можуть з’являтися як легко-відкинуті деталі всередині більших областей у зображенні, а не біля країв.

Навчання зменшення розміру

Нова робота пропонує навчання зменшення розміру, яке називається модулем деформації, що спільно навчається з паралельним модулем сегментації та може бути інформованим про області інтересу, визначені семантичною сегментацією, та пріоритезувати їх під час процесу зменшення розміру.

Автори протестували систему на кількох популярних наборах даних, включаючи Cityscapes, DeepGlobe та місцевий набір даних гістології раку простати, ‘PCa-Histo’.

Три підходи: зліва, існуюче ‘уніформне’ зменшення розміру; посередині, підхід ‘оптимальної межі’ з паперу 2019 року; справа, архітектура нової системи, інформованої розпізнаванням сутностей у шарі семантичної сегментації.

Подібний підхід був спробований для класифікатора пропонованого у 2019 році, але автори поточної статті стверджують, що цей метод не достатньо регуляризує області акценту, потенційно пропускаючи життєво важливі області у контексті медичних зображень.

Результати

Модуль деформації у новій системі є малим卷невою нейронною мережею (CNN), тоді як шар сегментації є глибокою архітектурою CNN, яка використовує HRNetV2-W48. Сценічна мережа розбору (PSP-net) була використана як шар санітарного контролю для тестів CityScapes.

Використані раніше згадані набори даних були протестовані з новою рамкою, використовуючи уніформне перепробування (звичний метод), метод оптимальної межі з 2019 року та новий підхід, який використовує семантичну сегментацію.

Автори повідомляють, що новий метод показує ‘чітку перевагу у визначенні та розрізненні найбільш клінічно важливих класів’, з підвищенням точності на 15-20%. Вони далі спостерігають, що відстань між цими класами часто визначається як ‘поріг від здоров’я до раку’.

Аналіз перехрестного співвідношення класів по трьом методам: зліва, стандартне перепробування; посередині, оптимальна межа; і справа, новий підхід. CityScapes був зменшений до розміру 64 x 128, з PCaHisto зменшеним до 80 x 800, і DeepGlobe зменшеним до 300 пікселів квадратних.

Звіт стверджує, що їхній метод ‘може навчити стратегію зменшення розміру, краще зберегти інформацію та забезпечити краще узгодження.’, висновуючи, що нова рамка ‘може ефективно навчити, де “інвестувати” обмежений бюджет пікселів при зменшенні розміру, щоб досягти найбільшої загальної віддачі у точності сегментації’.

Основне зображення для цієї статті було взято з thispersondoesnotexist.com. Оновлено 3:35pm GMT+2 через текстову помилку.