Уменьшение высокоразрешительных изображений с помощью машинного обучения

Новые исследования из Великобритании предложили улучшенный метод машинного обучения для изменения размера изображений, основанный на воспринимаемой ценности различных частей содержимого изображения, а не на бездискуссионном уменьшении размера (и, следовательно, качества и извлекаемых особенностей) для всех пикселей в изображении.

В рамках растущего интереса к системам сжатия, управляемым ИИ, это подход, который может в конечном итоге повлиять на новые кодеки для общего сжатия изображений, хотя работа мотивирована медицинской визуализацией, где произвольное уменьшение размера высокоразрешительных медицинских изображений может привести к потере спасающей жизни информации.

Представительная архитектура новой системы. Модуль деформации между слоями производит карту деформации, соответствующую областям интереса в изображении. Плотность и направление красных точек указывают на эти области. Карта используется не только для уменьшения размера, но и для восстановления областей основного интереса, когда содержимое изображения неравномерно масштабируется на другой стороне процесса обучения. Источник: https://arxiv.org/pdf/2109.11071.pdf

Система применяет семантическую сегментацию к изображениям – широкие блоки, представленные как цветные блоки в изображении выше, которые охватывают распознанные сущности внутри изображения, такие как ‘дорога’, ‘велосипед’, ‘порок’ и т. д. Расположение карт семантической сегментации затем используется для расчета того, какие части фотографии не должны быть чрезмерно уменьшены.

Названная Обучение уменьшению размера для сегментации сверхвысокоразрешительных изображений, новая статья является совместной работой исследователей из Центра медицинской визуализации Университетского колледжа Лондона и исследователей из отдела Healthcare Intelligence компании Microsoft в Кембридже.

Мир компьютерного зрения с относительно низким разрешением

Обучение систем компьютерного зрения существенно ограничено возможностями GPU. Наборы данных могут содержать многие тысячи изображений, из которых необходимо извлечь особенности, но даже промышленные GPU обычно достигают пика в 24 ГБ видеопамяти, с продолжающимися нехватками, влияющими на доступность и стоимость.

Это означает, что данные должны быть переданы через ограниченные тензорные ядра GPU в управляемых партиях, с 8-16 изображениями, типичными для многих рабочих процессов компьютерного зрения.

Не существует многих очевидных решений: даже если видеопамять была бы неограниченной и архитектуры ЦП могли бы обеспечить такой объем потока от GPU без формирования архитектурного узкого места, очень большие размеры партий будут иметь тенденцию получать высокоуровневые особенности за счет более детальных преобразований, которые могут быть критически важными для полезности окончательного алгоритма.

Увеличение разрешения входных изображений будет означать, что необходимо использовать меньшие размеры партий, чтобы поместить данные в «латентное пространство» GPU-обучения. Это, в свою очередь, вероятно, произведет модель, которая является «эксцентричной» и переобученной.

Добавление дополнительных GPU не помогает, по крайней мере, в наиболее распространенных архитектурах: хотя настройки с несколькими GPU могут ускорить время обучения, они также могут компрометировать целостность результатов обучения, как две соседние фабрики, работающие над одним и тем же продуктом, с только телефонной линией для координации их усилий.

Интеллектуально измененные изображения

Что остается, так это то, что наиболее актуальные разделы типичного изображения для набора данных компьютерного зрения могли, с помощью нового метода, быть сохранены целыми в автоматическом изменении размера, которое происходит, когда очень высокоразрешительные изображения должны быть уменьшены, чтобы поместиться в конвейер машинного обучения.

Это отдельная задача от проблемы потерянных артефактов в наборах данных компьютерного зрения, где качество теряется в автоматических конвейерах изменения размера, потому что кодек сжатия выбрасывает слишком много (обычно невосстановимой) информации.

Рather, в этом случае даже сохранение в формате изображения без потерь (таком как PNG с сжатием LZW) не может восстановить информацию, которая обычно выбрасывается при изменении размера (например) магнитно-резонансной томографии (МРТ) от часто рекордных размеров до более достоверного типичного разрешения 256×256 или 512×512 пикселей.

Чтобы сделать вещи хуже, в зависимости от требований框架, черные границы часто добавляются к прямоугольным исходным изображениям в качестве рутинной задачи обработки данных, чтобы произвести действительно квадратный формат ввода для нейронной сети, дальнейшее уменьшение доступного пространства для потенциально важных данных.

Исследователи из UCL и Microsoft вместо этого предлагают сделать процесс изменения размера более интеллектуальным, эффективно используя то, что всегда было генерическим этапом в конвейере, чтобы выделить области интереса, передавая часть интерпретативной нагрузки от системы машинного обучения, через которую изображения в конечном итоге пройдут.

Метод, утверждают исследователи, улучшает 2019 годе (изображение ниже), который стремился к аналогичным выгодам, фокусируя внимание на границах объектов.

Из ‘Эффективной сегментации: обучение уменьшению размера возле семантических границ’, Марин и др., 2019. Источник: https://arxiv.org/pdf/1907.07156.pdf

Как отмечается в новой работе, этот подход предполагает, что области интереса собираются на границах, тогда как примеры из медицинской визуализации, такие как аннотированные области рака, зависят от более высокого контекста и могут появляться как легко-выбрасываемые детали внутри более широких областей в изображении, а не на краях.

Обучаемый уменьшатель

Новые исследования предлагают обучаемый уменьшатель, называемый модулем деформации, который обучается совместно с параллельным модулем сегментации и может быть проинформирован о областях интереса, определенных семантической сегментацией, и отдавать им приоритет во время процесса уменьшения размера.

Авторы протестировали систему на нескольких популярных наборах данных, включая Cityscapes, DeepGlobe и локальный набор данных гистологии рака простаты, ‘PCa-Histo’.

Три подхода: слева, существующий ‘униформный’ уменьшатель; в середине, подход ‘оптимальной границы’ из статьи 2019 года; справа, архитектура новой системы, проинформированная распознаванием сущностей в слое семантической сегментации.

Аналогичный подход был попытан для классификатора предложенного в 2019 году, но авторы текущей статьи утверждают, что этот метод не достаточно регулирует области внимания, потенциально пропуская важные области в контексте медицинской визуализации.

Результаты

Модуль деформации в новой системе является небольшим сверточным нейронным сетью (CNN), в то время как слой сегментации является глубокой архитектурой CNN, использующей HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) был использован в качестве контрольного слоя для тестов CityScapes.

Упомянутые выше наборы данных были протестированы с новым фреймворком, используя униформальное ресэмплирование (обычный метод), метод оптимальной границы из 2019 года и новый подход, использующий семантическую сегментацию.

Авторы сообщают, что новый метод демонстрирует ‘ясное преимущество в определении и различении наиболее клинически важных классов’, с увеличением точности на 15-20%. Они также отмечают, что расстояние между этими классами часто определяется как ‘порог от здоровья к раку’.

Анализ пересечения и объединения классов по трем методам: слева, стандартное ресэмплирование; в середине, оптимальная граница; и справа, новый подход. CityScapes был уменьшен до 64 x 128, с PCaHisto до 80 x 800, и DeepGlobe до 300 пикселей квадратных.

Отчет гласит, что их метод ‘может научиться стратегии уменьшения размера, лучше сохранять информацию и обеспечивать лучший компромисс.’, делая вывод, что новый фреймворк ‘может эффективно научиться, где “инвестировать” ограниченный бюджет пикселей при уменьшении размера, чтобы достичь наивысшей общей доходности в точности сегментации’.

Основное изображение для этой статьи было получено с thispersondoesnotexist.com. Обновлено 3:35 вечера GMT+2 из-за ошибки текста.