Pixelmator Brings AI-Driven Super Resolution To Its Users

Pixelmator недавно предоставил владельцам Pixelmator Pro, приложения для манипуляции фотографиями, возможность использовать инструмент супер-разрешения, работающий на основе ИИ.

Супер-разрешение позволяет улучшать размытые, низкокачественные фотографии и повышать разрешение изображения. Технология супер-разрешения может значительно улучшать изображения, часто вызывая троп “улучшения”, который часто встречается в криминальных шоу. Pixelmator недавно объявил о включении инструмента “ML Super Resolution” в профессиональную версию своего программного обеспечения для редактирования фотографий. Демонстрация некоторых результатов от Pixelmator можно увидеть здесь.

Ранние тесты инструмента показывают, что он может уменьшить размытие в различных типах изображений, включая текст, фотографии и иллюстрации. Как сообщает The Verge, результаты, созданные программой, также似乎 лучше, чем другие инструменты для масштабирования изображений, которые часто используют алгоритмы, такие как Nearest Neighbors и Bilinear алгоритмы.

Исследования в области супер-разрешения проводились различными технологическими компаниями, такими как Google, Microsoft и Nvidia. Несколько компаний разработали свои собственные алгоритмы супер-разрешения, но метод, используемый для обучения устройств супер-разрешения, использует одни и те же основные принципы.

ML Super Resolution и другие инструменты супер-разрешения обучаются с помощью пар низкокачественных и высококачественных изображений. Низкокачественные изображения обычно являются просто уменьшенными версиями обычных высококачественных изображений. Сравнения проводятся между низкокачественными и высококачественными изображениями, и алгоритмы машинного обучения учатся, как области пикселей в высококачественных изображениях отличаются от низкокачественных изображений. Цель состоит в том, чтобы нейронные сети научились распознавать закономерности пикселей, которые приведут к изображению с более высоким разрешением. Затем он может использовать эти закономерности различий, чтобы предсказать, где добавить пиксели к изображению, чтобы улучшить разрешение, когда оно представлено с незнакомым изображением.

Приложения супер-разрешения можно создавать с помощью различных методов. Например, один из методов супер-разрешения – это использование Generative Adversarial Networks (GANs). GANs на самом деле являются двумя нейронными сетями, которые противопоставлены друг другу, заимствуя концепции из теории игр, такие как нулевая сумма игры и модель актера-критика. По сути, одна нейронная сеть создает фальшивые изображения, а другая сеть обнаруживает эти фальшивые изображения. Сеть, которая создает фальшивки, называется генератором, а сеть, которая обнаруживает их, – дискриминатором.

В случае инструмента супер-разрешения Pixelmator была создана сверточная нейронная сеть, которая также реализовала блок “увеличить”, который масштабирует изображение после того, как 29 сверточных слоев сканируют изображение. Увеличенный массив изображения затем постобработан и преобразован обратно в традиционное изображение с улучшенным разрешением. Сеть также содержит функции, которые удаляют шум из изображения и устраняют артефакты сжатия, чтобы эти аспекты изображения не были масштабированы. Алгоритмы Pixelmator намного меньше, чем алгоритмы, используемые в исследовательских условиях, чтобы они могли быть включены в приложение Pixelmator Pro и работать на различных устройствах. Набор данных для обучения довольно мал по сравнению с другими наборами данных, используемыми для подобных приложений, было использовано только 15000 образцов для обучения алгоритмов.

Согласно The Verge, есть другие инструменты супер-разрешения, доступные для использования потребителями. Например, Adobe также имеет свой собственный инструмент супер-разрешения в своем пакете Adobe Camera, но инструмент Pixelmator似乎 производит наиболее последовательно высококачественные изображения.