Pixelmator предлагает своим пользователям суперразрешение, управляемое искусственным интеллектом

Pixelmator недавно позволил владельцам Pixelmator Pro, приложения для обработки фотографий, использовать инструмент сверхвысокого разрешения на основе искусственного интеллекта.

Суперразрешение позволяет улучшить качество размытых фотографий с низким разрешением и повысить разрешение изображения. Технология суперразрешения способна впечатляюще повышать резкость изображений, часто вызывая в памяти образ «улучшения», часто встречающийся в криминальных сериалах. Компания Pixelmator недавно объявила о включении инструмента «ML Super Resolution» в Pro-версию своего фоторедактора. Демонстрацию некоторых результатов Pixelmator можно увидеть здесь.

Ранние тесты инструмента показали, что он способен уменьшать размытость различных типов изображений, включая текст, фотографии и иллюстрации. Как сообщает The Verge, результаты, созданные программой, также кажутся лучше, чем другие инструменты масштабирования изображения, которые часто используют такие алгоритмы, как ближайшие соседи и билинейные алгоритмы.

Исследования, проводимые в области сверхвысокого разрешения, проводились различными технологическими компаниями, такими как Google, Microsoft и Nvidia. Несколько компаний разработали свои собственные алгоритмы сверхвысокого разрешения, но метод, используемый для обучения различных устройств сверхвысокого разрешения, использует одни и те же основные принципы.

ML Super Разрешение и другие инструменты сверхвысокого разрешения обучаются с использованием пар изображений с низким и высоким разрешением. Изображения с низким разрешением обычно представляют собой уменьшенные версии обычных изображений с высоким разрешением. Проводятся сравнения изображений с низким и высоким разрешением, а алгоритмы машинного обучения изучают, чем области пикселей в изображениях с высоким разрешением отличаются от изображений с низким разрешением. Цель состоит в том, чтобы нейронные сети научились различать шаблоны пикселей, которые приведут к созданию изображения с более высоким разрешением. Затем он может использовать эти закономерности различий, чтобы предсказать, где добавить пиксели к изображению, чтобы улучшить разрешение, когда оно представлено невидимым изображением.

Приложения сверхвысокого разрешения можно создавать различными способами. Например, один метод сверхвысокого разрешения является использование Генеративные состязательные сети (GAN). GAN на самом деле представляют собой две нейронные сети, противопоставленные друг другу, заимствующие концепции из теории игр, такие как игра с нулевой суммой и модель актер-критик. По сути, задача одной нейронной сети — создавать поддельные изображения, а задача другой сети — обнаруживать эти поддельные изображения. Сеть, которая создает подделки, называется генератором, а сеть, которая их обнаруживает, — дискриминатором.

В случае инструмента Pixelmator Super-Resolution была создана сверточная нейронная сеть, которая также реализовала блок «увеличения», который увеличивает изображение после того, как 29 сверточных слоев сканируют изображение. Затем массив увеличенного изображения подвергается постобработке и преобразуется обратно в традиционное изображение с улучшенным разрешением. Сеть также содержит функции, которые удаляют шумы из изображения и работают с артефактами сжатия, так что эти аспекты изображения не увеличиваются. Алгоритмы Pixelmator намного меньше алгоритмов, используемых в исследовательских настройках, чтобы их можно было включить в приложение Pixelmator Pro и запускать на различных устройствах. Обучающий набор данных довольно мал по сравнению с другими наборами данных, используемыми для аналогичных приложений, для обучения алгоритмов было использовано всего 15000 образцов.

По данным The Verge, существуют и другие инструменты для работы с суперразрешением, доступные потребителям. Например, у Adobe также есть собственный инструмент для работы с суперразрешением в пакете Adobe Camera, но инструмент Pixelmator, по всей видимости, обеспечивает наиболее стабильно высокое качество изображений.