Pixelmator предлагает своим пользователям суперразрешение, управляемое искусственным интеллектом

Pixelmator недавно позволил владельцам Pixelmator Pro, приложения для обработки фотографий, использовать инструмент сверхвысокого разрешения на основе искусственного интеллекта.

Супер-разрешение позволяет улучшать размытые фотографии с низким разрешением и улучшать разрешение изображения. Технология сверхвысокого разрешения способна повышать резкость изображений до впечатляющего эффекта, часто напоминая «улучшающий» образ, который часто можно увидеть в криминальных сериалах. Pixelmator недавно объявил о включении своего инструмента «ML Super Resolution» в версию Pro своего программного обеспечения для редактирования фотографий. Демонстрацию Pixelmator некоторых результатов можно увидеть здесь.

Ранние тесты инструмента показали, что он способен уменьшать размытость различных типов изображений, включая текст, фотографии и иллюстрации. Как сообщает The Verge, результаты, созданные программой, также кажутся лучше, чем другие инструменты масштабирования изображения, которые часто используют такие алгоритмы, как ближайшие соседи и билинейные алгоритмы.

Исследования, проводимые в области сверхвысокого разрешения, проводились различными технологическими компаниями, такими как Google, Microsoft и Nvidia. Несколько компаний разработали свои собственные алгоритмы сверхвысокого разрешения, но метод, используемый для обучения различных устройств сверхвысокого разрешения, использует одни и те же основные принципы.

ML Super Разрешение и другие инструменты сверхвысокого разрешения обучаются с использованием пар изображений с низким и высоким разрешением. Изображения с низким разрешением обычно представляют собой уменьшенные версии обычных изображений с высоким разрешением. Проводятся сравнения изображений с низким и высоким разрешением, а алгоритмы машинного обучения изучают, чем области пикселей в изображениях с высоким разрешением отличаются от изображений с низким разрешением. Цель состоит в том, чтобы нейронные сети научились различать шаблоны пикселей, которые приведут к созданию изображения с более высоким разрешением. Затем он может использовать эти закономерности различий, чтобы предсказать, где добавить пиксели к изображению, чтобы улучшить разрешение, когда оно представлено невидимым изображением.

Приложения сверхвысокого разрешения можно создавать различными способами. Например, один метод сверхвысокого разрешения является использование Генеративные состязательные сети (GAN). GAN на самом деле представляют собой две нейронные сети, противопоставленные друг другу, заимствующие концепции из теории игр, такие как игра с нулевой суммой и модель актер-критик. По сути, задача одной нейронной сети — создавать поддельные изображения, а задача другой сети — обнаруживать эти поддельные изображения. Сеть, которая создает подделки, называется генератором, а сеть, которая их обнаруживает, — дискриминатором.

В случае инструмента Pixelmator Super-Resolution, создана сверточная нейронная сеть в нем также реализован блок «увеличения», который масштабирует изображение после того, как 29 сверточных слоев сканируют изображение. Затем увеличенный массив изображений подвергается постобработке и преобразуется обратно в традиционное изображение с улучшенным разрешением. Сеть также содержит функции, которые удаляют шум из изображения и работают с артефактами сжатия, чтобы эти аспекты изображения не масштабировались. Алгоритмы Pixelmator намного меньше, чем алгоритмы, используемые в исследовательских целях, поэтому их можно включить в приложение Pixelmator Pro и запустить на различных устройствах. Набор обучающих данных довольно мал по сравнению с другими наборами данных, используемыми для аналогичных приложений, для обучения алгоритмов было использовано всего 15000 выборок.

Согласно The Verge, есть и другие инструменты сверхвысокого разрешения, доступные для использования потребителями. Например, Adobe также имеет свой собственный инструмент сверхвысокого разрешения в своем пакете Adobe Camera, но инструмент Pixelmator, похоже, создает наиболее стабильно высококачественные изображения.