Pixelmator Привносит ИИ-Управляемое Супер-Разрешение Для Своих Пользователей

Pixelmator недавно предоставил владельцам Pixelmator Pro, приложения для манипуляции с фотографиями, возможность использовать инструмент супер-разрешения, работающий на ИИ.

Супер-разрешение позволяет улучшить размытые, низкокачественные фотографии и повысить разрешение изображения. Технология супер-разрешения может значительно улучшить изображения, часто вызывая троп “улучшения”, часто встречающийся в криминальных шоу. Pixelmator недавно объявил о включении своего инструмента “ML Super Resolution” в профессиональную версию своего программного обеспечения для редактирования фотографий. Демонстрация некоторых результатов от Pixelmator можно увидеть здесь.

Ранние тесты инструмента показывают, что он может уменьшить размытие в различных типах изображений, включая текст, фотографии и иллюстрации. Как сообщает The Verge, результаты, созданные программой, также似乎 лучше, чем другие инструменты для увеличения изображений, которые часто используют алгоритмы, такие как Nearest Neighbors и Bilinear.

Исследования супер-разрешения были проведены различными технологическими компаниями, такими как Google (GOOGL ), Microsoft (MSFT ) и Nvidia. Несколько компаний разработали свои собственные алгоритмы супер-разрешения, но метод, используемый для обучения различным устройствам супер-разрешения, использует одни и те же основные принципы.

ML Super Resolution и другие инструменты супер-разрешения обучаются с помощью пар низкокачественных и высококачественных изображений. Низкокачественные изображения обычно являются просто уменьшенными версиями обычных высококачественных изображений. Сравнения проводятся между низкокачественными и высококачественными изображениями, и алгоритмы машинного обучения учатся различать области пикселей в высококачественных изображениях, которые отличаются от низкокачественных изображений. Цель состоит в том, чтобы нейронные сети научились распознавать закономерности пикселей, которые приведут к более высокому разрешению изображения. Затем они могут использовать эти закономерности различий, чтобы предсказать, где добавить пиксели к изображению, чтобы улучшить разрешение, когда им представлено незнакомое изображение.

Приложения супер-разрешения можно создать с помощью различных методов. Например, один из методов супер-разрешения – это использование генеративных состязательных сетей (GANs). GANs на самом деле представляют собой две нейронные сети, противостоящие друг другу, заимствующие концепции из теории игр, такие как нулевая сумма и модель актера-критика. По сути, одна нейронная сеть создает фальшивые изображения, а другая сеть обнаруживает эти фальшивые изображения. Сеть, которая создает фальшивки, называется генератором, а сеть, которая обнаруживает их, – дискриминатором.

В случае инструмента супер-разрешения Pixelmator была создана свёрточная нейронная сеть, которая также реализовала блок “увеличения”, который увеличивает изображение после 29 свёрточных слоев сканируют изображение. Увеличенный массив изображения затем постобработан и преобразован обратно в традиционное изображение с улучшенным разрешением. Сеть также содержит функции, которые удаляют шум из изображения и справляются с артефактами сжатия, чтобы эти аспекты изображения не увеличивались. Алгоритмы Pixelmator намного меньше, чем алгоритмы, используемые в исследовательских условиях, чтобы они могли быть включены в приложение Pixelmator Pro и запускаться на различных устройствах. Тренировочный набор данных довольно мал по сравнению с другими наборами данных, используемыми для подобных приложений, всего 15000 образцов были использованы для обучения алгоритмов.

Согласно The Verge, есть другие инструменты супер-разрешения, доступные для использования потребителями. Например, Adobe (ADBE ) также имеет свой собственный инструмент супер-разрешения в своей камере Adobe, но инструмент Pixelmator似乎 производит наиболее последовательно высококачественные изображения.