Pixelmator розширює можливості своїх користувачів завдяки інструменту супер-роздільності, керованому штучним інтелектом

Pixelmator недавно дозволив власникам Pixelmator Pro, програми для маніпулювання фотографіями, використовувати інструмент супер-роздільності, керований штучним інтелектом.

Супер-роздільність дозволяє підвищити роздільність розмитих, низькочастотних фотографій. Технологія супер-роздільності здатна різко підвищити якість зображень, часто викликаючи ефект «підвищення» зображення, який часто зустрічається в детективах. Pixelmator недавно оголосив про включення інструменту «ML Super Resolution» до професійної версії своєї програми для редагування фотографій. Демонстрація деяких результатів можна побачити тут.

Перші тести інструменту показали, що він здатний зменшити розмитість у різних типах зображень, включаючи текст, фотографії та ілюстрації. За даними The Verge, результати, створені програмою, також здаються кращими, ніж інші інструменти підвищення роздільності зображень, які часто використовують алгоритми, такі як сусіди та білінійні алгоритми.

Дослідження супер-роздільності проводяться різними технологічними компаніями, такими як Google (GOOGL ), Microsoft (MSFT ) та Nvidia. Багато компаній розробили свої власні алгоритми супер-роздільності, але метод навчання різних пристроїв супер-роздільності використовує ті ж основні принципи.

ML Super Resolution та інші інструменти супер-роздільності навчаються за допомогою пар низькочастотних та високочастотних зображень. Низькочастотні зображення зазвичай є просто зменшеними версіями звичайних високочастотних зображень. Порівняння проводяться між низькочастотними та високочастотними зображеннями, а алгоритми машинного навчання вчаться розрізняти закономірності пікселів у високочастотних зображеннях, які відрізняються від низькочастотних зображень. Метою є те, щоб нейронні мережі навчилися розрізняти закономірності пікселів, які призведуть до зображення з вищою роздільністю. Потім вони можуть використовувати ці закономірності різниць для передбачення, де додати пікселі до зображення для підвищення роздільності, коли їм надається невидане зображення.

Застосування супер-роздільності можна створити за допомогою різних методів. Наприклад, один із методів супер-роздільності полягає у використанні генеративних суперницьких мереж (GANs). GANs насправді являють собою дві нейронні мережі, які борються одна з одною, запозичуючи концепції з теорії ігор, такі як нульова сума та модель актора-критика. По суті, робота однієї нейронної мережі полягає у створенні фальшивих зображень, а робота іншої мережі полягає у виявленні цих фальшивих зображень. Мережа, яка створює фальшивки, називається генератором, а мережа, яка виявляє їх, називається дискримінатором.

У випадку інструменту супер-роздільності Pixelmator був створений卷ковий нейронний мереж, який також реалізував блок «розширення», який підвищує роздільність зображення після того, як 29卷кових шарів сканують зображення. Розширений масив зображення потім обробляється та перетворюється назад у традиційне зображення з покращеною роздільністю. Мережа також містить функції, які знижують шум зображення та справляються з артефактами стиснення, щоб ці аспекти зображення не підвищувалися. Алгоритми Pixelmator значно менші, ніж алгоритми, використовувані в дослідницьких умовах, щоб вони могли бути включені до програми Pixelmator Pro та запускатися на різних пристроях. Навчальний набір даних досить малий порівняно з іншими наборами даних, використовуваними для подібних застосунків, лише 15000 зразків були використані для навчання алгоритмів.

За даними The Verge, існують інші інструменти супер-роздільності, доступні для використання споживачами. Наприклад, Adobe (ADBE ) також має свій власний інструмент супер-роздільності у своєму наборі програм Adobe Camera, але інструмент Pixelmator здається тим, який створює найбільш якісні зображення.