Pixelmator 将 AI 驱动的超分辨率技术带给其用户

Pixelmator最近使Pixelmator Pro的所有者能够使用由AI驱动的超分辨率工具。该工具可以增强模糊、低分辨率的照片，并提高图像的分辨率。超分辨率技术可以将图像锐化到令人印象深刻的程度，常常唤起人们在犯罪剧中看到的“增强”特技。Pixelmator最近宣布在其照片编辑软件的Pro版本中加入了“ML Super Resolution”工具。Pixelmator的演示可以在这里看到。

对该工具的早期测试显示，它可以减少多种类型图像中的模糊，包括文本、照片和插图。根据The Verge的报道，该程序创建的结果似乎比其他图像放大工具更好，后者通常使用诸如Nearest Neighbors和Bilinear算法等算法。

对超分辨率的研究已由多家科技公司如Google、Microsoft和Nvidia推动。多家公司设计了自己的超分辨率算法，但用于训练不同超分辨率设备的方法使用相同的基本原理。

ML Super Resolution和其他超分辨率工具使用低分辨率和高分辨率图像对进行训练。低分辨率图像通常是正常高分辨率图像的缩小版本。比较低分辨率和高分辨率图像，机器学习算法学习高分辨率图像中的像素区域与低分辨率图像中的像素区域有何不同。目标是神经网络学习可以导致更高分辨率图像的像素模式。然后，它可以使用这些差异模式来预测何时向图像添加像素以提高分辨率，当它面对未见过的图像时。

超分辨率应用可以使用多种方法创建。例如，使用生成对抗网络（GANs）是一种超分辨率方法。GANs实际上是两个相互对抗的神经网络，借鉴了游戏理论中的零和游戏和演员-评论家模型的概念。基本上，一个神经网络的任务是创建假图像，而另一个网络的任务是检测这些假图像。创建假图像的网络称为生成器，而检测它们的网络称为判别器。

在Pixelmator的超分辨率工具的情况下，创建了一个也实现了“放大”块的卷积神经网络，该块在29个卷积层扫描图像后将图像放大。放大后的图像数组然后进行后处理并转换回具有提高分辨率的传统图像。该网络还包含去噪图像和处理压缩伪影的功能，以便这些图像方面不会被放大。Pixelmator的算法比研究环境中使用的算法要小得多，以便它们可以包含在Pixelmator Pro应用程序中，并在各种设备上运行。训练数据集与其他用于类似应用的数据集相比相当小，只使用了15000个样本来训练算法。

根据The Verge的报道，其他超分辨率工具可供消费者使用。例如，Adobe也在其Adobe Camera套件中拥有自己的超分辨率工具，但Pixelmator的工具似乎能够产生最一致的高质量图像。