Pixelmator přináší AI poháněnou super rozlišení svým uživatelům

Pixelmator nedávno umožnil majitelům Pixelmator Pro, aplikace pro manipulaci s fotografiemi, využívat nástroj super rozlišení poháněný umělou inteligencí.

Super rozlišení umožňuje rozostřeným, nízko-rozlišitelným fotografiím zlepšit rozlišení obrazu. Technologie super rozlišení je schopna ostřit obrázky do působivého efektu, často evokujícího „vylepšovací“ trope, který je často vidět v kriminálních pořadech. Pixelmator nedávno oznámil zahrnutí svého nástroje „ML Super Resolution“ do profesionální verze svého softwaru pro editaci fotografií. Demonstrační výsledky nástroje lze vidět zde.

Rané testy nástroje ukazují, že je schopen snížit rozostření v různých typech obrazů, včetně textu, fotografií a ilustrací. Podle serveru The Verge výsledky vytvořené programem také seem lepší než jiné nástroje pro zvětšení obrazu, které často využívají algoritmy jako Nearest Neighbors a Bilinear algoritmy.

Výzkum v oblasti super rozlišení byl poháněn různými technologickými společnostmi, jako jsou Google (GOOGL ), Microsoft (MSFT ) a Nvidia. Tyto společnosti navrhly své vlastní algoritmy super rozlišení, ale metoda používaná pro trénování různých zařízení super rozlišení používá stejné základní principy.

ML Super Resolution a další nástroje super rozlišení jsou trénovány pomocí párů nízko-rozlišitelných a vysok-rozlišitelných obrazů. Nízko-rozlišitelné obrázky jsou obvykle pouze zmenšené verze běžných, vysok-rozlišitelných obrazů. Mezi nízko-rozlišitelnými a vysok-rozlišitelnými obrázky jsou prováděny srovnání a algoritmy strojového učení se učí, jak se liší oblasti pixelů ve vysok-rozlišitelných obrazech od nízko-rozlišitelných obrazů. Cílem je, aby neuronové sítě naučily rozpoznávat vzory pixelů, které povedou k vyššímu rozlišení obrazu. Tyto vzory rozdílů lze pak použít k předpovědi, kde přidat pixely k obrazu, aby se zlepšilo rozlišení, když je předložen neznámý obraz.

Aplikace super rozlišení lze vytvářet pomocí různých metod. Například jedna metoda super rozlišení je použití Generative Adversarial Networks (GANs). GANs jsou ve skutečnosti dvě neuronové sítě, které jsou proti sobě,借用 koncepty z teorie her, jako je zero-sum hra a actor-critic model. Základní funkce jedné neuronové sítě je vytvářet falešné obrázky, zatímco funkce druhé sítě je detekovat tyto falešné obrázky. Síť, která vytváří falešné obrázky, se nazývá generátor, zatímco síť, která je detekuje, se nazývá diskriminátor.

V případě nástroje Pixelmator Super-Resolution byl vytvořen konvoluční neuronový réseau, který také implementoval „enlarge“ blok, který zvětší obraz po 29 konvolučních vrstvách, které procházejí obrazem. Zvětšený obrazový pole je pak post-procesováno a transformováno zpět do tradičního obrazu s vylepšeným rozlišením. Síť také obsahuje funkce, které odstraňují šum z obrazu a řeší kompresní artefakty, aby tyto aspekty obrazu nebyly zvětšeny. Algoritmy Pixelmator jsou mnohem menší než algoritmy používané ve výzkumných prostředích, aby mohly být zahrnuty do aplikace Pixelmator Pro a spouštět se na různých zařízeních. Trénovací dataset je poměrně malý ve srovnání s jinými datovými sadami používanými pro podobné aplikace, pouze 15000 vzorků bylo použito pro trénování algoritmů.

Podle serveru The Verge existují další nástroje super rozlišení dostupné pro spotřebitele. Například Adobe (ADBE ) také má svůj vlastní nástroj super rozlišení ve své aplikaci Adobe Camera, ale nástroj Pixelmator parece produkovat nejvíce konzistentně vysoké kvality obrázků.