AI Model Může Zobrazit Rozmazané Obrázky A Zvýšit Rozlišení O 60 Násobek

Vědci z Duke University vyvinuli model AI, který je schopen převzít vysoce rozmazané, pixelové obrázky a vykreslit je s vysokými detaily. Podle TechXplore je model schopen převzít relativně málo pixelů a zvětšit obrázky, aby vytvořil realisticky vypadající tváře, které jsou přibližně 64krát větší než rozlišení původního obrázku. Model halucinuje, nebo si představuje, funkce, které jsou mezi řádky původního obrázku.

Tento výzkum je příkladem super-rozlišení. Jak Cynthia Rudin z týmu počítačové vědy Duke University vysvětla, tento výzkumný projekt stanoví rekord pro super-rozlišení, protože nikdy předtím nebyly vytvořeny obrázky s takovým množstvím detailů z tak malého vzorku počátečních pixelů. Vědci byli opatrní, aby zdůraznili, že model vlastně nezopakoval tvář osoby na původním, nízkokvalitním obrázku. Místo toho vytváří nové tváře, doplňující detaily, které tam předtím nebyly. Z tohoto důvodu by model nemohl být použit pro něco jako bezpečnostní systémy, protože by nebyl schopen vytvořit z rozmazaných obrázků obrázky skutečné osoby.

Tradiční techniky super-rozlišení fungují tak, že dělají odhady o tom, které pixely jsou potřebné k tomu, aby se obrázek stal vysoce rozlišeným obrázkem, na základě obrázků, které model naučil dříve. Protože přidávané pixely jsou výsledkem odhadů, ne všechny pixely budou odpovídat okolním pixelům a některé oblasti obrázku mohou vypadat rozmazané nebo zkreslené. Vědci z Duke University použili jiný způsob školení svého modelu AI. Model vytvořený Duke vědci funguje tak, že nejprve přebírá nízkorozlišené obrázky a přidává detaily k obrázku postupně, odkazuje na vysoce rozlišené AI-generované tváře jako příklady. Model odkazuje na AI-generované tváře a snaží se najít ty, které připomínají cílové obrázky, když jsou generované tváře zmenšeny na velikost cílového obrázku.

Tým výzkumu vytvořil model Generative Adversarial Network pro zpracování vytváření nových obrázků. GAN jsou ve skutečnosti dva neuronové sítě, které jsou obě trénovány na stejném datasetu a soupeří proti sobě. Jedna síť je zodpovědná za generování falešných obrázků, které napodobují skutečné obrázky v tréninkovém datasetu, zatímco druhá síť je zodpovědná za detekci falešných obrázků od skutečných. První síť je informována, když její obrázky jsou identifikovány jako falešné, a zlepšuje se, dokud falešné obrázky nejsou doufámě nezjistitelné od skutečných.

Vědci nazvali svůj model super-rozlišení PULSE, a model konzistentně produkuje vysoce kvalitní obrázky, i když jsou mu dány obrázky tak rozmazané, že jiné metody super-rozlišení nemohou vytvořit vysoce kvalitní obrázky z nich. Model je dokonce schopen vytvářet realisticky vypadající tváře z obrázků, kde jsou rysy obličeje téměř nerozeznatelné. Například, když je mu dán obrázek tváře s rozlišením 16×16, může vytvořit obrázek 1024 x 1024. Více než milion pixelů je přidáno během tohoto procesu, doplňující detaily, jako jsou vlasy, vrásky a dokonce osvětlení. Když měli lidé ohodnotit 1440 PULSE generovaných obrázků proti obrázkům generovaným jinými technikami super-rozlišení, obrázky generované PULSE konzistentně získaly nejlepší hodnocení.

Zatímco vědci použili svůj model na obrázkách lidských tváří, stejné techniky, které použili, by mohly být aplikovány na téměř jakýkoli objekt. Nízkorozlišené obrázky různých objektů by mohly být použity k vytvoření vysoce rozlišených obrázků té sady objektů, otevírající možné aplikace pro různé odvětví a obory, od mikroskopie, satelitního zobrazování, vzdělávání, výroby a medicíny.