Model AI może pobierać rozmyte obrazy i zwiększać rozdzielczość o 60 razy

Naukowcy z Uniwersytetu Duke opracowali model AI, który jest w stanie pobierać bardzo rozmyte, pikselowane obrazy i renderować je z wysokim szczegółem. Według TechXplore, model jest w stanie pobierać stosunkowo niewiele pikseli i skalować obrazy, tworząc realistycznie wyglądające twarze, które są około 64 razy większe niż oryginalny obraz. Model “halucynuje” lub wyobraża sobie cechy, które znajdują się między liniami oryginalnego obrazu.

Badanie jest przykładem super-rozdzielczości. Jak wyjaśniła Cynthia Rudin z zespołu informatycznego Uniwersytetu Duke w rozmowie z TechXplore, ten projekt badawczy ustanawia rekord w super-rozdzielczości, ponieważ nigdy wcześniej obrazy nie były tworzone z takim poziomem szczegółów z tak małej próbki pikseli startowych. Naukowcy starali się podkreślić, że model nie odtwarza twarzy osoby z oryginalnego, niskiej jakości obrazu. Zamiast tego, generuje nowe twarze, wypełniając szczegóły, które nie były tam wcześniej. Z tego powodu model nie mógłby być użyty do czegoś takiego jak systemy bezpieczeństwa, ponieważ nie byłby w stanie przekształcić rozmytych obrazów w obrazy rzeczywistej osoby.

Tradycyjne techniki super-rozdzielczości działają przez podejmowanie prób, aby określić, które piksele są potrzebne do przekształcenia obrazu w obraz o wysokiej rozdzielczości, na podstawie obrazów, które model nauczył się wcześniej. Ponieważ dodane piksele są wynikiem prób, nie wszystkie piksele będą pasować do otaczających pikseli, a pewne regiony obrazu mogą wyglądać mgliście lub zniekształcone. Naukowcy z Uniwersytetu Duke użyli innego sposobu szkolenia swojego modelu AI. Model stworzony przez naukowców z Duke działa przez pobieranie najpierw niskiej rozdzielczości obrazów i dodawanie szczegółów do obrazu w czasie, odwołując się do wysokiej rozdzielczości AI wygenerowanych twarzy jako przykładów. Model odnosi się do AI wygenerowanych twarzy i próbuje znaleźć takie, które przypominają obiektywne obrazy, gdy wygenerowane twarze są skalowane w dół do rozmiaru obiektywnego obrazu.

Zespół badawczy stworzył model Generative Adversarial Network, aby obsłużyć tworzenie nowych obrazów. GAN to tak naprawdę dwie sieci neuronowe, które są szkolone na tym samym zbiorze danych i rywalizują ze sobą. Jedna sieć jest odpowiedzialna za generowanie fałszywych obrazów, które naśladują rzeczywiste obrazy w zbiorze szkoleniowym, podczas gdy druga sieć jest odpowiedzialna za wykrywanie fałszywych obrazów od prawdziwych. Pierwsza sieć jest powiadamiana, gdy jej obrazy zostały zidentyfikowane jako fałszywe, i poprawia się, aż fałszywe obrazy są nadzieję nie do odróżnienia od prawdziwych.

Naukowcy nazwali swój model super-rozdzielczości PULSE, i model konsekwentnie wytwarza obrazy o wysokiej jakości, nawet jeśli otrzyma obrazy tak rozmyte, że inne metody super-rozdzielczości nie mogą wytworzyć obrazów o wysokiej jakości z nich. Model jest nawet w stanie tworzyć realistycznie wyglądające twarze z obrazów, gdzie cechy twarzy są prawie niewidoczne. Na przykład, gdy otrzyma obraz twarzy o rozdzielczości 16×16, może utworzyć obraz 1024 x 1024. Ponad milion pikseli jest dodawanych podczas tego procesu, wypełniając szczegóły, takie jak pasma włosów, zmarszczki i nawet oświetlenie. Gdy naukowcy poprosili ludzi o ocenę 1440 obrazów wygenerowanych przez PULSE w porównaniu z obrazami wygenerowanymi przez inne techniki super-rozdzielczości, obrazy wygenerowane przez PULSE konsekwentnie uzyskały najlepsze oceny.

Chociaż naukowcy użyli swojego modelu na obrazach ludzkich twarzy, te same techniki, które używają, mogą być stosowane do niemal każdego obiektu. Obrazy niskiej rozdzielczości różnych obiektów mogą być użyte do tworzenia obrazów o wysokiej rozdzielczości tego samego zestawu obiektów, otwierając możliwości zastosowań w różnych branżach i dziedzinach, od mikroskopii, obrazowania satelitarnego, edukacji, produkcji i medycyny.