Model z umetno inteligenco lahko posname zamegljene slike in izboljša ločljivost za 60-krat

Raziskovalci z univerze Duke so razvili model umetne inteligence, ki lahko posname zelo zamegljene slike s slikovnimi pikami in jih upodablja z visokimi podrobnostmi.  Glede na TechXplore, je model sposoben vzeti relativno malo slikovnih pik in povečati slike, da ustvari realistične obraze, ki so približno 64-krat večji od ločljivosti izvirne slike. Model halucinira ali si predstavlja značilnosti, ki so med vrsticami izvirne slike.

Raziskava je primer super-ločljivosti. Kot Cynthia Rudin iz ekipe računalništva Univerze Duke pojasnil za TechXplore, ta raziskovalni projekt postavlja rekord v super ločljivosti, saj slike še nikoli doslej niso bile ustvarjene s tako močjo iz tako majhnega vzorca začetnih slikovnih pik. Raziskovalci so bili previdni pri poudarjanju, da model dejansko ne poustvari obraza osebe na izvirni sliki nizke kakovosti. Namesto tega ustvari nove obraze in zapolni podrobnosti, ki jih prej ni bilo. Iz tega razloga modela ni bilo mogoče uporabiti za nič podobnega varnostnim sistemom, saj ne bi mogel spremeniti izostrenih slik v slike resnične osebe.

Tradicionalne tehnike visoke ločljivosti delujejo tako, da ugibajo, katere slikovne pike so potrebne za pretvorbo slike v sliko visoke ločljivosti, na podlagi slik, za katere se je model predhodno seznanil. Ker so dodane slikovne pike rezultat ugibanja, se vse slikovne pike ne bodo ujemale z okoliškimi slikovnimi pikami in določena območja slike so lahko videti nejasna ali izkrivljena. Raziskovalci z univerze Duke so uporabili drugačno metodo usposabljanja svojega modela AI. Model, ki so ga ustvarili raziskovalci Duke, deluje tako, da najprej posname slike z nizko ločljivostjo in jim sčasoma doda podrobnosti, pri čemer kot primere navede obraze, ustvarjene z umetno inteligenco v visoki ločljivosti. Model se sklicuje na obraze, ustvarjene z umetno inteligenco, in poskuša najti tiste, ki so podobni ciljnim slikam, ko se ustvarjeni obrazi zmanjšajo na velikost ciljne slike.

Raziskovalna skupina je ustvarila model Generative Adversarial Network za ustvarjanje novih slik. GAN sta pravzaprav dve nevronski mreži, ki sta usposobljeni na istem naboru podatkov in se spopadata druga z drugo. Eno omrežje je odgovorno za ustvarjanje lažnih slik, ki posnemajo prave slike v naboru podatkov o usposabljanju, medtem ko je drugo omrežje odgovorno za odkrivanje lažnih slik od pristnih. Prvo omrežje je obveščeno, ko so njegove slike prepoznane kot lažne, in se izboljšuje, dokler lažnih slik, upamo, ni mogoče razlikovati od pristnih slik.

Raziskovalci so svoj model poimenovali super-ločljivost PULSE, in model dosledno proizvaja visokokakovostne slike, tudi če so slike tako zamegljene, da druge metode super ločljivosti ne morejo ustvariti visokokakovostnih slik iz njih. Model je celo sposoben ustvariti realistične obraze iz slik, kjer so poteze obraza skoraj nerazločljive. Na primer, če je podana slika obraza z ločljivostjo 16×16, lahko ustvari sliko 1024 x 1024. Med tem postopkom se doda več kot milijon slikovnih pik, ki zapolnijo podrobnosti, kot so prameni las, gube in celo osvetlitev. Ko so raziskovalci ljudje ocenili 1440 slik, ustvarjenih s PULSE, v primerjavi s slikami, ustvarjenimi z drugimi tehnikami visoke ločljivosti, so bile slike, ustvarjene s PULSE, dosledno najboljše.

Medtem ko so raziskovalci svoj model uporabili na slikah obrazov ljudi, bi iste tehnike, ki jih uporabljajo, lahko uporabili za skoraj vse predmete. Slike različnih predmetov z nizko ločljivostjo bi lahko uporabili za ustvarjanje slik visoke ločljivosti tega nabora predmetov, s čimer bi odprli možne aplikacije za različne industrije in področja od mikroskopije, satelitskih posnetkov, izobraževanja, proizvodnje in medicine.