Modelul AI poate lua imagini blurate și poate îmbunătăți rezoluția de 60 de ori

Cercetătorii de la Universitatea Duke au dezvoltat un model AI capabil să ia imagini foarte blurate, pixelate și să le redea cu detalii de înaltă calitate. Conform TechXplore, modelul este capabil să ia un număr relativ mic de pixeli și să mărească imaginea pentru a crea fețe realiste care au o rezoluție de aproximativ 64 de ori mai mare decât imaginea originală. Modelul hallucinează, sau imaginează, caracteristici care se află între liniile imaginii originale.

Cercetarea este un exemplu de super-rezoluție. Așa cum a explicat Cynthia Rudin de la echipa de științe computaționale a Universității Duke pentru TechXplore, acest proiect de cercetare stabilește un record pentru super-rezoluție, deoarece niciodată nu au fost create imagini cu atât de multe detalii dintr-un număr atât de mic de pixeli de start. Cercetătorii au subliniat cu atenție că modelul nu recretează de fapt fața persoanei din imaginea originală de calitate scăzută. În schimb, generează fețe noi, completând detalii care nu erau acolo înainte. Din acest motiv, modelul nu ar putea fi utilizat pentru sisteme de securitate, deoarece nu ar putea transforma imagini nefocalizate în imagini ale unei persoane reale.

Tehnicile tradiționale de super-rezoluție funcționează prin efectuarea de presupuneri despre care pixeli sunt necesari pentru a transforma imaginea într-una de înaltă rezoluție, pe baza imaginilor pe care modelul le-a învățat anterior. Deoarece pixelii adăugați sunt rezultatul presupunerilor, nu toți pixelii se pot potrivi cu pixelii din jur și anumite regiuni ale imaginii pot arăta fuzzy sau deformate. Cercetătorii de la Universitatea Duke au utilizat o metodă diferită de antrenare a modelului lor AI. Modelul creat de cercetătorii de la Duke funcționează prin luarea inițială a imaginilor de joasă rezoluție și adăugarea de detalii la imagine în timp, referindu-se la fețe generate de AI de înaltă rezoluție ca exemple. Modelul se referă la fețele generate de AI și încearcă să găsească unele care semănă cu imaginile țintă atunci când fețele generate sunt redimensionate la mărimea imaginii țintă.

Echipa de cercetare a creat un model de Generative Adversarial Network pentru a gestiona crearea de noi imagini. GAN-urile sunt de fapt două rețele neuronale care sunt antrenate pe același set de date și puse una împotriva celeilalte. O rețea este responsabilă pentru generarea de imagini false care imită imaginile reale din setul de date de antrenare, în timp ce a doua rețea este responsabilă pentru detectarea imaginilor false de la cele autentice. Prima rețea este notificată atunci când imaginile sale au fost identificate ca fiind false și se îmbunătățește până când imaginile false sunt, sperăm, indistinguizabile de cele autentice.

Cercetătorii și-au denumit modelul de super-rezoluție PULSE, și modelul produce în mod constant imagini de înaltă calitate, chiar și atunci când i se dau imagini atât de blurate încât alte metode de super-rezoluție nu pot crea imagini de înaltă calitate din ele. Modelul este chiar capabil să creeze fețe realiste din imagini în care caracteristicile feței sunt aproape indistinguizabile. De exemplu, atunci când i se dă o imagine a unei fețe cu o rezoluție de 16×16, poate crea o imagine de 1024 x 1024. Mai mult de un milion de pixeli sunt adăugați în acest proces, completând detalii precum fire de păr, riduri și chiar iluminare. Atunci când cercetătorii au avut oameni care au evaluat 1440 de imagini generate de PULSE împotriva imaginilor generate de alte tehnici de super-rezoluție, imaginile generate de PULSE au obținut în mod constant cele mai bune scoruri.

Deși cercetătorii și-au utilizat modelul pe imagini ale fețelor oamenilor, aceleași tehnici pe care le-au utilizat ar putea fi aplicate aproape oricărui obiect. Imagini de joasă rezoluție ale diferitelor obiecte ar putea fi utilizate pentru a crea imagini de înaltă rezoluție ale acelui set de obiecte, deschizând posibile aplicații pentru o varietate de industrii și domenii, de la microscopie, imagini satelitare, educație, producție și medicină.