Modelul AI poate lua imagini blurate și poate mări rezoluția de 60 de ori

Cercetătorii de la Universitatea Duke au dezvoltat un model de inteligență artificială capabil să ia imagini foarte blurate și să le redea cu detalii de înaltă calitate. Conform TechXplore, modelul este capabil să ia un număr relativ mic de pixeli și să mărească imaginea pentru a crea fețe realiste care sunt de aproximativ 64 de ori mai mari decât imaginea originală. Modelul “halucinează” sau imaginează caracteristici care se află între liniile imaginii originale.

Cercetarea este un exemplu de super-rezoluție. Așa cum a explicat Cynthia Rudin de la echipa de științe computaționale a Universității Duke pentru TechXplore, acest proiect de cercetare stabilește un record pentru super-rezoluție, deoarece niciodată înainte nu au fost create imagini cu atât de multe detalii dintr-un număr atât de mic de pixeli de start. Cercetătorii au subliniat că modelul nu re creează în realitate fața persoanei din imaginea originală de calitate scăzută. În schimb, generează fețe noi, completând detalii care nu erau acolo înainte. Din acest motiv, modelul nu ar putea fi utilizat pentru sisteme de securitate, deoarece nu ar putea transforma imagini nefocalizate în imagini ale unei persoane reale.

Teletehniciile tradiționale de super-rezoluție funcționează prin ghicirea pixelilor necesari pentru a transforma imaginea într-una de înaltă calitate, pe baza imaginilor pe care modelul le-a învățat anterior. Deoarece pixelii adăugați sunt rezultatul ghicirii, nu toți pixelii se potrivesc cu pixelii din jur și anumite regiuni ale imaginii pot arăta fuzzy sau deformate. Cercetătorii de la Universitatea Duke au utilizat o metodă diferită de antrenare a modelului lor de inteligență artificială. Modelul creat de cercetătorii de la Duke funcționează prin luarea inițială a imaginilor de calitate scăzută și adăugarea de detalii la imagine în timp, referindu-se la fețe generate de inteligență artificială de înaltă calitate ca exemple. Modelul se referă la fețele generate de inteligență artificială și încearcă să găsească unele care semănă cu imaginile țintă atunci când fețele generate sunt reduse la mărimea imaginii țintă.

Echipa de cercetare a creat un model de rețea adversarială generativă pentru a gestiona crearea de noi imagini. Rețelele adversariale generative sunt de fapt două rețele neuronale care sunt antrenate pe același set de date și puse una împotriva celeilalte. O rețea este responsabilă pentru generarea de imagini false care imită imaginile reale din setul de antrenare, în timp ce a doua rețea este responsabilă pentru detectarea imaginilor false de la cele autentice. Prima rețea este notificată atunci când imaginile sale au fost identificate ca fiind false și se îmbunătățește până când imaginile false sunt, sperăm, de nedistinguit de la cele autentice.

Cercetătorii au numit modelul lor de super-rezoluție PULSE, și modelul produce constant imagini de înaltă calitate, chiar și atunci când i se dau imagini atât de blurate încât alte metode de super-rezoluție nu pot crea imagini de înaltă calitate din ele. Modelul este chiar capabil să creeze fețe realiste din imagini în care caracteristicile feței sunt aproape indistinguizabile. De exemplu, atunci când i se dă o imagine a unei fețe cu o rezoluție de 16×16, poate crea o imagine de 1024 x 1024. Mai mult de un milion de pixeli sunt adăugați în acest proces, completând detalii precum fire de păr, riduri și chiar iluminare. Atunci când cercetătorii au avut oameni care au evaluat 1440 de imagini generate de PULSE împotriva imaginilor generate de alte metode de super-rezoluție, imaginile generate de PULSE au obținut constant scoruri mai bune.

Deși cercetătorii și-au utilizat modelul pe imagini ale fețelor oamenilor, aceleași tehnici pe care le utilizează ar putea fi aplicate aproape oricărui obiect. Imaginile de calitate scăzută ale diferitelor obiecte ar putea fi utilizate pentru a crea imagini de înaltă calitate ale acelui set de obiecte, deschizând posibilități de aplicații pentru o varietate de industrii și domenii diferite, de la microscopie, imagini din satelit, educație, producție și medicină.