Cercetătorii Dezvoltă o Nouă Metodă pentru Controlul Generării de Imagini cu Inteligență Artificială

Cercetătorii de la Universitatea de Stat din Carolina de Nord au dezvoltat o nouă metodă pentru controlul generării de imagini cu inteligență artificială, care ar putea fi utilizată în domenii precum vehiculele autonome.

Generarea de Imagini Conditionale și Alte Tehnici

Generarea de imagini conditionale este o sarcină a inteligenței artificiale care implică sistemele de inteligență artificială care creează imagini pe baza unui set specific de condiții, pe care utilizatorul le poate solicita. Tehnicile mai noi au dus acest lucru mai departe și incorporează condiții pentru un layout de imagine, ceea ce permite utilizatorilor să specifice tipurile de obiecte pe care le doresc să apară în anumite locuri pe ecran.

Noua metodă de ultimă generație dezvoltată de cercetătorii de la universitate se bazează pe toate aceste tehnici și permite utilizatorilor să aibă mai mult control asupra imaginilor, păstrând în același timp anumite caracteristici pe parcursul unei serii de imagini.

Tianfu Wu este coautor al articolului de cercetare și profesor asistent de inginerie computerizată la NC State.

“Abordarea noastră este foarte reconfigurabilă”, spune Wu. “La fel ca și abordările anterioare, a noastră permite utilizatorilor să aibă sistemul care generează o imagine pe baza unui set specific de condiții. Dar a noastră permite și să păstrați imaginea și să adăugați la ea. De exemplu, utilizatorii ar putea avea sistemul care creează o scenă de munte. Utilizatorii ar putea apoi să aibă sistemul care adaugă schiori în acea scenă.”

Manipularea Elementelor

Cu noua metodă, utilizatorii pot permite, de asemenea, sistemului să manipuleze elemente astfel încât să fie identificabil ca fiind același, în timp ce se mișcă sau se schimbă într-un anumit fel. Un exemplu ar fi sistemul care creează o serie de imagini în care schiorii se întorc spre spectator în timp ce se deplasează pe peisaj.

“O aplicație pentru acest lucru ar fi să ajute roboții autonome să ‘își imagineze’ cum ar putea arăta rezultatul final înainte de a începe o anumită sarcin”, spune Wu. “Ați putea, de asemenea, să utilizați sistemul pentru a genera imagini pentru antrenarea inteligenței artificiale. Astfel, în loc să compilați imagini din surse externe, ați putea utiliza acest sistem pentru a crea imagini pentru antrenarea altor sisteme de inteligență artificială.”

Noua abordare a fost testată cu setul de date COCO-Stuff și setul de date Visual Genome, și pe baza standardelor pentru calitatea imaginilor, a depășit tehnicile anterioare de ultimă generație.

“Următorul nostru pas este să vedem dacă putem extinde această lucrare la videouri și imagini tridimensionale”, spune Wu.

Pentru a antrena noua abordare, cercetătorii au trebuit să se bazeze pe o stație de lucru cu 4 GPU-uri, având în vedere puterea de calcul grea necesară. În ciuda acestui fapt, implementarea sistemului este încă mai puțin costisitoare din punct de vedere computațional.

“Am descoperit că un singur GPU oferă aproape viteza în timp real”, spune Wu.

“În plus față de articolul nostru, am făcut codul sursă pentru această abordare disponibil pe GitHub. Cu toate acestea, suntem întotdeauna deschiși să colaborăm cu parteneri din industrie.”