Mjeti i ri mund t'u tregojë studiuesve se çfarë GAN-et lënë jashtë një imazhi

Kohët e fundit, një ekip studiuesish nga MIT-IBM Watson AI Lab krijoi një metodë për të shfaqur atë që një Rrjeti Generativ Adversarial lë jashtë një imazhi kur kërkohet të gjenerojë imazhe. Studimi u quajt Duke parë se çfarë nuk mund të gjenerojë një GAN, dhe së fundmi u prezantua në Konferencën Ndërkombëtare për Vizion Kompjuterik.

Rrjetet kundërshtare gjeneruese janë bërë më të fuqishme, të sofistikuara dhe të përdorura gjerësisht në vitet e fundit. Ata janë bërë mjaft të mirë në paraqitjen e imazheve plot detaje, për sa kohë që ai imazh është i kufizuar në një zonë relativisht të vogël. Megjithatë, kur GAN-et përdoren për të gjeneruar imazhe të skenave dhe mjediseve më të mëdha, ato priren të mos performojnë aq mirë. Në skenarët ku GAN-ve u kërkohet të japin skena plot me shumë objekte dhe objekte, si një rrugë e ngarkuar, GAN-et shpesh lënë jashtë shumë aspekte të rëndësishme të imazhit.

Sipas MIT News, hulumtimi u zhvillua pjesërisht nga David Bau, një student i diplomuar në Departamentin e Inxhinierisë Elektrike dhe Shkencave Kompjuterike në MIT. Bau shpjegoi se studiuesit zakonisht përqendrohen në rafinimin e asaj që sistemet e mësimit të makinerive i kushtojnë vëmendje dhe të dallojnë se si inpute të caktuara mund të hartohen me rezultate të caktuara. Megjithatë, Bau shpjegoi gjithashtu se të kuptuarit se cilat të dhëna injorohen nga modelet e mësimit të makinerive, nëse shpeshherë janë po aq të rëndësishme, dhe se ekipi hulumtues shpreson që mjetet e tyre të frymëzojnë studiuesit t'i kushtojnë vëmendje të dhënave të injoruara.

Interesi i Bau për GAN-et u nxit nga fakti se ato mund të përdoreshin për të hetuar natyrën e kutisë së zezë të rrjetave nervore dhe për të fituar një intuitë se si rrjetet mund të arsyetonin. Bau ka punuar më parë në një mjet që mund të identifikonte grupime specifike të neuroneve artificiale, duke i etiketuar ata si përgjegjës për përfaqësimin e objekteve të botës reale si librat, retë dhe pemët. Bau gjithashtu kishte përvojë me një mjet të quajtur GANPaint, i cili u mundëson artistëve të heqin dhe shtojnë veçori specifike nga fotot duke përdorur GAN. Sipas Bau, aplikacioni GANPaint zbuloi një problem të mundshëm me GAN-et, një problem që u bë i dukshëm kur Bau analizoi imazhet. Siç tha Bau për MIT News:

“Këshilltari im na ka inkurajuar gjithmonë që të shohim përtej numrave dhe të shqyrtojmë imazhet aktuale. Kur shikuam, fenomeni u hodh menjëherë jashtë: njerëzit po largoheshin në mënyrë selektive.”

Ndërsa sistemet e mësimit të makinerive janë krijuar për të nxjerrë modele nga imazhet, ato gjithashtu mund të përfundojnë duke injoruar modelet përkatëse. Bau dhe studiues të tjerë eksperimentuan me stërvitjen e GAN-ve në skena të ndryshme të brendshme dhe të jashtme, por në të gjitha llojet e ndryshme të skenave, GAN-ët lanë jashtë detaje të rëndësishme në skena si makina, shenja rrugore, njerëz, biçikleta, etj. Kjo ishte e vërtetë edhe kur objektet e lëna jashtë ishin të rëndësishme për skenën në fjalë.

Ekipi hulumtues hipotezoi se kur GAN stërvitet për imazhe, GAN mund ta ketë më të lehtë të kapë modelet e imazhit që janë më të lehta për t'u përfaqësuar, të tilla si objekte të mëdha të palëvizshme si peizazhet dhe ndërtesat. Ai i mëson këto modele mbi modelet e tjera, më të vështira për t'u interpretuar, si makinat dhe njerëzit. Ka qenë e njohur që GAN-të shpesh heqin detaje të rëndësishme dhe kuptimplote kur gjenerojnë imazhe, por studimi nga ekipi i MIT mund të jetë hera e parë që GAN-të janë demonstruar duke lënë jashtë të gjitha klasat e objekteve brenda një imazhi.

Ekipi hulumtues vëren se është e mundur që GAN-të të arrijnë qëllimet e tyre numerike edhe kur lënë jashtë objektet për të cilat njerëzit kujdesen kur shikojnë imazhe. Nëse imazhet e krijuara nga GANS do të përdoren për të trajnuar sisteme komplekse si automjetet autonome, të dhënat e imazhit duhet të shqyrtohen nga afër sepse ekziston një shqetësim i vërtetë që objektet kritike si shenjat, njerëzit dhe makinat e tjera mund të lihen jashtë imazheve. Bau shpjegoi se hulumtimi i tyre tregon pse performanca e një modeli nuk duhet të bazohet vetëm në saktësinë:

"Ne duhet të kuptojmë se çfarë janë dhe çfarë nuk po bëjnë rrjetet për t'u siguruar që ata po bëjnë zgjedhjet që duam që ata të bëjnë."