Tekoälymalli voi ottaa epäselviä kuvia ja parantaa resoluutiota 60 kertaa

Duke Universityn tutkijat ovat kehittäneet tekoälymallin, joka pystyy ottamaan erittäin epäselviä, pikselöityjä kuvia ja renderöimään ne erittäin yksityiskohtaisesti.  TechXploren mukaan, malli pystyy ottamaan suhteellisen vähän pikseleitä ja skaalaamaan kuvia luoden realistiselta näyttäviä kasvoja, jotka ovat noin 64 kertaa alkuperäisen kuvan resoluutiota suuremmat. Malli hallusinoi tai kuvittelee piirteitä, jotka ovat alkuperäisen kuvan rivien välissä.

Tutkimus on esimerkki superresoluutiosta. Kuten Cynthia Rudin Duke Universityn tietojenkäsittelytiimistä selitti TechXplorelle, tämä tutkimusprojekti asettaa ennätyksen superresoluutiolle, sillä näin pienestä aloituspikseleiden näytteestä ei ole koskaan aiemmin luotu näin todenmukaisia ​​kuvia. Tutkijat painottivat huolellisesti, että malli ei itse asiassa luo uudelleen henkilön kasvoja alkuperäisessä, huonolaatuisessa kuvassa. Sen sijaan se luo uusia kasvoja ja täyttää yksityiskohdat, joita ei ollut aiemmin. Tästä syystä mallia ei voitaisi käyttää turvajärjestelmiin, koska se ei pystyisi muuttamaan epätarkkoja kuvia todellisen henkilön kuviksi.

Perinteiset superresoluutiotekniikat tekevät arvauksia siitä, mitä pikseleitä tarvitaan kuvan muuntamiseen korkearesoluutioiseksi kuvaksi mallin etukäteen oppimien kuvien perusteella. Koska lisätyt pikselit ovat arvausten tulosta, kaikki pikselit eivät täsmää ympäröivien pikselien kanssa ja tietyt kuvan alueet voivat näyttää sumeilta tai vääntyneiltä. Duke Universityn tutkijat käyttivät erilaista menetelmää tekoälymallinsa harjoittamiseen. Duken tutkijoiden luoma malli toimii ottamalla ensin matalaresoluutioisia kuvia ja lisäämällä kuvaan yksityiskohtia ajan mittaan. Esimerkkeinä käytetään korkearesoluutioisia tekoälyn luomia kasvoja. Malli viittaa tekoälyn luomiin kasvoihin ja yrittää löytää niitä, jotka muistuttavat kohdekuvia, kun luodut kasvot pienennetään kohdekuvan kokoon.

Tutkimusryhmä loi Generative Adversarial Network -mallin käsittelemään uusien kuvien luomista. GAN-verkot ovat itse asiassa kaksi hermoverkkoa, jotka molemmat on koulutettu samalle tietojoukolle ja vastakkain. Toinen verkko on vastuussa väärennettyjen kuvien luomisesta, jotka jäljittelevät harjoitustietojoukon todellisia kuvia, kun taas toinen verkko vastaa väärennettyjen kuvien havaitsemisesta aidoista kuvista. Ensimmäinen verkko saa ilmoituksen, kun sen kuvat on tunnistettu väärennöksiksi, ja se paranee, kunnes väärennettyjä kuvia ei toivottavasti voida erottaa aidoista kuvista.

Tutkijat ovat nimenneet superresoluutiomallinsa PULSSI, ja malli tuottaa jatkuvasti korkealaatuisia kuvia, vaikka kuvat olisivat niin epätarkkoja, että muut superresoluutiomenetelmät eivät pysty luomaan niistä korkealaatuisia kuvia. Malli pystyy jopa tekemään realistisen näköisiä kasvoja kuvista, joissa kasvojen piirteet ovat lähes erottamattomat. Kun esimerkiksi annetaan kuva kasvoista 16 × 16 resoluutiolla, se voi luoda 1024 x 1024 kuvan. Tämän prosessin aikana lisätään yli miljoona pikseliä, jotka täyttävät yksityiskohtia, kuten hiussäikeitä, ryppyjä ja jopa valaistusta. Kun tutkijat arvioivat 1440 PULSE- luotuja kuvia muilla superresoluutiotekniikoilla luotuihin kuviin verrattuna, PULSE-luotetut kuvat saivat jatkuvasti parhaat pisteet.

Vaikka tutkijat käyttivät malliaan ihmisten kasvojen kuvissa, samoja tekniikoita, joita he käyttävät, voidaan soveltaa melkein mihin tahansa esineeseen. Matalaresoluutioisia kuvia eri kohteista voitaisiin käyttää korkearesoluutioisten kuvien luomiseen kyseisestä esinejoukosta, mikä avaa mahdollisia sovelluksia useille eri teollisuudenaloille ja aloille mikroskopiasta, satelliittikuvista, koulutuksesta, valmistuksesta ja lääketieteestä.