Tekoälymalli voi parantaa epätarkkojen kuvien resoluutiota 60-kertaisesti

Duke Universityn tutkijat ovat kehittäneet tekoälymallin, joka pystyy ottamaan hyvin epätarkkoja ja pikselöityjä kuvia ja renderöimään niistä yksityiskohtaisia kuvia. TechXploren mukaan malli pystyy ottamaan suhteellisen vähän pikseleitä ja skaalaamaan kuvat luomaan realistisen näköisiä kasvoja, jotka ovat noin 64 kertaa alkuperäisen kuvan resoluutio. Malli kuvittelee tai kuvaa piirteitä, jotka ovat alkuperäisen kuvan rivien välissä.

Tutkimus on esimerkki super-resoluutiosta. Duke Universityn tietojenkäsittelytiimin Cynthia Rudin selitti TechXplorelle, että tämä tutkimushanke asettaa ennätyksen super-resoluutiolle, koska kuvia ei ole aiemmin luotu näin tarkasti niin pienestä alkuperäisten pikselien otoksesta. Tutkijat korostivat, että malli ei itse asiassa rekonstruoikaasikaan alkuperäisen, matalan resoluution kuvan kasvoja. Sen sijaan se luo uusia kasvoja täyttäen yksityiskohtia, joita ei aiemmin ollut. Tämän vuoksi mallia ei voida käyttää esimerkiksi turvajärjestelmissä, koska se ei pysty muuttamaan epätarkkoja kuvia todellisen henkilön kuviksi.

Perinteiset super-resoluutiotekniikat toimivat arvaamalla, mitkä pikselit ovat tarpeen muuttaa kuvasta korkearesoluutioinen kuva, perustuen kuviin, jotka malli on aiemmin oppinut. Koska lisätyt pikselit ovat arvauksen tulosta, eivät kaikki pikselit vastaa ympäröivien pikselien kanssa, ja tietyt alueet kuvassa saattavat näyttää sumeilta tai vääristyneiltä. Duke Universityn tutkijat käyttivät toisenlaista menetelmää tekoälymallinsa kouluttamiseen. Duke-tutkijoiden luoma malli toimii siten, että se ottaa ensin matalaresoluutioisia kuvia ja lisää yksityiskohtia kuvaan ajan myötä, viitaten korkearesoluutioisiin tekoälyllä luotuihin kasvoihin esimerkkinä. Malli viittaa tekoälyllä luotuihin kasvoihin ja yrittää löytää niitä, jotka muistuttavat kohdekuvia, kun luodut kasvot on skaalattu kohdekuvan kokoiseksi.

Tutkimusryhmä loi Generative Adversarial Network -mallin uusien kuvien luomiseksi. GANit ovat itse asiassa kaksi neuroverkkoa, jotka on koulutettu samalla aineistolla ja asetettu toisiaan vastaan. Yksi verkko on vastuussa väärennetyiden kuvien luomisesta, jotka jäljittelevät aineistossa olevia kuvia, kun taas toinen verkko on vastuussa väärennettyjen kuvien tunnistamisesta aitojen kuvien joukosta. Ensimmäinen verkko ilmoitetaan, kun sen kuvat on tunnistettu väärennetyiksi, ja se parantaa, kunnes väärennettyjen kuvien toivotaan olevan erottamattomia aitojen kuvien joukosta.

Tutkijat ovat nimeäneet super-resoluutio-mallinsa PULSEksi, ja malli tuottaa johdonmukaisesti laadukkaita kuvia, vaikka sille annetaan kuvia, jotka ovat niin epätarkkoja, etteivät muut super-resoluutiotekniikat voi luoda laadukkaita kuvia niistä. Malli pystyy myös luomaan realistisen näköisiä kasvoja kuvista, joissa kasvojen piirteet ovat melkein erottamattomia. Esimerkiksi, kun sille annetaan 16×16 resoluution kuva kasvosta, se voi luoda 1024 x 1024 kuvan. Yli miljoona pikseliä lisätään tällä prosessilla, täyttäen yksityiskohtia kuten hiuksia, ryppyjä ja jopa valaistusta. Kun tutkijat pyysivät ihmisiä arvioimaan 1440 PULSE:lla luotua kuvaa muihin super-resoluutiotekniikoilla luotujen kuvien kanssa, PULSE:lla luodut kuvat saivat johdonmukaisesti parhaat arviot.

Vaikka tutkijat käyttivät malliaan kasvojen kuvissa, samaa tekniikkaa voidaan soveltaa melkein mihin tahansa objektiin. Matalaresoluutioisia kuvia eri objekteista voidaan käyttää luomaan korkearesoluutioisia kuvia kyseisistä objekteista, avaamalla mahdollisuuksia eri alojen ja teollisuuden sovelluksiin, kuten mikroskopiaan, satelliittikuvaukseen, koulutukseen, valmistukseen ja lääketieteeseen.