Tekoälymalli voi parantaa epäselvän kuvan resoluutiota 60-kertaisesti

Tutkijat Duke Universitysta ovat kehittäneet tekoälymallin, joka pystyy ottamaan hyvin epäselvät ja pikselöidyt kuvat ja renderöimään niistä korkean tarkkuuden kuvia. Teknologiauutuuksien verkkosivuston mukaan malli pystyy ottamaan suhteellisen vähän pikseleitä ja skaalaamaan kuvat luomaan realistisen näköiset kasvot, jotka ovat noin 64 kertaa alkuperäisen kuvan resoluutio. Malli “hallusinoi” eli kuvittelee piirteitä, jotka ovat alkuperäisen kuvan rivien välissä.

Tutkimus on esimerkki super-resoluutiosta. Duke Universityn tietojenkäsittelytiimin Cynthia Rudin selitti Teknologiauutuuksien verkkosivustolle, että tämä tutkimushanke asettaa ennätyksen super-resoluutiolle, koska aiemmin kuvia ei ole luotu näin suurella resoluutiolla niin pienestä alkuperäisestä kuvamäärästä. Tutkijat korostivat, että malli ei itse asiassa luo alkuperäisen matalan resoluution kuvan kasvoja. Sen sijaan se luo uusia kasvoja täyttäen yksityiskohtia, jotka eivät olleet aiemmin läsnä. Tämän vuoksi mallia ei voida käyttää mihinkään turvajärjestelmiin, koska se ei pysty muuttamaan epäselviä kuvia todellisen henkilön kuviksi.

Perinteiset super-resoluutiotekniikat toimivat arvaamalla, mitkä pikselit ovat tarpeen muuttaa kuva korkean resoluution kuvaksi, perustuen aiemmin opittuihin kuvien tietoihin. Koska lisätyt pikselit ovat arvauksen tulosta, eivät kaikki pikselit vastaa ympäröivien pikselien kanssa, ja tietyt alueet kuvassa voivat näyttää sumeilta tai vääristyneiltä. Duke Universityn tutkijat käyttivät eri menetelmää kouluttaessaan tekoälymalliaan. Duke-tutkijoiden luoma malli toimii ottamalla ensin matalan resoluution kuvia ja lisäämällä yksityiskohtia kuvaan ajan myötä, viitaten korkean resoluution tekoälyluomiin kasvoihin esimerkkeinä. Malli viittaa tekoälyluomiin kasvoihin ja yrittää löytää sellaisia, jotka muistuttavat kohdekuvia, kun luodut kasvot skaalataan kohdekuvan kokoiseksi.

Tutkimusryhmä loi Generative Adversarial Network -mallin uusien kuvien luomiseen. GANit ovat itse asiassa kaksi neuroverkkoa, jotka on koulutettu samalla aineistolla ja asetettu toisiaan vastaan. Toinen verkko on vastuussa väärennettyjen kuvien luomisesta, jotka jäljittelevät aineistossa olevia kuvia, kun taas toinen verkko on vastuussa väärennettyjen kuvien tunnistamisesta aitojen kuvien joukosta. Ensimmäinen verkko ilmoitetaan, kun sen kuvat on tunnistettu väärennöksiksi, ja se parantaa kuviaan, kunnes väärennetyt kuvat ovat toivottavasti erottamattomia aitojen kuvien joukosta.

Tutkijat ovat nimeäneet super-resoluutio-mallinsa PULSEksi, ja malli tuottaa johdonmukaisesti korkealaatuisia kuvia, vaikka sille annetaan kuvia, jotka ovat niin epäselviä, ettei muita super-resoluutio-menetelmiä voida käyttää niiden luomiseen. Malli pystyy myös luomaan realistisen näköisiä kasvoja kuvista, joiden kasvojen piirteet ovat melkein erottamattomia. Esimerkiksi kun sille annetaan 16×16 resoluution kasvokuva, se voi luoda 1024 x 1024 kuvan. Yli miljoona pikseliä lisätään tähän prosessiin, täyttäen yksityiskohtia kuten hiuksia, ryppyjä ja jopa valaistusta. Kun tutkijat pyysivät ihmisiä arvioimaan 1440 PULSE:lla luotua kuvaa muihin super-resoluutio-menettelyjen kanssa, PULSE-kuvat saivat johdonmukaisesti parhaat arviot.

Vaikka tutkijat käyttivät malliaan ihmisten kasvojen kuvissa, samaa tekniikkaa voidaan soveltaa melkein mihin tahansa esineeseen. Matalan resoluution kuvia voidaan käyttää luomaan korkean resoluution kuvia esineistä, avaamalla mahdollisuuksia monille eri aloille ja teollisuudenaloille, kuten mikroskopiaan, satelliittikuvaukseen, koulutukseen, valmistukseen ja lääketieteeseen.