AI-model kan wazige afbeeldingen nemen en resolutie met 60 keer vergroten

Onderzoekers van de Duke University hebben een AI-model ontwikkeld dat in staat is om zeer wazige, gepixelde afbeeldingen te nemen en ze met veel detail weer te geven. Volgens TechXplore is het model in staat om relatief weinig pixels te nemen en de afbeeldingen op te schalen om realistisch uitziende gezichten te creëren die ongeveer 64 keer de resolutie van de oorspronkelijke afbeelding hebben. Het model hallucineert, of stelt zich voor, functies die tussen de lijnen van de oorspronkelijke afbeelding liggen.

Het onderzoek is een voorbeeld van super-resolutie. Zoals Cynthia Rudin van het computerwetenschapteam van de Duke University tegen TechXplore zei, stelt dit onderzoeksproject een record voor super-resolutie, omdat nooit eerder afbeeldingen zijn gemaakt met zulke weinig startpixels. De onderzoekers benadrukten dat het model de gezichten van de personen in de oorspronkelijke, lage kwaliteit afbeelding niet daadwerkelijk recreëert. In plaats daarvan genereert het model nieuwe gezichten, waarbij details worden ingevuld die daarvoor niet aanwezig waren. Om deze reden kan het model niet worden gebruikt voor iets zoals beveiligingssystemen, omdat het niet in staat zou zijn om uit focus afbeeldingen om te zetten in afbeeldingen van een echte persoon.

Traditionele super-resolutietechnieken werken door te gokken welke pixels nodig zijn om de afbeelding om te zetten in een hoge resolutie afbeelding, op basis van afbeeldingen die het model eerder heeft geleerd. Omdat de toegevoegde pixels het resultaat zijn van gokken, zullen niet alle pixels overeenkomen met de omliggende pixels en kunnen bepaalde delen van de afbeelding er vaag of vertekend uitzien. De onderzoekers van de Duke University gebruikten een andere methode om hun AI-model te trainen. Het model dat door de Duke-onderzoekers is gemaakt, werkt door eerst lage resolutie afbeeldingen te nemen en details aan de afbeelding toe te voegen over tijd, met verwijzing naar hoge resolutie AI-gegenereerde gezichten als voorbeelden. Het model verwijst naar de AI-gegenereerde gezichten en probeert er een te vinden die lijkt op de doelafbeelding wanneer de gegenereerde gezichten zijn geschaald naar de grootte van de doelafbeelding.

Het onderzoeks-team creëerde een Generative Adversarial Network-model om de creatie van nieuwe afbeeldingen te verwerken. GAN’s zijn eigenlijk twee neurale netwerken die op hetzelfde dataset zijn getraind en tegen elkaar worden uitgespeeld. Het ene netwerk is verantwoordelijk voor het genereren van nep-afbeeldingen die de echte afbeeldingen in het trainingsdataset imiteren, terwijl het tweede netwerk verantwoordelijk is voor het detecteren van de nep-afbeeldingen van de echte. Het eerste netwerk wordt op de hoogte gesteld wanneer zijn afbeeldingen zijn geïdentificeerd als nep, en het verbetert totdat de nep-afbeeldingen hopelijk niet te onderscheiden zijn van de echte afbeeldingen.

De onderzoekers hebben hun super-resolutie-model PULSE genoemd, en het model produceert consistent hoge kwaliteit afbeeldingen, zelfs als het wordt gegeven afbeeldingen die zo wazig zijn dat andere super-resolutiemethoden geen hoge kwaliteit afbeeldingen kunnen maken van hen. Het model is zelfs in staat om realistisch uitziende gezichten te maken van afbeeldingen waarop de functies van het gezicht bijna niet te onderscheiden zijn. Bijvoorbeeld, wanneer het een afbeelding van een gezicht met 16×16 resolutie krijgt, kan het een 1024 x 1024 afbeelding creëren. Meer dan een miljoen pixels worden tijdens dit proces toegevoegd, waarbij details zoals haardos, rimpels en zelfs verlichting worden ingevuld. Toen de onderzoekers mensen vroegen om 1440 PULSE gegenereerde afbeeldingen te beoordelen tegen afbeeldingen gegenereerd door andere super-resolutietechnieken, scoorden de PULSE gegenereerde afbeeldingen consistent het beste.

Hoewel de onderzoekers hun model op afbeeldingen van mensen gebruiken, kunnen dezelfde technieken die ze gebruiken worden toegepast op bijna elk object. Lage resolutie afbeeldingen van verschillende objecten kunnen worden gebruikt om hoge resolutie afbeeldingen van die set objecten te creëren, waardoor mogelijke toepassingen worden geopend voor een verscheidenheid aan verschillende industrieën en gebieden, van microscopie, satellietbeelden, onderwijs, productie en geneeskunde.