Le modèle d'IA peut prendre des images floues et améliorer la résolution de 60 fois

Des chercheurs de l'Université Duke ont développé un modèle d'IA capable de prendre des images pixellisées très floues et de les restituer avec un niveau de détail élevé.  D'après TechXplore, le modèle est capable de prendre relativement peu de pixels et de redimensionner les images pour créer des visages réalistes d'environ 64 fois la résolution de l'image d'origine. Le modèle hallucine, ou imagine, des traits qui se trouvent entre les lignes de l'image originale.

La recherche est un exemple de super-résolution. En tant que Cynthia Rudin de l'équipe informatique de l'Université Duke expliqué à TechXplore, ce projet de recherche établit un record de super-résolution, car jamais auparavant des images n'avaient été créées avec un tel rendu à partir d'un si petit échantillon de pixels de départ. Les chercheurs ont pris soin de souligner que le modèle ne recrée pas réellement le visage de la personne dans l'image originale de mauvaise qualité. Au lieu de cela, il génère de nouveaux visages, remplissant des détails qui n'existaient pas auparavant. Pour cette raison, le modèle ne pouvait pas être utilisé pour quoi que ce soit comme des systèmes de sécurité, car il ne serait pas capable de transformer des images floues en images d'une personne réelle.

Les techniques de super-résolution traditionnelles fonctionnent en faisant des suppositions sur les pixels nécessaires pour transformer l'image en une image haute résolution, sur la base d'images que le modèle a apprises au préalable. Étant donné que les pixels ajoutés sont le résultat de suppositions, tous les pixels ne correspondent pas aux pixels environnants et certaines régions de l'image peuvent sembler floues ou déformées. Les chercheurs de l'Université Duke ont utilisé une méthode différente pour former leur modèle d'IA. Le modèle créé par les chercheurs de Duke fonctionne en prenant d'abord des images à basse résolution et en ajoutant des détails à l'image au fil du temps, en faisant référence à des visages haute résolution générés par l'IA à titre d'exemples. Le modèle référence les visages générés par l'IA et essaie de trouver ceux qui ressemblent aux images cibles lorsque les visages générés sont réduits à la taille de l'image cible.

L'équipe de recherche a créé un modèle de réseau antagoniste génératif pour gérer la création de nouvelles images. Les GAN sont en fait deux réseaux de neurones qui sont tous deux formés sur le même ensemble de données et opposés l'un à l'autre. Un réseau est chargé de générer de fausses images qui imitent les images réelles dans l'ensemble de données d'apprentissage, tandis que le second réseau est chargé de détecter les fausses images des authentiques. Le premier réseau est averti lorsque ses images ont été identifiées comme fausses, et il s'améliore jusqu'à ce que les fausses images soient, espérons-le, impossibles à distinguer des images authentiques.

Les chercheurs ont baptisé leur modèle de super-résolution PULSE, et le modèle produit constamment des images de haute qualité même si les images sont si floues que d'autres méthodes de super-résolution ne peuvent pas créer d'images de haute qualité à partir d'elles. Le modèle est même capable de créer des visages réalistes à partir d'images où les traits du visage sont presque impossibles à distinguer. Par exemple, lorsqu'on lui donne une image d'un visage avec une résolution de 16 × 16, il peut créer une image de 1024 x 1024. Plus d'un million de pixels sont ajoutés au cours de ce processus, remplissant des détails tels que les mèches de cheveux, les rides et même l'éclairage. Lorsque les chercheurs ont demandé à des personnes d'évaluer 1440 images générées par PULSE par rapport à des images générées par d'autres techniques de super-résolution, les images générées par PULSE ont toujours obtenu les meilleurs résultats.

Alors que les chercheurs ont utilisé leur modèle sur des images de visages de personnes, les mêmes techniques qu'ils utilisent pourraient être appliquées à presque n'importe quel objet. Des images basse résolution de divers objets pourraient être utilisées pour créer des images haute résolution de cet ensemble d'objets, ouvrant des applications possibles pour une variété d'industries et de domaines différents de la microscopie, de l'imagerie satellite, de l'éducation, de la fabrication et de la médecine.