Un modèle d’IA peut prendre des images floues et améliorer la résolution de 60 fois

Les chercheurs de l’Université Duke ont développé un modèle d’IA capable de prendre des images très floues et pixellisées et de les rendre avec de grands détails. Selon TechXplore, le modèle est capable de prendre un nombre relativement faible de pixels et d’agrandir les images pour créer des visages réalistes qui sont environ 64 fois la résolution de l’image d’origine. Le modèle hallucine, ou imagine, des fonctionnalités qui se trouvent entre les lignes de l’image d’origine.

La recherche est un exemple de super-résolution. Comme Cynthia Rudin de l’équipe d’informatique de l’Université Duke l’a expliqué à TechXplore, ce projet de recherche établit un record pour la super-résolution, car jamais auparavant des images n’ont été créées avec une telle fidélité à partir d’un si petit échantillon de pixels de départ. Les chercheurs ont soigneusement souligné que le modèle ne recrée pas réellement le visage de la personne de l’image d’origine de faible qualité. Au lieu de cela, il génère de nouveaux visages, en remplissant les détails qui n’étaient pas là auparavant. Pour cette raison, le modèle ne pourrait pas être utilisé pour des choses comme les systèmes de sécurité, car il ne serait pas en mesure de transformer des images floues en images d’une personne réelle.

Les techniques traditionnelles de super-résolution fonctionnent en faisant des suppositions sur les pixels nécessaires pour transformer l’image en une image à haute résolution, en fonction des images que le modèle a apprises auparavant. Puisque les pixels ajoutés sont le résultat de suppositions, et non tous les pixels correspondront avec les pixels environnants, et certaines régions de l’image peuvent paraître floues ou déformées. Les chercheurs de l’Université Duke ont utilisé une méthode différente pour former leur modèle d’IA. Le modèle créé par les chercheurs de Duke fonctionne en prenant d’abord des images à basse résolution et en ajoutant des détails à l’image au fil du temps, en référençant des visages à haute résolution générés par l’IA comme exemples. Le modèle référence les visages générés par l’IA et tente de trouver ceux qui ressemblent aux images cibles lorsque les visages générés sont réduits à la taille de l’image cible.

L’équipe de recherche a créé un modèle de réseau antagoniste génératif pour gérer la création de nouvelles images. Les GAN sont en fait deux réseaux neuronaux qui sont formés sur le même ensemble de données et opposés l’un à l’autre. Un réseau est responsable de la génération d’images fausses qui imitent les images réelles de l’ensemble de données de formation, tandis que le deuxième réseau est responsable de la détection des images fausses parmi les images authentiques. Le premier réseau est informé lorsque ses images ont été identifiées comme fausses, et il s’améliore jusqu’à ce que les images fausses soient espérément indiscernables des images authentiques.

Les chercheurs ont surnommé leur modèle de super-résolution PULSE, et le modèle produit constamment des images de haute qualité, même si on lui donne des images si floues que d’autres méthodes de super-résolution ne peuvent pas créer d’images de haute qualité à partir d’elles. Le modèle est même capable de créer des visages réalistes à partir d’images où les fonctionnalités du visage sont presque indiscernables. Par exemple, lorsqu’on lui donne une image d’un visage avec une résolution de 16×16, il peut créer une image de 1024 x 1024. Plus d’un million de pixels sont ajoutés au cours de ce processus, en remplissant des détails comme les mèches de cheveux, les rides et même l’éclairage. Lorsque les chercheurs ont demandé à des personnes d’évaluer 1440 images générées par PULSE contre des images générées par d’autres techniques de super-résolution, les images générées par PULSE ont obtenu systématiquement les meilleures notes.

Alors que les chercheurs ont utilisé leur modèle sur des images de visages de personnes, les mêmes techniques qu’ils utilisent pourraient être appliquées à presque n’importe quel objet. Des images à basse résolution de divers objets pourraient être utilisées pour créer des images à haute résolution de cet ensemble d’objets, ouvrant des applications possibles pour une variété d’industries et de domaines, de la microscopie, de l’imagerie satellite, de l’éducation, de la fabrication et de la médecine.