Un modèle d’IA peut prendre des images floues et améliorer la résolution de 60 fois

Les chercheurs de l’Université Duke ont développé un modèle d’IA capable de prendre des images très floues et pixellisées et de les rendre avec de grands détails. Selon TechXplore, le modèle est capable de prendre relativement peu de pixels et de mettre à l’échelle les images pour créer des visages réalistes qui sont approximativement 64 fois la résolution de l’image d’origine. Le modèle hallucine, ou imagine, des fonctionnalités qui sont entre les lignes de l’image d’origine.

La recherche est un exemple de super-résolution. Comme Cynthia Rudin de l’équipe d’informatique de l’Université Duke l’a expliqué à TechXplore, ce projet de recherche établit un record pour la super-résolution, car jamais auparavant des images n’ont été créées avec une telle fidélité à partir d’un si petit échantillon de pixels de départ. Les chercheurs ont souligné que le modèle ne recrée pas réellement le visage de la personne de l’image d’origine de mauvaise qualité. Au lieu de cela, il génère de nouveaux visages, en remplissant les détails qui n’étaient pas là auparavant. Pour cette raison, le modèle ne pourrait pas être utilisé pour des systèmes de sécurité, car il ne pourrait pas transformer des images floues en images d’une personne réelle.

Les techniques traditionnelles de super-résolution fonctionnent en faisant des suppositions sur les pixels nécessaires pour transformer l’image en une image à haute résolution, en fonction des images que le modèle a apprises auparavant. Puisque les pixels ajoutés sont le résultat de suppositions, et non tous les pixels correspondent à leurs pixels environnants, et certaines régions de l’image peuvent paraître floues ou déformées. Les chercheurs de l’Université Duke ont utilisé une méthode différente pour former leur modèle d’IA. Le modèle créé par les chercheurs de Duke fonctionne en prenant d’abord des images à basse résolution et en ajoutant des détails à l’image au fil du temps, en référençant des visages à haute résolution générés par IA comme exemples. Le modèle référence les visages générés par IA et tente de trouver ceux qui ressemblent aux images cibles lorsque les visages générés sont mis à l’échelle à la taille de l’image cible.

L’équipe de recherche a créé un modèle de réseau antagoniste génératif pour gérer la création de nouvelles images. Les GAN sont en réalité deux réseaux neuronaux qui sont formés sur le même ensemble de données et opposés l’un à l’autre. Un réseau est responsable de la génération d’images fausses qui imitent les images réelles de l’ensemble de formation, tandis que le deuxième réseau est responsable de la détection des images fausses parmi les images authentiques. Le premier réseau est informé lorsque ses images ont été identifiées comme fausses, et il s’améliore jusqu’à ce que les images fausses soient indiscernables des images authentiques.

Les chercheurs ont baptisé leur modèle de super-résolution PULSE, et le modèle produit régulièrement des images de haute qualité, même si on lui donne des images si floues que d’autres méthodes de super-résolution ne peuvent pas créer des images de haute qualité à partir de celles-ci. Le modèle est même capable de créer des visages réalistes à partir d’images où les caractéristiques du visage sont presque indiscernables. Par exemple, lorsqu’il reçoit une image d’un visage avec une résolution de 16×16, il peut créer une image de 1024 x 1024. Plus d’un million de pixels sont ajoutés au cours de ce processus, en remplissant des détails tels que des mèches de cheveux, des rides et même des éclairages. Lorsque les chercheurs ont demandé à des gens d’évaluer 1440 images générées par PULSE par rapport à des images générées par d’autres techniques de super-résolution, les images générées par PULSE ont obtenu régulièrement les meilleures notes.

Alors que les chercheurs ont utilisé leur modèle sur des images de visages, les mêmes techniques qu’ils utilisent pourraient être appliquées à presque n’importe quel objet. Des images à basse résolution de divers objets pourraient être utilisées pour créer des images à haute résolution de cet ensemble d’objets, ouvrant des applications possibles pour une variété d’industries et de domaines différents, allant de la microscopie, de l’imagerie satellitaire, de l’éducation, de la fabrication et de la médecine.