Restaurer ce que votre appareil photo a capturé avant que l’IA ne le modifie

Comment protéger la sainteté d’une photographie brute des interférences de l’IA lorsqu’elle a déjà été traitée automatiquement par l’IA à l’intérieur de l’appareil photo? De nouvelles recherches visent à restaurer les « vraies » données des capteurs – également avec l’IA!

L’augmentation de l’authenticité des images créées par l’IA au cours de la dernière année ou plus a conduit de nombreux groupes et individus à se mobiliser contre l’érosion de la confiance dans la photographie qui en a résulté.

Dans la même période, la Coalition pour la preuve et l’authenticité du contenu (C2PA) a tenté de diffuser un standard semi-cryptographique qui attache des informations de provenance basées sur des métadonnées à une image, dès l’instant où elle est capturée par un appareil ou un dispositif pris en charge, dans l’espoir de démasquer toute utilisation ultérieure d’IA générative sur ces « images originales »:

Schéma de la provenance dans le système C2PA, où les métadonnées écrites au moment de la capture peuvent être ajoutées comme un journal, permettant des ajustements habituels tels que la luminosité et le contraste, mais enregistrant les ajustements majeurs, de sorte qu’une image fortement modifiée par l’IA apparaîtra comme telle dans les médias qui prennent en charge ce système. Source

L’adoption de cette norme n’a pas été aussi large que la coalition l’avait espéré, et actuellement seulement 14 appareils photo prennent en charge l’estampillage de l’information d’authenticité dans l’appareil.

Ce qui est intéressant dans l’idée du C2PA de donner à une photo un « passeport » dès sa création, c’est que cela peut être trop tard – car les fabricants d’appareils photo intègrent désormais régulièrement le traitement par l’IA dans la création même de l’image:

Extrait du document de 2024 « Advocating Pixel-Level Authentication of Camera-Captured Images »: une illustration de la façon dont les pipelines de caméra modernes introduisent du contenu halluciné au moment de la capture et de la façon dont les métadonnées d’authentification au niveau des pixels les exposent. Dans (A), une image de capteur de smartphone est traitée par le processeur d’images, où les modules d’IA peuvent inventer des détails pendant le zoom numérique ou la correction d’exposition, produisant des images réalistes avec des erreurs telles que des chiffres de plaque d’immatriculation mal lus. Dans (B), un masque d’authentification est intégré comme métadonnée et superposé plus tard pour révéler les régions non authentiques, permettant aux utilisateurs de distinguer les données originales des pixels modifiés par l’IA. Source

En fait, cette interférence de l’IA dans la capture de données brutes à partir du capteur de l’appareil photo pourrait éventuellement devenir le processus dominant.

Ce type de post-traitement n’est pas le même que la tendance actuelle à modifier les photos dans l’appareil, dans laquelle une application de téléphone ou une application d’appareil photo permet à l’utilisateur de reconsidérer une photo à loisir avant même de la télécharger de l’appareil.

Plutôt, le traitement se produit dans une routine « boîte noire » dans le processeur de signal d’image (ISP) de l’appareil photo, généralement dans un runtime propriétaire qui n’expose ni ne met à disposition les données brutes du capteur (et considérez que le format « brut » de l’appareil photo n’est pas si « brut »).

Par conséquent, lorsque vous pouvez voir la photo, elle a peut-être déjà été soumise à des améliorations aidées par l’IA telles que l’amélioration de faible luminosité, le suréchantillonnage ou même le remplacement de la lune.

Dans de nombreux cas, cela peut conduire à des reconstructions inexactes, par exemple de texte, qui pourraient invalider l’utilisation d’une telle image comme preuve, puisqu’une image « brute » véritable ne serait pas disponible:

Extrait du nouveau document – une image brute de capteur est traitée par un ISP compatible avec le GenAI pour produire une sortie finale sRGB qui apparaît plus claire mais peut contenir des détails hallucinés, comme le montre l’exemple de plaque d’immatriculation où les caractères sont incorrectement déduits pendant le zoom numérique. La scène réelle, qui n’est pas accessible dans la pratique, diffère à la fois de la sortie améliorée par l’IA et de l’image authentique intermédiaire avant l’hallucination. L’approche proposée permet de récupérer cette image pré-hallucination, en restaurant ce que l’optique de l’appareil photo a capturé à l’origine avant que les améliorations basées sur l’IA n’aient modifié le contenu. Source

Les exemples ci-dessus proviennent d’un nouveau document de recherche qui propose un remède aux « photos natives de l’IA », en utilisant des processus d’IA alternatifs pour reconstruire l’image brute et non altérée estimée à partir de l’image traitée.

Les auteurs déclarent:

‘Lorsque des modèles d’IA formés avec des pertes génératives ou perceptuelles sont utilisés dans les ISP, ils sont sujets à halluciner du contenu, modifiant potentiellement le sens de l’image. L’implication est que les images directement sorties de l’appareil photo peuvent maintenant contenir un « contenu factice », en particulier dans les appareils photo de smartphone où les modules d’IA-ISP voient une adoption croissante.

‘L’utilisation de l’IA générative dans le matériel de l’appareil photo marque un changement de paradigme dans la façon dont nous considérons les images de l’appareil photo et remet en question la vue traditionnelle de la photographie selon laquelle les images capturées par l’appareil photo sont inhérentement fiables.’

Le nouveau travail utilise un encodeur très léger et un MLP décodeur, qui peut être inclus dans l’image avec une pénalité de poids de seulement 180 ko. L’objectif est le développement de systèmes de codage suffisamment rapides pour réextraire l’image originale en temps réel.

Extrait du nouveau document: la super-résolution basée sur le GenAI dans l’ISP de l’appareil photo peut subtilement modifier les caractéristiques faciales, en changeant l’apparence ou l’identité perçue par des changements dans le regard et la forme de la bouche. L’amélioration de faible luminosité peut modifier de la même manière le contenu de l’image, affectant l’interprétation malgré l’amélioration de la qualité visuelle. Dans l’exemple du code QR, l’amélioration rend l’image plus attrayante mais rend le code illisible. La méthode permet de récupérer l’image authentique avant ces hallucinations, en restaurant les détails faciaux originaux et un code QR scannable.

Alternativement, les fabricants d’appareils photo pourraient donner aux utilisateurs l’accès aux images de capteur non modifiées; cependant, cela semble susceptible de rester limité à des équipements très haut de gamme. Dans l’espace mobile et grand public, malheureusement, l’accès à des photos non traitées peut être considéré comme une poursuite « de niche » ou marginale.

Alors que les appareils photo grand public ont toujours appliqué un certain niveau de post-traitement, avant l’avènement de l’IA de pointe, les algorithmes utilisés étaient minimalement « interprétatifs » et peu susceptibles de modifier le contenu d’une photo de la même manière significative que les méthodes d’IA actuelles.

Intéressant, compte tenu de l’étendue à laquelle la politique de « remplacement de la lune » de Samsung a été sujet à des critiques publiques il y a quelques années, le Centre d’IA de Samsung à Toronto est l’un des participants à la nouvelle étude, intitulée Addressing Image Authenticity When Cameras Use Generative AI, et dirigée par des contributions de cinq chercheurs de l’Université de Toronto.

Méthode

Les auteurs utilisent le seul autre projet à ce jour qui semble avoir directement abordé le problème de la perturbation par conception: le document de 2024 Advocating Pixel-Level Authentication of Camera-Captured Images, qui a proposé un « masque d’authentification binaire » délimitant les zones modifiées par les processus d’IA de l’appareil photo:

À droite, le « masque d’authentification » du document de 2024 révèle les zones du ciel affectées par les processus de « lissage » de l’IA dans un appareil photo.

Cependant, le système n’a proposé aucune méthode pour récupérer une « image véritable », ce que le nouveau travail aborde, tout en reconnaissant une dette envers la sortie précédente.

L’objectif du nouveau travail est de permettre aux utilisateurs de récupérer une image aussi proche que possible de ce qui a réellement frappé le capteur avant que le traitement ne se produise:

Vue d’ensemble de la méthode proposée. En (A), au moment de la capture, l’image de sortie de l’ISP contenant des hallucinations est passée à travers un encodeur préentraîné gelé, et ses caractéristiques latentes sont combinées avec des coordonnées spatiales et alimentées dans un MLP qui opère au niveau du pixel pour prédire l’image non hallucinée, avec une formation guidée par une perte contre l’image authentique. Les poids de l’encodeur et du MLP sont ensuite enregistrés comme métadonnées aux côtés de l’image. En (B), au moment de l’inférence, ces poids sont récupérés à partir des métadonnées et utilisés avec l’encodeur et le MLP pour reconstruire l’image non hallucinée.

Au moment de la capture, dans la nouvelle méthode, l’image traitée est passée à travers un encodeur gelé qui la convertit en une représentation latente compacte. Ensuite, les coordonnées spatiales pertinentes sont combinées avec ces caractéristiques et alimentées dans un MLP léger qui opère au niveau du pixel, pour prédire le contenu de l’image originale – en apprenant, en effet, à soustraire les éléments hallucinés par une perte de reconstruction, contre des cibles authentiques.

L’encodeur et le décodeur sont préentraînés sur des ensembles de données appariés authentiques et hallucinés, puis rapidement affinés pour chaque image capturée, avec leurs poids stockés comme métadonnées aux côtés de la photo elle-même, en ajoutant seulement une petite surcharge de taille.

Au moment de la visualisation, ces poids stockés sont extraits et réutilisés pour exécuter le même encodeur et MLP, permettant de récupérer une image qui se rapproche étroitement de ce que le capteur de l’appareil photo a capturé à l’origine, sans introduire de nouveau contenu synthétique.

Données et tests

Les auteurs ont testé la nouvelle méthode en utilisant deux des tâches de post-traitement les plus couramment mises en œuvre dans les ISP: la super-résolution (SR, y compris pour les zones agrandies); et la photographie en faible luminosité.

Pour la section des tests de super-résolution (SR) sur les images « naturelles », de nombreux exemples de texte ont été inclus dans les données, car les routines de SR de l’ISP sont connues pour avoir modifié le texte (par exemple, les plaques d’immatriculation, mais voir les exemples plus tôt dans l’article). Puisque la distorsion du texte est un problème discret en soi, cela a été traité comme un sous-ensemble des tests de SR, avec des données dédiées.

Les encodeurs susmentionnés ont été formés pour chacune des deux modalités testées, et chacun a été sélectionné en fonction du module d’IA ISP susceptible d’être engagé pendant la capture (par exemple, un module « faible luminosité », dans des conditions sombres).

Les auteurs ont utilisé l’ensemble de données DIV2K pour la formation de la super-résolution, alimenté par le réseau RealESRGAN populaire. Conformément au travail de 2024 sur l’interférence de l’ISP, les chercheurs ont généré des données appariées présentant du contenu non affecté et halluciné.

Pour la section de super-résolution de texte, les auteurs ont utilisé le modèle de super-résolution de texte MARCONet de 2023:

Extrait du document MARCONet de 2023, exemples de texte à basse résolution et de texte équivalent mis à l’échelle. Source

Pour créer des données appariées dans ce cas, les chercheurs ont passé des images non hallucinées à travers MARCONet. Deux mille images ont été générées à partir du code d’origine du projet, avec 200 mises de côté pour la validation, ainsi que 200 pour les tests.

Pour les tests de faible luminosité, l’ensemble de données LOw-Light (LOL) de 2018 a été adopté:

Extrait de l’ensemble de données LOL chinois de 2018, exemples de photos prises à différents niveaux d’exposition et de luminosité et de dégradation. Source

Frameworks concurrents

Pour évaluer la méthode, des comparaisons ont été effectuées avec trois références spécifiques formées dans des conditions équivalentes. Tout d’abord, SIREN et NeRF ont été préentraînés sur des images authentiques et hallucinées appariées, puis affinés au moment de la capture pendant la même durée que l’approche proposée, offrant une comparaison directe avec NeRF.

Deuxièmement, un MLP avec un codage appris basé sur la méthode hashgrid de Instant-NGP a été utilisé, avec les entrées de la table de hachage et le MLP optimisés conjointement.

La taille de l’incrustation et la capacité du réseau ont été équilibrées avec l’encodeur et le MLP cibles, avec des expériences couvrant à la fois l’optimisation par image à partir de zéro et la préformation suivie d’un affinage.

Troisièmement, une référence de traduction d’image aveugle a été mise en œuvre en utilisant un modèle NAFNet de 64 Mo, formé comme un système de régression pixel à pixel sans accès aux métadonnées.

Pendant la formation, l’optimiseur Adam a été utilisé sur PyTorch, à la fois pour la préformation et l’affinage. L’encodeur et le MLP ont été formés pendant 50 000 époques à une taille de lot de 32, avec des encodeurs spécifiques à la modalité formés pour chaque tâche (par exemple, SR, SR de texte, faible luminosité).

L’affinage a eu lieu pendant environ trois secondes sur un GPU NVIDIA V100 avec 32 Go de VRAM. Les auteurs notent que même si l’optimisation sur l’appareil est l’environnement cible et le scénario, il n’était pas réaliste de le mettre en œuvre pour tous les frameworks, et que tous les tests ont donc été effectués dans un environnement de bureau:

Comparaison des performances avec les références basées sur le MLP avec assistance de métadonnées, y compris SIREN, NeRF et la méthode de grille de hachage, ainsi que la récupération aveugle en utilisant NAFNet. Les résultats sont rapportés en PSNR en décibels sur trois tâches: super-résolution d’image naturelle sur DIV2K; super-résolution de texte sur MARCONet; et amélioration de faible luminosité sur LOL, avec la méthode des auteurs atteignant les scores les plus élevés dans chaque cas.

Pour les approches basées sur le MLP, les performances dépendaient fortement de la représentation d’entrée, où les modèles formés en utilisant uniquement des coordonnées spatiales ont lutté pendant la préformation et n’ont pas amélioré pendant la phase d’affinage limitée. L’ajout d’informations de couleur a conduit à des résultats plus solides.

La récupération aveugle en utilisant NAFNet s’est bien comportée sur DIV2K, où le mappage des images dégradées à des images propres était relativement stable, mais a échoué sur MARCONet et LOL, où de multiples reconstructions plausibles existaient et où le modèle manquait d’informations pour résoudre cette ambiguïté.

Cet effet a été le plus prononcé dans l’amélioration de faible luminosité, où la luminosité d’origine de la scène ne pouvait pas être fiablement déduite de l’image traitée seule.

Les auteurs déclarent:

‘[Dans] les données synthétiques MARCONet, les images avec différentes forces de flou se cartographient sur la même image hallucinée. On peut voir dans les résultats que notre approche proposée surpasse les concurrents sur tous les ensembles de données.’

Dans la comparaison ci-dessus, on peut voir à quel point les différentes méthodes se comportent en fonction du temps dont elles disposent pour s’exécuter au moment où une photo est prise. Former un modèle à partir de zéro pour chaque image peut produire des résultats solides, comme on le voit avec SIREN, NeRF et la méthode de grille de hachage – mais cela prend trop de temps pour être pratique à l’intérieur d’un appareil photo.

À la place, la méthode des auteurs effectue la majeure partie du travail à l’avance, avec un ajustement rapide au moment de la capture, ce qui lui permet de livrer de meilleurs résultats dans des délais serrés (3, 5 ou dix secondes).

Comparaison des performances avec les références basées sur le MLP avec assistance de métadonnées, y compris SIREN, NeRF et la méthode de grille de hachage, ainsi que la récupération aveugle en utilisant NAFNet. Les résultats sont rapportés en PSNR en décibels sur trois tâches: super-résolution d’image naturelle sur DIV2K; super-résolution de texte sur MARCONet; et amélioration de faible luminosité sur LOL, avec la méthode proposée atteignant les scores les plus élevés dans chaque cas. Veuillez vous référer au document source pour une résolution légèrement meilleure.

Ci-dessus sont présentés des résultats qualitatifs sur DIV2K, où les méthodes d’amélioration ont introduit des hallucinations visibles. Un modèle de super-résolution basé sur GAN a modifié la couleur des yeux, et la récupération aveugle a eu du mal à reconstruire l’image originale. NeRF et la méthode de grille de hachage ont produit des artefacts dans des régions structurées telles que les fenêtres et le texte, tandis que la méthode proposée correspondait plus étroitement à l’image authentique.

Enfin, dans la figure ci-dessus, on voit les résultats sur l’ensemble de données LOL, avec la luminosité mise à l’échelle pour la visualisation.

La récupération aveugle n’a pas pu résoudre l’échelle de luminosité inconnue, tandis que la méthode proposée a mieux reconstruit les textures et a restauré les caractères modifiés, tels qu’en corrigeant un « 1 » en « i », sans ajouter d’artefacts.

Conclusion

Il est probablement incontestable, et cela l’a toujours été, que « l’appareil photo ne ment jamais ». Chaque décision concernant ce que photographier et quand le photographier, ainsi que la façon de le présenter et de le contextualiser, est en effet une décision politique ou sociale.

Même les anciennes méthodes de post-traitement, telles que le dodging et le burning (depuis longtemps transférés aux outils de Photoshop) sont des actes hautement subjectifs de décision artistique et de préférence.

Cependant, ce n’est pas une raison pour abandonner l’objectif d’une capture d’image « objective »; et il semble raisonnable que le consommateur moyen devrait être autorisé, même avec quelques difficultés, à accéder aux « données brutes non massées » de l’appareil photo des photos qu’il prend, s’il le souhaite; ou du moins, qu’il devrait être autorisé à restreindre le post-traitement de l’ISP à des algorithmes non basés sur l’IA, comme il le préfère.

Publié pour la première fois vendredi 24 avril 2026