JPEG-KI verwischt die Grenze zwischen echten und synthetischen Bildern

Im Februar dieses Jahres wurde der JPEG-KI-International-Standard veröffentlicht, nach mehrjähriger Forschung, die darauf abzielte, maschinelles Lernen zu verwenden, um einen kleineren und leichter übertragbaren und speicherbaren Bild-Codec ohne Verlust der wahrgenommenen Qualität zu produzieren.

Aus dem offiziellen Veröffentlichungsstrom für JPEG-KI, ein Vergleich zwischen Peak Signal-to-Noise Ratio (PSNR) und JPEG-KIs ML-verbesserter Methode. Quelle: https://jpeg.org/jpegai/documentation.html

Einer der möglichen Gründe, warum diese Ankündigung wenige Schlagzeilen machte, ist, dass die Kern-PDFs für diese Ankündigung (ironischerweise) nicht über kostenlose Zugangs-Portale wie Arxiv verfügbar waren. Dennoch hatte Arxiv bereits eine Reihe von Studien veröffentlicht, die die Bedeutung von JPEG-KI in verschiedenen Aspekten untersuchten, einschließlich der ungewöhnlichen Komprimierungsartefakte und ihrer Bedeutung für die Forensik.

Eine Studie verglich Komprimierungsartefakte, einschließlich der eines früheren Entwurfs von JPEG-KI, und fand heraus, dass die neue Methode eine Tendenz hatte, Text zu verschwimmen – kein unwichtiger Punkt in Fällen, in denen der Codec möglicherweise zu einer Beweiskette beiträgt. Quelle: https://arxiv.org/pdf/2411.06810

Weil JPEG-KI Bilder auf eine Weise verändert, die den Artefakten von synthetischen Bildgeneratoren ähnelt, haben bestehende Forensik-Tools Schwierigkeiten, echte von gefälschten Bildern zu unterscheiden:

Nach der JPEG-KI-Komprimierung können state-of-the-art-Algorithmen authentische Inhalte von manipulierten Regionen in Lokalisierungskarten nicht mehr zuverlässig trennen, laut einer aktuellen Studie (März 2025). Die Quellbeispiele auf der linken Seite sind manipulierte/falsche Bilder, bei denen die manipulierten Regionen unter Standard-Forensik-Techniken (Bild in der Mitte) klar abgegrenzt sind. Nach der JPEG-KI-Komprimierung erhält das falsche Bild jedoch eine Schicht der Glaubwürdigkeit (Bild rechts). Quelle: https://arxiv.org/pdf/2412.03261

Einer der Gründe dafür ist, dass JPEG-KI mit einer Modellarchitektur trainiert wird, die denen ähnelt, die von generativen Systemen verwendet werden, die von Forensik-Tools erkannt werden sollen:

Das neue Papier veranschaulicht die Ähnlichkeit zwischen den Methoden der KI-gesteuerten Bildkomprimierung und tatsächlichen KI-generierten Bildern. Quelle: https://arxiv.org/pdf/2504.03191

Daher können beide Modelle einige ähnliche zugrunde liegende visuelle Merkmale produzieren, aus forensischer Sicht.

Quantisierung

Diese Überschneidung tritt auf, weil die Quantisierung in beiden Architekturen verwendet wird und die in maschinellem Lernen sowohl als Methode zur Umwandlung von kontinuierlichen Daten in diskrete Datenpunkte als auch als Optimierungstechnik verwendet wird, die die Dateigröße eines trainierten Modells erheblich reduzieren kann (leidenschaftliche Bildsynthese-Enthusiasten werden mit dem Warten zwischen einer unhandlichen offiziellen Modellveröffentlichung und einer communitygeführten quantisierten Version, die auf lokalen Hardware läuft, vertraut sein).

In diesem Kontext bezieht sich die Quantisierung auf den Prozess der Umwandlung der kontinuierlichen Werte in der latenten Darstellung des Bildes in feste, diskrete Schritte. JPEG-KI verwendet diesen Prozess, um die Menge an Daten zu reduzieren, die zum Speichern oder Übertragen eines Bildes benötigt wird, indem die interne numerische Darstellung vereinfacht wird.

Obwohl die Quantisierung die Kodierung effizienter macht, führt sie auch zu strukturellen Regelmäßigkeiten, die den Artefakten von generativen Modellen ähneln – subtil genug, um die Wahrnehmung zu vermeiden, aber störend für Forensik-Tools.

Als Reaktion darauf schlagen die Autoren einer neuen Arbeit mit dem Titel Drei forensische Hinweise für JPEG-KI-Bilder interpretierbare, nicht-neuronale Techniken vor, die JPEG-KI-Komprimierung erkennen; bestimmen, ob ein Bild rekomprimiert wurde; und komprimierte echte Bilder von denen unterscheiden, die vollständig von KI-Modellen generiert wurden.

Methode

Farbkorrelationen

Das Papier schlägt drei ‘forensische Hinweise’ vor, die auf JPEG-KI-Bilder zugeschnitten sind: Farbkanalkorrelationen, die während der Vorverarbeitungsschritte von JPEG-KI eingeführt werden; messbare Verzerrungen in der Bildqualität über wiederholte Komprimierungen, die Rekompimiervorgänge aufdecken; und latenten Raum-Quantisierungsmuster, die helfen, zwischen Bildern zu unterscheiden, die mit JPEG-KI komprimiert wurden, und solchen, die von KI-Modellen generiert wurden.

Was den farbkorrelationsbasierten Ansatz betrifft, so führt die Vorverarbeitungspipeline von JPEG-KI statistische Abhängigkeiten zwischen den Farbkanälen des Bildes ein, was als forensischer Hinweis dienen kann.

JPEG-KI wandelt RGB-Bilder in den YUV-Farbraum um und führt eine 4:2:0-Chromasubsampling durch, die das Chrominanzkanal vor der Komprimierung herunterskaliert. Dieser Prozess führt zu subtilen Korrelationen zwischen den Hochfrequenzresten der roten, grünen und blauen Kanäle – Korrelationen, die in unkomprimierten Bildern nicht vorhanden sind und die sich in ihrer Stärke von denen unterscheiden, die durch traditionelle JPEG-Komprimierung oder synthetische Bildgeneratoren erzeugt werden.

Ein Vergleich, wie JPEG-KI-Komprimierung Farbkorrelationen in Bildern verändert..

Wir können oben einen Vergleich aus dem Papier sehen, der zeigt, wie JPEG-KI-Komprimierung Farbkorrelationen in Bildern verändert, wobei der rote Kanal als Beispiel verwendet wird.

Panel A vergleicht unkomprimierte Bilder mit JPEG-KI-komprimierten, und zeigt, dass die Komprimierung die interkanale Korrelation erheblich erhöht; Panel B isoliert die Wirkung der Vorverarbeitung von JPEG-KI – nur die Farbumwandlung und die Subsampling – und zeigt, dass selbst dieser Schritt allein die Korrelationen merklich erhöht; Panel C zeigt, dass traditionelle JPEG-Komprimierung die Korrelationen leicht erhöht, aber nicht in demselben Maße; und Panel D untersucht synthetische Bilder, wobei Midjourney-V5 und Adobe Firefly moderate Korrelationsanstiege zeigen, während andere näher an unkomprimierten Niveaus bleiben.

Raten-Verzerrung

Der Raten-Verzerrungs-Hinweis identifiziert JPEG-KI-Rekomprimierung, indem er verfolgt, wie die Bildqualität, gemessen durch Peak Signal-to-Noise Ratio (PSNR), in einem vorhersehbaren Muster über mehrere Komprimierungsdurchläufe abnimmt.

Die Forschung behauptet, dass das wiederholte Komprimieren eines Bildes mit JPEG-KI zu immer kleineren, aber noch messbaren, Qualitätsverlusten führt, wie durch PSNR quantifiziert, und dass diese allmähliche Verschlechterung die Grundlage für einen forensischen Hinweis auf die Erkennung bildet, ob ein Bild rekomprimiert wurde.

Im Gegensatz zur traditionellen JPEG-Komprimierung, bei der frühere Methoden Änderungen in bestimmten Bildblöcken verfolgten, erfordert JPEG-KI einen anderen Ansatz, aufgrund ihrer neuronalen Komprimierungsarchitektur; daher schlagen die Autoren vor, zu verfolgen, wie sowohl die Bitrate als auch die PSNR über aufeinanderfolgende Komprimierungen hinweg evolvieren. Jede Runde der Komprimierung verändert das Bild weniger als die vorherige, und diese abnehmende Änderung (wenn gegen die Bitrate aufgetragen) kann aufzeigen, ob ein Bild mehrere Komprimierungsstufen durchlaufen hat:

Eine Darstellung, wie wiederholte Komprimierung die Bildqualität über verschiedene Codecs hinweg beeinflusst, zeigt, dass JPEG-KI und ein neuronaler Codec, der bei https://arxiv.org/pdf/1802.01436 entwickelt wurde, einen stetigen Rückgang des PSNR mit jeder zusätzlichen Komprimierung aufweisen – sogar bei niedrigeren Bitraten. Im Gegensatz dazu bleibt die traditionelle JPEG-Komprimierung über mehrere Komprimierungen hinweg relativ stabil, es sei denn, die Bitrate ist hoch.

Im Bild oben können wir die Raten-Verzerrungskurven für JPEG-KI; einen zweiten KI-basierten Codec; und traditionelle JPEG-Komprimierung sehen, und feststellen, dass JPEG-KI und der neuronale Codec einen konstanten PSNR-Rückgang über alle Bitraten hinweg aufweisen, während traditionelle JPEG-Komprimierung nur bei viel höheren Bitraten eine merkliche Verschlechterung zeigt. Dieses Verhalten bietet einen quantifizierbaren Hinweis, der zur Kennzeichnung von rekomprierten JPEG-KI-Bildern verwendet werden kann.

Durch die Analyse, wie die Bitrate und die Bildqualität über mehrere Komprimierungsrunden hinweg evolvieren, konstruierten die Autoren ähnlich ein Signaturen, das hilft, zu erkennen, ob ein Bild rekompriert wurde, was einen potenziell praktischen forensischen Hinweis im Kontext von JPEG-KI bietet.

Quantisierung

Wie wir bereits gesehen haben, ist eines der schwierigeren forensischen Probleme, die durch JPEG-KI aufgeworfen werden, ihre visuelle Ähnlichkeit mit synthetischen Bildern, die von Diffusionsmodellen generiert werden. Beide Systeme verwenden Encoder-Decoder-Architekturen, die Bilder in einem komprimierten latenten Raum verarbeiten und oft subtile Upsampling-Artefakte hinterlassen.

Diese gemeinsamen Merkmale können Detektoren verwirren – sogar solche, die auf JPEG-KI-Bildern trainiert wurden. Es bleibt jedoch ein wichtiger struktureller Unterschied bestehen: JPEG-KI wendet Quantisierung an, ein Schritt, der latente Werte auf diskrete Niveaus für eine effiziente Komprimierung rundet, während generative Modelle dies normalerweise nicht tun.

Das neue Papier nutzt diesen Unterschied, um einen forensischen Hinweis zu entwerfen, der indirekt die Anwesenheit von Quantisierung testet. Die Methode analysiert, wie die latente Darstellung eines Bildes auf Rundung reagiert, unter der Annahme, dass, wenn ein Bild bereits quantisiert wurde, seine latente Struktur ein messbares Muster der Ausrichtung mit gerundeten Werten aufweisen wird.

Diese Muster, obwohl unsichtbar für das Auge, erzeugen statistische Unterschiede, die helfen können, zwischen komprimierten echten Bildern und vollständig synthetischen Bildern zu unterscheiden.

Ein Beispiel für Durchschnitts-Fourier-Spektren zeigt, dass sowohl JPEG-KI-komprimierte Bilder als auch solche, die von Diffusionsmodellen wie Midjourney-V5 und Stable Diffusion XL generiert wurden, regelmäßige gitterartige Muster im Frequenzbereich aufweisen – Artefakte, die häufig mit Upsampling in Verbindung gebracht werden. Im Gegensatz dazu fehlen diese Muster in echten Bildern. Diese Überschneidung in der spektralen Struktur hilft zu erklären, warum Forensik-Tools oft komprimierte echte Bilder mit synthetischen verwechseln.

Wichtig ist, dass die Autoren zeigen, dass dieser Hinweis über verschiedene generative Modelle hinweg funktioniert und auch dann wirksam bleibt, wenn die Komprimierung stark genug ist, um ganze Abschnitte des latenten Raums auszulöschen. Im Gegensatz dazu zeigen synthetische Bilder viel schwächere Reaktionen auf diesen Rundungstest, was eine praktische Möglichkeit bietet, zwischen beiden zu unterscheiden.

Das Ergebnis ist als leichtgewichtiges und interpretierbares Werkzeug konzipiert, das auf den Kernunterschied zwischen Komprimierung und Generation abzielt, anstatt sich auf brüchige Oberflächenmerkmale zu verlassen.

Daten und Tests

Komprimierung

Um zu bewerten, ob ihr Farbkorrelations-Hinweis JPEG-KI-Komprimierung (d. h. einen ersten Durchgang von unkomprimierten Quellen) zuverlässig erkennen kann, testeten die Autoren ihn an hochwertigen unkomprimierten Bildern aus dem RAISE-Datensatz, die sie bei verschiedenen Bitraten mit der JPEG-KI-Referenzimplementierung komprimierten.

Sie trainierten einen einfachen Random-Forest auf den statistischen Mustern der Farbkanalkorrelationen (insbesondere, wie das Rauschen in jedem Kanal mit den anderen ausgerichtet war) und verglichen dies mit einem ResNet50-Neural-Netzwerk, das direkt auf den Bildpixeln trainiert wurde.

Erfolgsrate der JPEG-KI-Komprimierungserkennung mit Farbkorrelationsmerkmalen, verglichen über verschiedene Bitraten. Die Methode ist am effektivsten bei niedrigeren Bitraten, wo Komprimierungsartefakte stärker sind, und zeigt eine bessere Verallgemeinerung auf nicht gesehene Komprimierungsniveaus als das ResNet50-Modell.

Während das ResNet50 eine höhere Genauigkeit erzielte, wenn die Testdaten ihren Trainingsbedingungen entsprachen, hatte es Schwierigkeiten, sich über verschiedene Komprimierungsniveaus zu verallgemeinern. Der korrelationsbasierte Ansatz, obwohl viel einfacher, erwies sich als konsistenter über Bitraten hinweg, insbesondere bei niedrigeren Komprimierungsraten, wo die Vorverarbeitung von JPEG-KI einen stärkeren Effekt hat.

Diese Ergebnisse deuten darauf hin, dass es möglich ist, JPEG-KI-Komprimierung mit statistischen Hinweisen zu erkennen, die interpretierbar und widerstandsfähig bleiben, auch ohne tiefes Lernen.

Rekomprimierung

Um zu bewerten, ob JPEG-KI-Rekomprimierung zuverlässig erkannt werden kann, testeten die Forscher den Raten-Verzerrungs-Hinweis auf einem Satz von Bildern, die bei verschiedenen Bitraten komprimiert wurden – einige nur einmal und andere ein zweites Mal mit JPEG-KI.

Bei dieser Methode wurde ein 17-dimensionales Merkmalvektor extrahiert, um zu verfolgen, wie die Bitrate und der PSNR des Bildes über drei Komprimierungsdurchläufe hinweg evolvierten. Dieser Merkmalsatz erfasste, wie viel Qualität bei jedem Schritt verloren ging und wie die latenten und Hyperprior-Raten sich verhielten – Metriken, die traditionelle pixelbasierte Methoden nicht leicht zugänglich machen.

Die Forscher trainierten einen Random-Forest auf diesen Merkmalen und verglichen seine Leistung mit einem ResNet50, das auf Bildsegmenten trainiert wurde:

Ergebnisse für die Klassifikationsgenauigkeit eines Random-Forest, der auf Raten-Verzerrungsmerkmalen trainiert wurde, um zu erkennen, ob ein JPEG-KI-Bild rekompriert wurde. Die Methode funktioniert am besten, wenn die erste Komprimierung stark ist (d. h. bei niedrigeren Bitraten), und übertrifft dann konsistent ein pixelbasiertes ResNet50 – insbesondere in Fällen, in denen die zweite Komprimierung milder ist als die erste.

Der Random-Forest erwies sich als bemerkenswert effektiv, wenn die erste Komprimierung stark war (d. h. bei niedrigeren Bitraten), und zeigte klare Unterschiede zwischen einfach und doppelt komprimierten Bildern. Wie bei dem vorherigen Hinweis hatte das ResNet50 Schwierigkeiten, sich zu verallgemeinern, insbesondere wenn es auf Komprimierungsniveaus getestet wurde, die es während des Trainings nicht gesehen hatte.

Die Raten-Verzerrungsmerkmale hingegen blieben über eine breite Palette von Szenarien hinweg stabil. Bemerkenswerterweise funktionierte der Hinweis auch, wenn er auf einen anderen KI-basierten Codec angewendet wurde, was darauf hindeutet, dass der Ansatz über JPEG-KI hinaus verallgemeinert.

JPEG-KI und synthetische Bilder

Für die abschließende Testrunde testeten die Autoren, ob ihre quantisierungsbezogenen Merkmale JPEG-KI-komprimierte Bilder von vollständig synthetischen Bildern unterscheiden können, die von Modellen wie Midjourney, Stable Diffusion, DALL-E 2, Glide und Adobe Firefly generiert wurden.

Dazu verwendeten die Forscher einen Teil des Synthbuster-Datensatzes, der reale Fotos aus der RAISE-Datenbank mit generierten Bildern aus einer Reihe von Diffusions- und GAN-basierten Modellen kombinierte.

Beispiele für synthetische Bilder im Synthbuster-Datensatz, generiert mit Text-Prompts, die von natürlichen Fotografien aus dem RAISE-1k-Datensatz inspiriert wurden. Die Bilder wurden mit verschiedenen Diffusionsmodellen erstellt, wobei die Prompts darauf abzielten, photorealistische Inhalte und Texturen zu erzeugen, anstatt stilisierte oder künstlerische Darstellungen. Quelle: https://ieeexplore.ieee.org/document/10334046

Die echten Bilder wurden mit JPEG-KI bei verschiedenen Bitraten komprimiert, und die Klassifikation wurde als zweiteilige Aufgabe formuliert: entweder JPEG-KI gegen einen bestimmten Generator oder eine bestimmte Bitrate gegen Stable Diffusion XL.

Die Quantisierungsmerkmale (Korrelationen, die aus latenten Darstellungen extrahiert wurden) wurden aus einer festen 256×256-Region berechnet und einem Random-Forest-Klassifizierer zugeführt. Als Vergleichsgrundlage wurde ein ResNet50 auf Pixeln aus den gleichen Daten trainiert.

Klassifikationsgenauigkeit eines Random-Forest, der Quantisierungsmerkmale verwendet, um JPEG-KI-komprimierte Bilder von synthetischen Bildern zu trennen.

Über die meisten Bedingungen hinweg übertraf der quantisierungsbezogene Ansatz den ResNet50-Baseline, insbesondere bei niedrigeren Bitraten, wo Komprimierungsartefakte stärker waren.

Die Autoren stellen fest:

‘Die Baseline ResNet50 erzielt die beste Leistung für Glide-Bilder mit einer Genauigkeit von 66,1%, aber verallgemeinert ansonsten schlechter als die Quantisierungsmerkmale. Die Quantisierungsmerkmale zeigen eine gute Verallgemeinerung über Komprimierungsstärken und Generatortypen hinweg.

‘Die Bedeutung der Koeffizienten, die auf Null quantisiert werden, zeigt sich in der respektablen Leistung der abgeschnittenen [Merkmale], die in vielen Fällen eine Leistung erzielen, die mit der des ResNet50-Klassifizierers vergleichbar ist.

‘Jedoch führen Quantisierungsmerkmale, die den ungeschnittenen, vollständigen ganzzahligen [Vektor] verwenden, immer noch bemerkenswert besser. Diese Ergebnisse bestätigen, dass die Anzahl der Nullen nach der Quantisierung ein wichtiger Hinweis für die Unterscheidung zwischen KI-komprimierten und KI-generierten Bildern ist.

‘Trotzdem zeigt es auch, dass andere Faktoren beitragen. Die Genauigkeit des vollständigen Vektors für die Erkennung von JPEG-KI liegt für alle Bitraten über 91,0%, und eine stärkere Komprimierung führt zu höheren Genauigkeiten.’

Eine Projektion des Merkmalsraums mit UMAP zeigte eine klare Trennung zwischen JPEG-KI- und synthetischen Bildern, wobei niedrigere Bitraten den Abstand zwischen den Klassen erhöhten. Ein konsistenter Ausreißer war Glide, dessen Bilder anders clusterierten und die niedrigste Erkennungsrate aller getesteten Generatoren aufwiesen.

Zweidimensionale UMAP-Visualisierung von JPEG-KI-komprimierten und synthetischen Bildern auf der Grundlage von Quantisierungsmerkmalen. Das linke Diagramm zeigt, dass niedrigere JPEG-KI-Bitraten eine größere Trennung von synthetischen Bildern erzeugen; das rechte Diagramm zeigt, wie Bilder von verschiedenen Generatoren innerhalb des Merkmalsraums unterschiedlich clusterieren.

Schließlich bewerteten die Autoren, wie gut die Merkmale unter typischer Nachbearbeitung wie JPEG-Rekomprimierung oder Downsampling bestehen. Obwohl die Leistung bei stärkerer Verarbeitung abnahm, war der Rückgang allmählich, was darauf hindeutet, dass der Ansatz einige Robustheit auch unter verschlechterten Bedingungen beibehält.

Bewertung der Robustheit von Quantisierungsmerkmalen unter Nachbearbeitung, einschließlich JPEG-Rekomprimierung (JPG) und Bildgrößenänderung (RS).

Schlussfolgerung

Es ist nicht garantiert, dass JPEG-KI weite Verbreitung finden wird. Einerseits gibt es genug infrastrukturelle Schulden, um jeden neuen Codec zu behindern; und selbst ein ‘konventioneller’ Codec mit einem feinen Erbe und breiter Übereinstimmung über seinen Wert, wie AV1, hat Schwierigkeiten, etablierte Methoden zu verdrängen.

Was das Potenzial des Systems für einen Konflikt mit KI-Generatoren betrifft, so könnten die charakteristischen Quantisierungsartefakte, die der aktuellen Generation von KI-Bild-Detektoren helfen, in späteren Systemen (unter der Annahme, dass KI-Generatoren immer forensische Spuren hinterlassen, was nicht sicher ist) geschwächt oder ersetzt werden durch Spuren einer anderen Art.

Dies würde bedeuten, dass die Quantisierungseigenschaften von JPEG-KI, vielleicht zusammen mit anderen Hinweisen, die in dem neuen Papier identifiziert wurden, möglicherweise nicht mit der forensischen Spur der effektivsten neuen generativen KI-Systeme kollidieren.

Wenn jedoch JPEG-KI weiterhin als de facto ‘KI-Wasch’ fungiert, die Unterscheidung zwischen echten und generierten Bildern erheblich verwischt, wäre es schwierig, einen überzeugenden Fall für seine Einführung zu machen.

Erstveröffentlicht am Dienstag, den 8. April 2025