Die flüchtige Definition von “Deepfake”

Eine überzeugende neue Studie aus Deutschland kritisiert die Definition des Begriffs “Deepfake” im EU-AI-Gesetz als zu vage, insbesondere im Kontext der digitalen Bildmanipulation. Die Autoren argumentieren, dass der Schwerpunkt des Gesetzes auf Inhalten, die reale Personen oder Ereignisse ähneln, aber möglicherweise unecht erscheinen, an Klarheit mangelt.

Sie heben auch hervor, dass die Ausnahmen des Gesetzes für “Standardbearbeitung” (d. h. vermeintlich geringe AI-gestützte Änderungen an Bildern) weder die allgegenwärtige Einflussnahme von AI in Consumer-Anwendungen noch die subjektive Natur von künstlerischen Konventionen berücksichtigen, die der Einführung von AI vorausgehen.

Unpräzise Gesetzgebung in diesen Fragen gibt Anlass zu zwei wichtigen Risiken: einem “Erfrieren” der Innovation und der Einführung neuer Systeme, da der breite Interpretationsrahmen des Gesetzes die Innovation und die Einführung neuer Systeme hemmt; und einem “Scofflaw-Effekt”, bei dem das Gesetz als übergriffig oder irrelevant angesehen wird.

In beiden Fällen verlagert sich die Verantwortung für die Festlegung praktischer rechtlicher Definitionen auf zukünftige Gerichtsentscheidungen – ein vorsichtiger und risikoscheuer Ansatz in der Gesetzgebung.

AI-basierte Bildmanipulationstechnologien sind offensichtlich noch immer der Fähigkeit des Gesetzes voraus, sie anzusprechen. Ein bemerkenswertes Beispiel für die wachsende Elastizität des Konzepts von AI-getriebener “automatischer” Nachbearbeitung ist die “Scene Optimizer”-Funktion in aktuellen Samsung-Kameras, die Benutzern ermöglicht, Fotos des Mondes (ein schwieriges Thema) durch ein AI-getriebenes, “verfeinertes” Bild zu ersetzen:

Oben links, ein Beispiel aus der neuen Studie eines echten Benutzer-Fotos des Mondes, links von einem von Samsung verbesserten Bild, das automatisch mit Scene Optimizer erstellt wurde; Rechts, Samsungs offizielles Bild der Funktionsweise dieses Prozesses; Unten links, Beispiele von Reddit-Benutzer u/ibreakphotos, die (links) ein absichtlich unscharfes Bild des Mondes und (rechts) Samsungs Neudarstellung dieses Bildes zeigen – obwohl das Quellfoto ein Bild eines Monitors und nicht des echten Mondes war. Quellen (im Uhrzeigersinn von oben links): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https://reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

Unten links im Bild oben sehen wir zwei Bilder des Mondes. Das linke Bild ist ein Foto, das von einem Reddit-Benutzer aufgenommen wurde. Hier ist das Bild absichtlich unscharf und heruntergeskaliert worden.

Rechts davon sehen wir ein Foto desselben heruntergeskalierten Bildes, das mit einer Samsung-Kamera mit AI-getriebener Nachbearbeitung aufgenommen wurde. Die Kamera hat automatisch das erkannte “Mond”-Objekt “aufgewertet”, obwohl es sich nicht um den echten Mond handelte.

Die Studie kritisiert auch die “Best Take”-Funktion in Googles neuesten Smartphones – eine umstrittene AI-Funktion, die die “besten” Teile eines Gruppenfotos zusammenfügt, indem sie mehrere Sekunden einer Fotosequenz scanniert, so dass Lächeln vor- oder zurückgesetzt werden, wie erforderlich – und niemand in der Mitte blinzelt.

Die Studie behauptet, dass dieser Art von Kompositionsprozess das Potenzial hat, Ereignisse falsch darzustellen:

‘[In] einer typischen Gruppenfotosituation würde ein durchschnittlicher Betrachter das resultierende Foto wahrscheinlich immer noch als authentisch betrachten. Das Lächeln, das eingesetzt wird, existierte innerhalb von ein paar Sekunden von dem Rest des Fotos, das aufgenommen wurde.

‘Andererseits ist der Zeitrahmen von zehn Sekunden für die “Best Take”-Funktion ausreichend für eine Stimmungsänderung. Eine Person könnte aufgehört haben zu lächeln, während die restliche Gruppe über einen Witz lacht, der auf ihre Kosten geht.

‘Als Folge davon nehmen wir an, dass ein solches Gruppenfoto sehr wohl ein Deep Fake sein kann.’

Die neue Studie trägt den Titel Was ist ein Deep Fake? Die unscharfe Linie zwischen legitimer Bearbeitung und Manipulation unter dem EU-AI-Gesetz und stammt von zwei Forschern des Computational Law Lab an der Universität Tübingen und der Saarland-Universität.

Alte Tricks

Die Manipulation von Zeit in der Fotografie ist viel älter als die Consumer-Level-AI. Die Autoren der neuen Studie weisen auf die Existenz viel älterer Techniken hin, die als “unecht” argumentiert werden können, wie die Verkettung mehrerer sequenzieller Bilder zu einem High Dynamic Range (HDR)-Foto oder einem ‘gestrickten’ Panoramabild.

Tatsächlich waren einige der ältesten und amüsantesten fotografischen Fälschungen traditionell von Schülern erstellt, die vor einer Schulkamera liefen, um in einem Bild zweimal zu erscheinen – ermöglicht durch die speziellen Panoramakameras, die früher für Sport- und Schulfotografie verwendet wurden:

Die Versuchung, Panoramakameras während Gruppenfotos zu täuschen, war für viele Schüler zu groß, um widerstehen zu können, um sich selbst in Schulfotos zu ‘klonen’. Quelle: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

Es sei denn, Sie nehmen ein Foto im RAW-Modus auf, der im Grunde den Kameraobjektivsensor in eine sehr große Datei ohne jede Art von Interpretation dumpft, ist es wahrscheinlich, dass Ihre digitalen Fotos nicht vollständig authentisch sind. Kamera-Systeme wenden standardmäßig “Verbesserungs”-Algorithmen wie Bildschärfung und Weißabgleich an – und haben dies seit den Anfängen der Consumer-Digitalfotografie getan.

Die Autoren der neuen Studie argumentieren, dass auch diese älteren Arten der digitalen Fotobearbeitung nicht die “Realität” darstellen, da diese Methoden darauf ausgelegt sind, Fotos angenehmer zu machen, nicht “realer”.

Die Studie legt nahe, dass das EU-AI-Gesetz, auch mit späteren Änderungen wie Recitals 123-27, alle fotografischen Ausgaben in einem evidentiellen Rahmen unterbringt, der nicht für den Kontext geeignet ist, in dem Fotos heute produziert werden, im Gegensatz zur (nominell objektiven) Natur von Sicherheitskamera-Footage oder Forensik-Fotografie. Die meisten vom AI-Gesetz behandelten Bilder stammen wahrscheinlich aus Kontexten, in denen Hersteller und Online-Plattformen aktive kreative Fotointerpretation fördern, einschließlich der Verwendung von AI.

Die Forscher legen dar, dass Fotos “nie eine objektive Darstellung der Realität” waren. Überlegungen wie die Position der Kamera, die Wahl der Tiefenschärfe und die Lichtverhältnisse tragen alle dazu bei, dass ein Foto tief subjektiv ist.

Die Studie bemerkt, dass Routine-“Aufräum”-Aufgaben – wie das Entfernen von Sensorstaub oder unerwünschten Stromleitungen aus einer ansonsten gut komponierten Szene – nur halbautomatisch waren, bevor AI aufkam: Benutzer mussten manuell eine Region auswählen oder einen Prozess initiieren, um ihr gewünschtes Ergebnis zu erzielen.

Heute werden diese Operationen oft durch Benutzertextprompts ausgelöst, insbesondere in Tools wie Photoshop. Auf Consumer-Ebene werden solche Funktionen zunehmend automatisiert ohne Benutzereingabe – ein Ergebnis, das offensichtlich von Herstellern und Plattformen als “offensichtlich wünschenswert” angesehen wird.

Die verdünnte Bedeutung von “Deepfake”

Eine zentrale Herausforderung für die Gesetzgebung rund um AI-veränderte und AI-generierte Bilder ist die Mehrdeutigkeit des Begriffs “Deepfake”, der in den letzten zwei Jahren deutlich erweitert wurde.

Ursprünglich bezogen sich die Begriffe nur auf Video-Ausgaben von autoencoder-basierten Systemen wie DeepFaceLab und FaceSwap, die von anonymem Code auf Reddit im späten Jahr 2017 stammten.

Ab 2022 ermöglichten die Latent-Diffusions-Modelle (LDMs) wie Stable Diffusion und Flux sowie Text-to-Video-Systeme wie Sora, die Identitätsaustausch und Anpassung ermöglichten, bei verbesserter Auflösung, Vielseitigkeit und Fidelität. Jetzt konnte man Diffusionsmodelle erstellen, die Prominente und Politiker darstellen konnten. Da der Begriff “Deepfake” bereits ein Schlagwort für Medienproduzenten war, wurde er auf diese Systeme ausgeweitet.

Später, in Medien und Forschungsliteratur, umfasste der Begriff auch textbasierte Nachahmung. Zu diesem Zeitpunkt war die ursprüngliche Bedeutung von “Deepfake” fast verloren gegangen, während seine erweiterte Bedeutung ständig evolvierte und zunehmend verdünnt wurde.

Aber da das Wort so brisant und galvanisierend war und nun ein mächtiges politisches und medialer Ankerpunkt war, erwies es sich als unmöglich, es aufzugeben. Es zog Leser auf Webseiten, Fördergelder für Forscher und Aufmerksamkeit für Politiker an. Diese lexikalische Mehrdeutigkeit ist der Hauptschwerpunkt der neuen Forschung.

Wie die Autoren feststellen, skizziert Artikel 3(60) des EU-AI-Gesetzes vier Bedingungen, die einen “Deepfake” definieren.

1: Wahrer Mond

Erstens muss der Inhalt erzeugt oder manipuliert werden, d. h. entweder aus dem Nichts mit AI erstellt (Erzeugung) oder von vorhandenen Daten geändert (Manipulation). Die Studie betont die Schwierigkeit, zwischen “akzeptablen” Bildbearbeitungsergebnissen und manipulativen Deepfakes zu unterscheiden, da digitale Fotos ohnehin nie wahre Abbildungen der Realität sind.

Die Studie argumentiert, dass ein von Samsung generierter Mond durchaus authentisch sein kann, da der Mond unwahrscheinlich sein Aussehen ändert und da der AI-generierte Inhalt, der auf realen Mondbildern trainiert wurde, wahrscheinlich genau ist.

Die Autoren stellen jedoch auch fest, dass, da das Samsung-System gezeigt hat, ein “verbessertes” Bild des Mondes in einem Fall zu generieren, in dem das Quellbild nicht der Mond selbst war, dies als “Deepfake” angesehen würde.

Es wäre undurchführbar, eine umfassende Liste von unterschiedlichen Anwendungsfällen um diese Art von ad hoc-Funktionalität zu erstellen. Daher scheint die Verantwortung für die Definition erneut den Gerichten zu übertragen.

2: TextFakes

Zweitens muss der Inhalt in Form von Bild, Audio oder Video sein. Textinhalte, die anderen Transparenzpflichten unterliegen, gelten unter dem AI-Gesetz nicht als Deepfake. Dies wird in der neuen Studie nicht im Detail behandelt, kann jedoch einen bemerkenswerten Einfluss auf die Wirksamkeit von visuellen Deepfakes haben (siehe unten).

3: Reale Weltprobleme

Drittens muss der Inhalt bestehende Personen, Objekte, Orte, Einheiten oder Ereignisse ähneln. Diese Bedingung etabliert eine Verbindung zur realen Welt, was bedeutet, dass rein fiktive Bilder, auch wenn sie photorealistisch sind, nicht als Deepfake gelten. Recital 134 des EU-AI-Gesetzes betont den “Ähnlichkeits”-Aspekt, indem es das Wort “wesentlich” hinzufügt (eine offensichtliche Verweisung auf spätere rechtliche Entscheidungen).

Die Autoren, die auf frühere Arbeiten verweisen, diskutieren, ob ein AI-generiertes Gesicht einem realen Menschen gehören muss oder ob es nur ähnlich genug sein muss, um diese Definition zu erfüllen.

Beispielsweise, wie kann man bestimmen, ob eine Sequenz von photorealistischen Bildern, die den Politiker Donald Trump zeigt, die Absicht hat, ihn nachzuahmen, wenn die Bilder (oder angehängten Texte) ihn nicht speziell erwähnen? Gesichtserkennung? Benutzersurveys? Eine Definition von “gesundem Menschenverstand” durch einen Richter?

Wenn man auf die “TextFakes”-Problematik (siehe oben) zurückkommt, stellen Wörter oft einen wesentlichen Teil des Aktes eines visuellen Deepfakes dar. Beispielsweise kann man ein (unverändertes) Bild oder Video von “Persönlichkeit a” nehmen und in einer Bildunterschrift oder einem sozialen Medien-Beitrag sagen, dass das Bild “Persönlichkeit b” zeigt (unter der Annahme, dass die beiden Personen eine Ähnlichkeit aufweisen).

In einem solchen Fall ist keine AI erforderlich, und das Ergebnis kann sehr effektiv sein – aber stellt ein solcher Low-Tech-Ansatz auch einen “Deepfake” dar?

4: Retusche, Umbau

Schließlich muss der Inhalt authentisch oder wahrheitsgetreu für eine Person erscheinen. Diese Bedingung betont die Wahrnehmung menschlicher Betrachter. Inhalte, die nur von einem Algorithmus als Darstellung einer realen Person oder eines realen Objekts erkannt werden, gelten nicht als Deepfake.

Von allen Bedingungen in 3(60) ist diese am offensichtlichsten den späteren Urteilen eines Gerichts vorbehalten, da sie keine Interpretation durch technische oder mechanisierte Mittel zulässt.

Es gibt offensichtlich einige inhärente Schwierigkeiten, eine Einigung über diese subjektive Feststellung zu erzielen. Die Autoren bemerken beispielsweise, dass unterschiedliche Menschen und unterschiedliche Arten von Menschen (wie Kinder und Erwachsene) verschieden disponiert sein können, an einen bestimmten Deepfake zu glauben.

Die Autoren stellen weiterhin fest, dass die fortschrittlichen AI-Fähigkeiten von Tools wie Photoshop traditionelle Definitionen von “Deepfake” in Frage stellen. Während diese Systeme möglicherweise grundlegende Schutzmechanismen gegen kontroversen oder verbotenen Inhalt enthalten, erweitern sie das Konzept der “Retusche” dramatisch. Benutzer können jetzt Objekte in einem sehr überzeugenden, photorealistischen Stil hinzufügen oder entfernen und ein professionelles Maß an Authentizität erreichen, das die Grenzen der Bildmanipulation neu definiert.

Die Autoren stellen fest:

‘Wir argumentieren, dass die aktuelle Definition von Deep Fakes im AI-Gesetz und die entsprechenden Verpflichtungen nicht ausreichend spezifiziert sind, um den Herausforderungen durch Deep Fakes zu begegnen. Durch die Analyse des Lebenszyklus eines digitalen Fotos vom Kamera-Sensor bis zu den digitalen Bearbeitungsfunktionen stellen wir fest, dass:’

‘(1.) Deep Fakes im EU-AI-Gesetz schlecht definiert sind. Die Definition lässt zu viel Spielraum für das, was ein Deep Fake ist.

‘(2.) Es ist unklar, wie Bearbeitungsfunktionen wie Googles “Best Take”-Funktion als Ausnahme von Transparenzpflichten betrachtet werden können.

‘(3.) Die Ausnahme für wesentlich bearbeitete Bilder wirft Fragen auf, was die wesentliche Bearbeitung von Inhalten ausmacht und ob diese Bearbeitung für eine natürliche Person wahrnehmbar sein muss.’

Ausnahme

Das EU-AI-Gesetz enthält Ausnahmen, die, wie die Autoren argumentieren, sehr großzügig sein können. Artikel 50(2), so argumentieren sie, bietet eine Ausnahme in Fällen, in denen die Mehrheit eines ursprünglichen Quellbildes nicht geändert wird. Die Autoren bemerken:

‘Was kann in Fällen von digitalen Audio-, Bild- und Videoinhalten als “Inhalt” im Sinne des Artikels 50(2) gelten? Zum Beispiel, im Falle von Bildern, müssen wir den Pixel-Raum oder den sichtbaren Raum, der für Menschen wahrnehmbar ist, berücksichtigen? Wesentliche Manipulationen im Pixel-Raum können die menschliche Wahrnehmung nicht ändern, und umgekehrt können kleine Störungen im Pixel-Raum die Wahrnehmung dramatisch ändern.’

Die Forscher liefern das Beispiel, ein Handfeuerwaffe zu einem Foto einer Person hinzuzufügen, die auf jemanden zeigt. Durch das Hinzufügen der Waffe ändert man weniger als 5% des Bildes; jedoch ist die semantische Bedeutung des geänderten Teils bemerkenswert. Daher scheint diese Ausnahme keine “gesunde Menschenvernunft” zu berücksichtigen.
Abschnitt 50(2) erlaubt auch Ausnahmen für eine “Assistenzfunktion für Standardbearbeitung”. Da das Gesetz nicht definiert, was “Standardbearbeitung” bedeutet, scheint selbst eine Nachbearbeitungsfunktion wie Googles “Best Take” durch diese Ausnahme geschützt zu sein, so die Autoren.

Schlussfolgerung

Die angegebene Absicht der neuen Arbeit ist es, interdisziplinäre Studien zur Regulierung von Deepfakes zu fördern und als Ausgangspunkt für neue Dialoge zwischen Informatikern und Rechtswissenschaftlern zu dienen.

Die Studie selbst unterliegt jedoch einer Tautologie an mehreren Punkten: Sie verwendet den Begriff “Deepfake” häufig, als ob seine Bedeutung selbstverständlich wäre, während sie gleichzeitig das EU-AI-Gesetz für das Versagen kritisiert, zu definieren, was tatsächlich einen Deepfake ausmacht.

Erstveröffentlichung am Montag, 16. Dezember 2024