Mit KI simulieren von Filmkorn

Mach Amerika wieder körnig: Ein neues KI-Tool kann Filmkorn von altem Footage entfernen, das Video bei einem Bruchteil der Größe komprimieren und das Korn dann wieder hinzufügen, sodass der Zuschauer nichts bemerkt. Es funktioniert mit bestehenden Video-Standards und reduziert die Bandbreite um bis zu 90 Prozent, während es das vintage-Look beibehält.

Für viele von uns, die Filme oder alte TV-Shows ansehen, ist das “Knistern” des Filmkorns beruhigend; selbst wenn wir es nicht bewusst wahrnehmen, sagt uns das Korn, dass das, was wir ansehen, mit Chemikalien und nicht mit Code gemacht wurde, und bindet die Erfahrung an die physische Welt: an die Wahl des Materials, die Belichtung, die Laborprozesse und die vergangenen Epochen:

Hollywoods Ansatz zum Korn hat sich im Laufe der Zeit und der Änderungen in der Kultur und den Produktionsmethoden verändert. In den 1960er Jahren trugen die Entwicklung von Kameras und fotografischen Verfahren zur visuellen Identität des Jahrzehnts bei. Später führten Regisseure, die mit digitalen Techniken arbeiteten, das Korn wieder bewusst ein. In den mittleren 1980er Jahren wählte der Regisseur James Cameron ein besonders grobes Kodak-Material für Aliens (1986, unten rechts im Bild), wahrscheinlich, um die Atmosphäre zu verstärken und gleichzeitig die Drähte für die praktischen VFX-Minaturen zu verstecken. Quelle: https://archive.is/3ZSjN (mein letzter Artikel zu diesem Thema)

Die analoge Textur stammt aus einer Zeit, in der die Produktion von Medien echtes Geld kostete, der Zugang begrenzt war und es zumindest eine lockere Vorstellung davon gab, dass nur die fähigsten oder entschlossenen durchkommen konnten, was als Abkürzung für Realismus und Glaubwürdigkeit diente – und, als hochauflösende Aufnahmetechnologien es eliminierten, Nostalgie.

Christopher Nolan wechselte nie. Während die meisten der Branche Digital für ihre Geschwindigkeit und Flexibilität annahmen, hielt der renommierte Regisseur an der Zelluloid fest, sowohl als Disziplin als auch als Ästhetik.

Denis Villeneuve, der innerhalb digitaler Pipelines arbeitet, lässt seine Footage dennoch durch photochemische Prozesse verarbeiten. Für die Dune-Filme, die digital gedreht wurden, wurde die Footage auf Filmstock gedruckt und dann wieder digitalisiert, rein für Atmosphäre und Effekt.

Falsches Korn

Kenner von Film- und TV-Qualität assoziieren sichtbares Korn mit hoher Auflösung, wo die Bitrate (die Menge an Daten, die in jeden Frame eingegeben wird) so hoch ist, dass sogar die kleinsten Details, wie Halidkörner, erhalten bleiben.

Wenn jedoch Streaming-Netzwerke tatsächlich eine solche Bitrate zur Verfügung stellten, würde dies die Netzwerkkapazität stark belasten und wahrscheinlich zu Pufferung und Stocken führen. Deshalb erstellen Plattformen wie Netflix optimierte AV1-Versionen ihrer Inhalte und verwenden die AV1-Codierungs-Fähigkeiten, um Korn zu den Filmen oder Episoden in einer intelligenten und angemessenen Weise hinzuzufügen, 30% der Bandbreite sparend dabei.

AV1 ist dafür ausgelegt, künstliches Filmkorn zu integrieren, wie in diesen Beispielen. Quelle: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Die ‘Korn-Fetisch’ ist ein relativ seltener digitaler Äquivalent zu atavistischen Trends wie der Wiederbelebung von Vinyl, und es ist schwer zu sagen, ob es von Streamern verwendet wird, um hoch optimiertes Video wie wirklich teures ‘rohes Video’ aussehen zu lassen (für die Zuschauer, die unbewusst diese Eigenschaften assoziieren), das Bitrate höher erscheinen zu lassen, als es tatsächlich ist; oder um den wahrgenommenen Qualitätsverlust abzufangen, den alte 4:3-Shows sonst bei der Streaming-Anbieter auf das 16:9-Format umstellen würden; oder einfach, um dem Retro-‘Nolan-Ästhetik’ allgemein zu frönen.

Korn isoliert

Das Problem ist, dass Korn auch Rauschen ist. Digitale Systeme hassen Rauschen, und Streaming-Codierer wie AV1 entfernen es, um Bandbreite zu sparen, es sei denn, Korneinstellungen sind explizit konfiguriert. Ebenso KI-Aufskalierer wie die Topaz Gigapixel-Serie behandeln Korn als einen Fehler, der korrigiert werden muss.

Im Bereich der diffusionsbasierten Bildsynthese ist Korn extrem herausfordernd zu generieren, da es extremes Detail darstellt, und würde normalerweise nur in massiv übertrainierten Modellen auftauchen, da die gesamte latente Diffusionsmodell-Architektur (LDM) darauf ausgelegt ist, Rauschen (wie Korn) in klare Bilder zu dekonstruieren, anstatt Kornflecken als implizite Eigenschaften in Medien zu behandeln.

Es kann daher schwierig sein, überzeugendes Korn mit maschinellem Lernen zu erstellen. Und selbst wenn man es könnte, würde die direkte Wiedergabe in ein optimiertes Video die Dateigröße des Videos wieder aufblähen.

Wegen dieser letztgenannten logistischen Überlegung bieten state-of-the-art-Video-Codierer wie Versatile Video Coding (VVC) Korn als eine Art ‘Sidecar’-Dienst an.

VVC komprimiert das saubere, entrauschte Video und entfernt das Korn. Anstatt Daten zu verschwenden, um zufällige hochfrequente Kornmuster zu erhalten, analysiert es das Korn separat und codiert eine kleine Menge an Parametern (z.B. Amplitude, Frequenz und Mischmodus), die beschreiben, wie ähnliches Korn während der Wiedergabe generiert werden kann.

Diese Parameter werden in einem FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) -Stream gespeichert, der neben dem Haupt-Bit-Stream läuft. Nach der Dekodierung verwendet ein Synthesemodul diese Anweisungen, um synthetisches Korn zu erzeugen, das dem Original ähnelt.

Dadurch wird das ‘Aussehen’ von hochbitratigem, kornreichem Emulsion erhalten, während die tatsächliche Bitrate niedrig bleibt, da der Encoder nicht gezwungen ist, Ressourcen für die Erhaltung unvorhersehbaren Rauschens aufzuwenden.

Zusätzlich, wie bei separaten Untertitel-Dateien, ist dieser ‘Korn’-Inhalt spezifisch für das Video in Frage; die willkürliche Anwendung generischer Korn-Filter in Plattformen wie Photoshop oder After Effects oder in automatisierten Verarbeitungspipelines würde nicht zu ‘angepasstem’ Korn führen, sondern zu einem nicht verwandten Überlagerung von Rauschen:

Links: Originalbild. Mitte: Photoshop Camera Raw Grain einheitlich auf alle Kanäle angewendet. Rechts: Der gleiche Grain-Filter auf jeden Kanal in Folge angewendet. Quellbild (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via mein vorheriger Artikel)

Photoshops ‘Grain’-Filter fügt einheitliches, zufälliges Rauschen hinzu; aber echtes Filmkorn stammt von Halidkristallen unterschiedlicher Größe. Die Anwendung des Filters auf jeden Kanal separat (siehe Bild oben) schafft nur mehr Chaos, nicht Realismus. Echtes Filmkorn spiegelt wider, wie Licht geschichtete Emulsionen im Moment der Belichtung trifft. Die Simulation davon würde die Schätzung erfordern, wie verschiedene Bereiche eines Bildes jede Halidschicht aktivieren würden, und nicht nur die Wirkung über RGB-Layer aufteilen.

FGA-NN

In diese fragwürdige Verfolgung kommt ein neues Forschungspapier aus Frankreich – ein kurzer, aber interessanter Ausflug, der eine quantitativ und qualitativ überlegene Methode zur Analyse und Rekonstruktion von Korn anbietet:

Vergleich zwischen Ground-Truth-Korn und Ergebnissen aus verschiedenen Analyse- und Synthesemethoden. Quelle: https://arxiv.org/pdf/2506.14350

Das neue System, betitelt FGA-NN, weicht nicht von der konventionellen Verwendung von konventioneller Gaussian-basierter Kornsynthese durch die standardmäßige VVC-kompatible Methode, Versatile Film Grain Synthesis (VFGS), ab. Was das System ändert, ist die Analyse, die ein neuronales Netzwerk verwendet, um die Syntheseparameter genauer zu schätzen

Daher ist das endgültige Korn immer noch mit dem gleichen konventionellen Gaussian-Modell synthetisiert – aber das Netzwerk liefert bessere Metadaten an einen standardmäßigen, regelbasierten Generator, um ein state-of-the-art-Modell zu erhalten.

Das neue Papier ist betitelt FGA-NN: Film Grain Analysis Neural Network und stammt von drei Forschern bei InterDigital (IDCC ) R&D, Cesson-Sévigné. Obwohl das Papier nicht lang ist, werfen wir einen Blick auf einige der wichtigsten Aspekte der Fortschritte, die die neue Methode bietet.

Methode

Zusammenfassend: Das FGA-NN-System nimmt ein körniges Video als Eingabe und extrahiert eine kompakte Beschreibung des Korns, gibt Parameter im standardisierten FGC-SEI-Format aus, das von diversen modernen Codecs verwendet wird. Diese Parameter werden neben dem Video übertragen, sodass der Decoder das Korn mithilfe von VFGS rekonstruieren kann, anstatt das Korn direkt zu codieren.

Das Schema für die Analyse und erneute Anwendung von Filmkorn in der Videoverteilung, unter Verwendung von FGA-NN für die Parameterextraktion und VFGS für die Synthese.

Um das Netzwerk zu trainieren, benötigten die Autoren Paare von körnigen Videos und entsprechenden FGC-SEI-Metadaten. Da die meisten körnigen Footage diese Art von Metadaten nicht haben, erstellten die Forscher ihr eigenes Dataset, indem sie FGC-SEI-Parameter generierten, synthetisches Korn auf saubere Videos anwendeten und diese als Trainingsbeispiele verwendeten.

Trainingsdaten für FGA-NN wurden erstellt, indem synthetisches Korn auf saubere Footage aus den BVI-DVC– und DIV2K-Datasets angewendet wurde. Zufällige FGC-SEI-Parameter wurden generiert und mit dem VFGS-Synthesetool verwendet, um jedem körnigen Video bekannte Metadaten zuzuordnen.

Das frequencybasierte Modell, das von aktuellen Video-Standards unterstützt wird, wurde verwendet, wobei die Parameterbereiche beschränkt wurden, um visuelle Plausibilität über Luma- und Chroma-Kanäle hinweg zu erhalten.

Trainingsdaten für die neue Sammlung wurden erstellt, indem synthetisches Korn auf saubere Footage aus den BVI-DVC– und DIV2K-Datasets angewendet wurde. Zufällige FGC-SEI-Parameter wurden generiert und mit dem Versatile Film Grain Synthesis (VFGS)-Tool verwendet, um jedem körnigen Video bekannte Metadaten zuzuordnen.

Überblick über die zufälligen FGC-SEI-Parameterbereiche, die zur Generierung von synthetischem Korn für die Trainingsdaten verwendet wurden, angewendet auf saubere Footage aus den BVI-DVC- und DIV2K-Datasets. Parameter wurden beschränkt, um visuelle Plausibilität über Luma- und Chroma-Kanäle hinweg zu erhalten.

Das frequencybasierte Modell, das von aktuellen Video-Standards unterstützt wird, wurde verwendet, wobei die Parameterbereiche beschränkt wurden, um visuelle Plausibilität über Luma- und Chroma-Kanäle hinweg zu erhalten.

Netzwerkeffekt

FGA-NN verfügt über zwei koordinierte Modelle, für Luma und Chroma, jeweils dazu ausgelegt, die spezifischen Parameter vorherzusagen, die zur Rekonstruktion von realistischem Filmkorn erforderlich sind.

Für jedes Eingabebild schätzt das System eine Menge von Intensitätsintervallen, die Skalierungsfaktoren, die mit jedem Intervall verknüpft sind, die horizontalen und vertikalen Cut-off-Frequenzen und eine globale Skalenanpassung, bekannt als Log2Scale-Faktor. Um dies zu bewältigen, verwendet das Modell einen gemeinsamen Feature-Extractor, der das körnige Eingabebild verarbeitet und in vier separate Ausgabezweige einfügt, von denen jeder für eine andere Vorhersageaufgabe verantwortlich ist:

Architektur der Luma-Version von FGA-NN. Ein gemeinsamer Backbone extrahiert Features aus körnigen Eingabebildern, gefolgt von vier Ausgabezweigen, die für spezifische Parameter-Vorhersageaufgaben angepasst sind: Intervallgrenzen, Skalierungsfaktoren, Cut-off-Frequenzen und globale Log2Scale. Das Chroma-Netzwerk verwendet die gleiche Struktur mit angepassten Eingabe- und Ausgabedimensionen.

Intervallgrenzen werden durch Regression vorhergesagt, während Skalierungsfaktoren, Cut-off-Frequenzen und die globale Skaleneinstellung als Klassifizierungsprobleme behandelt werden.

Die Architektur ist angepasst, um die Komplexität jeder Aufgabe widerzuspiegeln, wobei größere interne Schichten für feinere Vorhersagen verwendet werden; insbesondere spiegelt das Chroma-Modell die Luma-Struktur wider, aber passt sich den unterschiedlichen Eigenschaften von Farbdaten an.

Training und Tests

FGA-NN wurde mit vier Zielgrößen trainiert, von denen jede einer seiner Vorhersageaufgaben entspricht. Für die Klassifizierungsausgaben wurde eine kategorische Cross-Entropy-Verlustfunktion verwendet, um die Lücke zwischen vorhergesagten Labels und Ground-Truth zu verringern.

Intervallgrenzen wurden auf einen Bereich von 0 bis 1 normalisiert und mit einem kombinierten Verlust optimiert: einem exponentiell skalierten L1 Verlust (expL1), der größere Fehler stärker bestrafte, und einer Monotonie-Strafe, die Abnahmen entmutigte. Alle vier Verluste wurden kombiniert, wobei hohe Gewichte den Cut-off- und Skalierungsfaktoren zugewiesen wurden, während Intervallgrenzen und Log2Scale mit 1 bzw. 0,1 gewichtet wurden.

Das Training wurde unter dem Adam-Optimizer durchgeführt, bei einer Lernrate von 5e-4, über 10.000 Iterationen, mit einer Batch-Größe von 64.

Das einzige vergleichbare Tool, das für vergleichende Tests geeignet war, war FGA-CONVENT, das ebenfalls Werte im FGC-SEI-Format produziert und für die Kornverarbeitung verwendet wird. Beide Systeme wurden auf UHD-Sequenzen aus dem JVET-subjektiven Bewertungsset getestet, wobei Footage mit echtem Filmkorn verwendet wurde.

Vertikale gestrichelte Linien zeigen Intervallgrenzen an, während der Log2Scale-Gewinn im Achsenetikett angegeben ist.

Im Bild oben sehen wir identische, beschnittene Frames, die von VFGS unter Verwendung von Parametern aus jeder Methode generiert wurden, im Vergleich zum Original. Die entsprechenden Luma-Schätzungen sind auch gegenüber den Ground-Truth-Werten aufgetragen, die manuell mit VFGS festgelegt wurden, die hier die Pixelintensität auf der X-Achse (0–255), Skalierungsfaktoren auf der blauen Y-Achse (0–255) und Cut-off-Frequenzen auf der grünen Y-Achse (2–14) aufträgt.

Die Autoren stellen fest:

‘Man kann beobachten, dass FGA-NN die Gesamttendenz des Ground-Truth-Filmkornmusters und der Amplitude genau erfasst, was zu synthetisierten Bildern mit wahrgenommenem Filmkorn führt, das dem des Ground-Truth-Bildes ähnelt.

‘Andererseits schätzt FGA-CONVENT einen niedrigeren Skalierungsfaktor, der durch einen entsprechend niedrigeren Log2Scale-Faktor kompensiert wird, was aufgrund seiner Konstruktion der Fall ist, und neigt dazu, ein gröberes Filmkornmuster zu erzeugen als die Referenz, was zu einem unterschiedlichen, aber visuell konsistenten Aussehen führt.’

Sie bemerken, dass der direkte Vergleich mit Ground-Truth-Kornparametern unzuverlässig ist, da Skalierung und Log2Scale einander kompensieren können und kleine Fehler oft wenig visuellen Einfluss haben.

Glaubensprüfung

Die Filmkorn-Treue wurde über vier Workflows hinweg benchmarkt: FGA-NN mit VFGS; FGA-CONVENT plus VFGS; Style-FG; und 3R-INN. Die Tests verwendeten sowohl das FGC-SEI- als auch das FilmGrainStyle740k-Dataset, wobei die Ausgabe mit Ground-Truth unter Verwendung von Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; und Kullback–Leibler (KL) Divergenz verglichen wurde.

Benchmark-Ergebnisse auf dem FilmGrainStyle740k-Dataset. Style-FG und 3R-INN überbieten andere, da sie auf diesem Satz trainiert wurden, während FGA-NN dicht dahinter liegt. FGA-CONVENT unterbietet, was auf seine Abhängigkeit von Mehrfachframe-Analyse und homogenen Regionen zurückzuführen ist – Bedingungen, die in diesem Fall nicht erfüllt sind.

Von diesen Ergebnissen stellen die Autoren fest:

‘Im FilmGrainStyle740k-Testset erzielen Style-FG und 3R-INN die besten Ergebnisse, da diese Methoden speziell auf diesem Satz trainiert wurden, während FGA-NN dicht dahinter liegt. Die Leistung von FGA-CONVENT in Kombination mit VFGS ist auf beiden Testsets suboptimal.

‘Dies liegt daran, dass die Analyse auf homogenen Regionen und der Ausnutzung von Informationen aus mehreren Frames in einem echten Filmkornanalyse-Szenario basiert, während in der vorliegenden Bewertung die Analyse mit einem einzelnen niedrigauflösenden Bild (256×256 bis maximal 768×512) durchgeführt wird, das oft erhebliche Texturen enthält.

‘Dies erschwert die Herausforderung für konventionelle Analysemethode, was es unmöglich macht, FGA-CONVENT auf solche kleinen Bilder anzuwenden.’

Schließlich bemerken die Autoren, dass lernbasierte Methoden wie 3R-INN und Style-FG starke visuelle Ergebnisse auf kuratierten Datensätzen liefern, ihre hohe Rechenkosten jedoch ihre Eignung für die Bereitstellung auf Endgeräten beeinträchtigen.

Vergleich von Low-Bitrate-Frames, die mit verschiedenen Analyse- und Synthesemethoden verbessert wurden (dritte bis letzte Spalten).

Im Vergleich dazu kombiniert der im neuen Papier vorgeschlagene Ansatz das leichte FGA-NN-Analysemodul mit der hardwareeffizienten VFGS-Synthesemethode, die die Autoren als eine vielversprechendere und einsetzbare Lösung für die Wiedereinführung von Filmkorn in komprimiertem Video beschreiben.

Sie stellen weiter fest, dass die Vorteile von FGA-NN beträchtlich sein können, im großen Maßstab:

‘[Das Codieren] von UHD-Videos mit Filmkorn bei mittleren bis niedrigen Bitraten unter Verwendung unseres Filmkornanalyse- und Syntheseworkflows ermöglicht eine Bitrate-Einsparung von bis zu 90% im Vergleich zum Hochbitrate-Codieren.’

Schlussfolgerung

Die Obsession mit Filmkorn ist eine der seltsamsten und merkwürdigsten Vorstellungen des post-analogischen Zeitalters, und es ist interessant zu beachten, dass das, was einst als Einschränkung des Mediums angesehen wurde, nun zu einem Symbol von Authentizität und Realismus geworden ist, sogar für eine neue Generation von Zuschauern, die nach dem Niedergang des Emulsionsfilms geboren wurden.

Es sollte beachtet werden, dass keine der state-of-the-art-Kornrekonstruktionsmethoden, einschließlich dieser neuesten Innovation, den wahren Effekt genau erfassen kann, den Licht auf Schichten von Haliden in einem echten photochemischen Prozess hat, über einen Bereich von Bedingungen hinweg. Erstveröffentlicht am Mittwoch, den 18. Juni 2025