Mit KI simulieren von Filmkorn

Mach Amerika wieder körnig: Ein neues KI-Tool kann Filmkorn von alten Aufnahmen entfernen, das Video bei einem Bruchteil der Größe komprimieren und das Korn dann wieder hinzufügen, sodass der Zuschauer nichts bemerkt. Es funktioniert mit bestehenden Video-Standards und reduziert die Bandbreite um bis zu 90 Prozent, während es das vintage-Look beibehält.

Für viele von uns, die Filme oder alte Fernsehsendungen ansehen, ist das “Knistern” von Filmkorn beruhigend; selbst wenn wir es nicht bewusst wahrnehmen, sagt uns das Korn, dass das, was wir ansehen, mit Chemikalien und nicht mit Code gemacht wurde, und bindet die Erfahrung an die physische Welt: an die Wahl des Materials, die Belichtung, die Laborprozesse und die vergangenen Epochen:

Hollywoods Ansatz zum Korn hat sich im Laufe der Zeit parallel zu den Veränderungen in Kultur und Produktionsmethoden entwickelt. In den 1960er Jahren trugen die Entwicklung von Kameras und fotografischen Verfahren zur visuellen Identität des Jahrzehnts bei. Später führten Regisseure, die mit digitalen Mitteln arbeiteten, das Korn wieder bewusst ein. In den mittleren 1980er Jahren wählte der Regisseur James Cameron für Aliens (1986, unten rechts im Bild) ein besonders grobes Kodak-Material, um die Atmosphäre zu verstärken und gleichzeitig die Drähte für die praktischen VFX-Miniaturarbeiten zu verbergen. Quelle: https://archive.is/3ZSjN (mein letzter Artikel zu diesem Thema)

Die analoge Textur stammt aus einer Zeit, in der die Produktion von Medien echtes Geld kostete, der Zugang begrenzt war und es zumindest eine lockere Vorstellung davon gab, dass nur die fähigsten oder entschlossenen durchkommen konnten, was als Abkürzung für Realismus und Glaubwürdigkeit diente – und, als Hochauflösungskapturechnologien es eliminierten, Nostalgie.

Christopher Nolan wechselte nie. Während die meisten der Branche Digital für ihre Geschwindigkeit und Flexibilität annahmen, beharrte der renommierte Regisseur auf Zelluloid als Disziplin und Ästhetik.

Denis Villeneuve, der innerhalb digitaler Pipelines arbeitet, analysiert seine Footage immer noch mit photochemischen Prozessen. Für die Dune-Filme, die digital gedreht wurden, wurde das Material auf Filmstock gedruckt und dann zurück in Digital gescannt, rein für Atmosphäre und Effekt.

Falsches Korn

Kenner von Film- und Fernsehqualität assoziieren sichtbares Korn mit Hochauflösung, wo die Bitrate (die Menge an Daten, die in jeden Frame gepresst wird) so hoch ist, dass sogar die kleinsten Details, wie Halidkörner, erhalten bleiben.

Allerdings würde es, wenn Streaming-Netzwerke tatsächlich eine solche Bitrate zur Verfügung stellten, eine erhebliche Belastung für die Netzwerkkapazität darstellen und wahrscheinlich zu Pufferung und Stocken führen. Deshalb erstellen Plattformen wie Netflix optimierte AV1-Versionen ihrer Inhalte und verwenden die AV1-Codec-Fähigkeiten, um Korn hinzuzufügen zum Film oder zur Episode auf intelligente und angemessene Weise, 30% der Bandbreite sparend dabei.

AV1 ist dafür ausgelegt, künstliches Filmkorn zu integrieren, wie in diesen Beispielen. Quelle: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Der ‘Korn-Fetisch’ ist ein relativ seltener digitaler Äquivalent zu atavistischen Trends wie der Wiederbelebung von Vinyl, und es ist schwer zu sagen, ob es von Streamern verwendet wird, um hoch optimiertes Video wie wirklich teures ‘rohes Video’ (für die Zuschauer, die unbewusst diese Eigenschaften assoziiert haben) aussehen zu lassen, oder um den wahrgenommenen Qualitätsverlust abzulenken, den alte 4:3-Shows sonst bei der Streaming-Anbieter zum Widescreen-Format zuschneiden würden; oder einfach, um dem Retro-‘Nolan-Ästhetik’ zu frönen.

Korn siloed

Das Problem ist, dass Korn auch Rauschen ist. Digitale Systeme hassen Rauschen, und Streaming-Codecs wie AV1 entfernen es, um Bandbreite zu sparen, es sei denn, Korn-Einstellungen sind explizit konfiguriert. Ebenso KI-Up scaler wie die Topaz Gigapixel-Serie behandeln Korn als Fehler, der korrigiert werden muss.

Im Bereich der diffusionsbasierten Bildsynthese ist Korn extrem herausfordernd zu generieren, da es extreme Details darstellt, und würde normalerweise nur in massiv überjustierten Modellen auftreten, da die gesamte latente Diffusionsmodell-Architektur (LDM) darauf ausgelegt ist, Rauschen (wie Korn) in klare Bilder zu dekonstruieren, anstatt Korn-Flecken als implizite Eigenschaften in Medien zu behandeln.

Daher kann es schwierig sein, überzeugendes Korn mit maschinellem Lernen zu erstellen. Und selbst wenn man es könnte, würde das direkte Rendern in ein optimiertes Video die Dateigröße wieder aufblähen.

FGA-NN

In diese zweifelhafte Verfolgung kommt ein neues Forschungspapier aus Frankreich – ein kurzer, aber interessanter Ausflug, der eine quantitativ und qualitativ überlegene Methode zur Analyse und Rekonstruktion von Korn anbietet:

Vergleich zwischen Ground-Truth-Korn und Ergebnissen aus verschiedenen Analyse- und Synthesemethoden. Quelle: https://arxiv.org/pdf/2506.14350

Das neue System, betitelt FGA-NN, weicht nicht von der konventionellen Verwendung konventioneller Gaussian-basierter Korn-Synthese durch die Standard-VVC-kompatible Methode, Versatile Film Grain Synthesis (VFGS), ab. Was das System ändert, ist die Analyse, die ein neuronales Netzwerk verwendet, um die Syntheseparameter genauer zu schätzen

Daher wird das endgültige Korn immer noch mit dem gleichen konventionellen Gaussian-Modell synthetisiert – aber das Netzwerk füttert bessere Metadaten in einen Standard-Regel-basierten Generator ein, um ein State-of-the-Art-Modell zu erhalten.

Das neue Papier ist betitelt FGA-NN: Film Grain Analysis Neural Network und stammt von drei Forschern bei InterDigital R&D, Cesson-Sévigné. Obwohl das Papier nicht lang ist, lassen Sie uns einen Blick auf einige der wichtigsten Aspekte der Fortschritte werfen, die die neue Methode bietet.

Methode