Usando IA para Simular Granulação de Filmes

Faça a América Granulosa Novamente: uma nova ferramenta de IA pode remover a granulação de filmes de velhas imagens, comprimir o vídeo em uma fração do tamanho, e depois colocar a granulação de volta para que os espectadores nunca notem. Ela funciona com padrões de vídeo existentes e reduz a largura de banda em até 90%, mantendo o visual vintage.

Para muitos de nós que assistem a filmes ou programas de TV antigos, o “estalo” da granulação de filmes é reconfortante; mesmo quando não registramos conscientemente, a granulação nos diz que o que estamos assistindo foi feito com produtos químicos, não com código, e liga a experiência ao mundo físico: à escolha de estoque, exposição, processos de laboratório e eras passadas:

A abordagem de Hollywood em relação à granulação mudou junto com as mudanças na cultura e nos métodos de produção. Durante a década de 1960, as câmeras em evolução e as práticas fotográficas contribuíram para a identidade visual distinta da década. Mais tarde, diretores trabalhando em digital começaram a reintroduzir a granulação deliberadamente. No meio da década de 1980, o diretor James Cameron selecionou um estoque Kodak particularmente grosso para Aliens (1986, na parte inferior direita da imagem acima), provavelmente para realçar a atmosfera e também ajudar a esconder fios de trabalho de efeitos visuais miniaturizados práticos. Fonte: https://archive.is/3ZSjN (meu artigo mais recente sobre este tópico)

A textura analógica vem de uma época em que produzir mídia custava dinheiro real, o acesso era limitado e havia pelo menos uma sensação vaga de que apenas os mais capazes ou determinados podiam passar, atuando como um atalho para realismo e credibilidade – e, quando as tecnologias de captura de alta resolução eliminaram isso, nostalgia.

Christopher Nolan nunca mudou. Enquanto a maior parte da indústria abraçou o digital por sua velocidade e flexibilidade, o diretor aclamado se manteve firme, insistindo no celuloide como uma disciplina e uma estética.

Denis Villeneuve, trabalhando dentro de pipelines digitais, ainda processa suas imagens por meio de processos fotoquímicos. Para os filmes Duna, filmados digitalmente, as imagens foram impressas em estoque de filme e, em seguida, digitalizadas novamente, puramente para atmosfera e efeito.

Granulação Falsa

Aficionados da qualidade de filmes e TV associam a granulação visível à alta resolução, onde a taxa de bits (a quantidade de dados sendo enviada para cada quadro) é tão alta que até mesmo os menores detalhes, como grãos de halide, são preservados.

No entanto, se as redes de streaming realmente fizessem essa taxa de bits disponível, isso colocaria uma grande pressão sobre a capacidade da rede e provavelmente causaria buffering e stuttering. Portanto, plataformas como Netflix criam versões otimizadas AV1 de seu conteúdo e usam as capacidades do codec AV1 para adicionar granulação ao filme ou episódio de uma maneira inteligente e apropriada, economizando 30% de largura de banda no processo.

O AV1 é projetado para incorporar granulação de filme artificial, como nestes exemplos. Fonte: https://waveletbeam.com/index.php/av1-film-grain-synthesis

A “fetichização da granulação” é um equivalente digital relativamente raro a tendências atávicas, como a revivificação do vinil, e é difícil dizer se é usada por streamers para fazer com que o vídeo altamente otimizado pareça “vídeo bruto” de alta qualidade (para os espectadores que associaram inconscientemente essas características), fazendo com que a taxa de bits pareça mais alta do que é; ou para desviar a queda da qualidade perceptual que os antigos shows 4:3 tomariam quando os provedores de streaming recortam para proporções de tela widescreen; ou apenas para satisfazer a estética “Nolan” retrô em geral.

Granulação Isolada

O problema é que a granulação também é ruído. Os sistemas digitais odeiam ruído e os codecs de streaming, como o AV1, removem o ruído para economizar largura de banda, a menos que as configurações de granulação sejam explicitamente configuradas. Da mesma forma, os ampliadores de imagem AI, como a série Topaz Gigapixel, tratam a granulação como um defeito a ser corrigido.

No campo da síntese de imagem baseada em difusão, a granulação é extremamente desafiadora para gerar, pois representa detalhes extremos, e, portanto, normalmente só apareceria em modelos superajustados, pois toda a arquitetura do modelo de difusão latente (LDM) é projetada para desmontar o ruído (como a granulação) em imagens claras, em vez de tratar os grãos de granulação como propriedades implícitas na mídia.

Portanto, é desafiador criar granulação convincente usando aprendizado de máquina. E mesmo que alguém pudesse fazer isso, renderizá-la diretamente em um vídeo otimizado apenas inflaria o tamanho do arquivo de vídeo novamente.

Devido a essa consideração logística, os codecs de vídeo de ponta, como Versatile Video Coding (VVC) oferecem granulação como um tipo de “serviço de sidecar”.

O VVC comprime o vídeo limpo, sem ruído, e descarta a granulação. Em vez de desperdiçar dados tentando preservar padrões de granulação de alta frequência aleatórios, ele analisa a granulação separadamente e codifica um conjunto pequeno de parâmetros (por exemplo, amplitude, frequência e modo de mistura) que descrevem como regenerar granulação semelhante durante a reprodução.

Esses parâmetros são armazenados em um FGC-SEI (Características de Granulação de Filme Suplementar de Melhoria), que acompanha o fluxo de bits principal. Depois de decodificar, um módulo de síntese usa essas instruções para reaplicar granulação sintética que imita a granulação original.

Isso preserva o “visual” de granulação rica em alta taxa de bits, enquanto mantém a taxa de bits real baixa, pois o codificador não é forçado a gastar recursos preservando ruído imprevisível.

Além disso, assim como os arquivos de legendas discretos, esse conteúdo de “granulação” falso é específico do vídeo em questão; aplicar filtros de granulação genéricos de forma aleatória em plataformas como o Photoshop ou o After Effects, ou em pipelines de processamento automatizado, não resultaria em granulação “ajustada”, mas em vez disso uma sobreposição de ruído não relacionado:

Esquerda: imagem original. Centro: granulação da Camera Raw do Photoshop aplicada uniformemente em todos os canais. Direita: o mesmo filtro de granulação aplicado individualmente a cada canal em sequência. Imagem de fonte (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via meu artigo anterior)

O filtro de granulação do Photoshop adiciona ruído aleatório uniforme; mas a granulação de filme real vem de cristais de halide de tamanhos variados. Aplicar o filtro a cada canal separadamente (veja a imagem acima) apenas cria mais caos, não realismo. A granulação de filme real reflete como a luz atinge camadas de emulsões no momento da exposição. Simular isso exigiria estimar como diferentes áreas de uma imagem teriam ativado cada camada de halide, e não apenas dividir o efeito em camadas RGB.

FGA-NN

Nesse contexto especioso, surge um novo artigo de pesquisa da França – um breve, mas interessante, que oferece um método quantitativa e qualitativamente superior para analisar e recriar granulação:

Comparação entre a granulação real e os resultados de vários métodos de análise e síntese. Fonte: https://arxiv.org/pdf/2506.14350

O novo sistema, intitulado FGA-NN, não se afasta do uso convencional da síntese de granulação baseada em Gaussian por meio do método padrão VVC, Versatile Film Grain Synthesis (VFGS). O que o sistema muda é a análise, usando uma rede neural para estimar os parâmetros de síntese de forma mais precisa

Portanto, a granulação final ainda é sintetizada usando o mesmo modelo Gaussian convencional – mas a rede alimenta melhor os metadados em um gerador baseado em regras padrão, obtendo um modelo de ponta.

O novo artigo é intitulado FGA-NN: Film Grain Analysis Neural Network, e vem de três pesquisadores do InterDigital R&D, Cesson-Sévigné. Embora o artigo não seja longo, vamos dar uma olhada nos principais aspectos dos avanços que o novo método oferece.

Método