Negli ultimi anni, i modelli di diffusione hanno ottenuto un grande successo e riconoscimento per le attività di generazione di immagini e video. I modelli di diffusione video, in particolare, hanno ricevuto una grande attenzione a causa della loro capacità di produrre video con alta coerenza e fedeltà. Questi modelli generano video di alta qualità utilizzando un processo di denoising iterativo nella loro architettura che trasforma gradualmente il rumore gaussiano ad alta dimensionalità in dati reali.

Stable Diffusion è uno dei modelli più rappresentativi per le attività di generazione di immagini, che si basa su un Variational AutoEncoder (VAE) per mappare l’immagine reale e le caratteristiche latenti campionate. Ciò consente al modello di ridurre i costi generativi, mentre il meccanismo di cross-attention nella sua architettura facilita la generazione di immagini condizionate dal testo. Di recente, il framework Stable Diffusion ha costruito la base per diversi adattatori plug-and-play per ottenere una generazione di immagini o video più innovativa ed efficace. Tuttavia, il processo generativo iterativo utilizzato dalla maggior parte dei modelli di diffusione video rende il processo di generazione di immagini lungo e relativamente costoso, limitandone le applicazioni.

In questo articolo, parleremo di AnimateLCM, un modello di diffusione personalizzato con adattatori progettato per generare video ad alta fedeltà con un numero minimo di passaggi e costi computazionali. Il framework AnimateLCM si ispira al modello di coerenza, che accelera il campionamento con un numero minimo di passaggi distillando i modelli di diffusione di immagini pre-addestrati. Inoltre, l’estensione di successo del modello di coerenza, il modello di coerenza latente (LCM), facilita la generazione di immagini condizionate. Invece di condurre l’apprendimento di coerenza direttamente sul set di dati video grezzo, il framework AnimateLCM propone di utilizzare una strategia di apprendimento di coerenza decoupled. Questa strategia decoupla la distillazione dei priors di generazione di moto e dei priors di generazione di immagini, consentendo al modello di migliorare la qualità visiva del contenuto generato e di aumentare l’efficienza di addestramento contemporaneamente. Inoltre, il modello AnimateLCM propone di addestrare gli adattatori da zero o di adattare gli adattatori esistenti al suo modello di coerenza video distillato. Ciò facilita la combinazione di adattatori plug-and-play nella famiglia dei modelli di diffusione stabile per ottenere diverse funzioni senza danneggiare la velocità di campionamento.

… (the translation continues)

AnimateLCM: Animazione dei Modelli di Diffusione Personalizzati

I modelli di diffusione sono stati il framework di elezione per le attività di generazione di immagini e video a causa della loro efficienza e capacità nelle attività generative. La maggior parte dei modelli di diffusione si basa su un processo di denoising iterativo per la generazione di immagini che trasforma gradualmente il rumore gaussiano ad alta dimensionalità in dati reali. Sebbene il metodo produca risultati soddisfacenti, il processo iterativo e il numero di campioni iterati rallentano il processo di generazione e aggiungono ai requisiti computazionali dei modelli di diffusione, che sono molto più lenti di altri framework generativi come GAN o Generative Adversarial Networks. Negli ultimi anni, i modelli di coerenza o CM sono stati proposti come alternativa ai modelli di diffusione iterativi per accelerare il processo di generazione mantenendo costanti i requisiti computazionali.

… (the translation continues)