Intelligence Artificielle
Comprendre les modèles de diffusion : une plongée en profondeur dans l'IA générative
Les modèles de diffusion se sont imposés comme une approche puissante en IA générative, produisant des résultats de pointe en matière de génération d'images, d'audio et de vidéo. Dans cet article technique approfondi, nous explorerons le fonctionnement des modèles de diffusion, leurs principales innovations et les raisons de leur succès. Nous aborderons les fondements mathématiques, le processus d'apprentissage, les algorithmes d'échantillonnage et les applications de pointe de cette nouvelle technologie prometteuse.
Introduction aux modèles de diffusion
Modèles de diffusion sont une classe de modèles génératifs qui apprennent à débruiter progressivement les données en inversant un processus de diffusion. L'idée principale est de commencer avec du bruit pur et de l'affiner de manière itérative pour obtenir un échantillon de haute qualité à partir de la distribution cible.
Cette approche s’inspire de la thermodynamique hors équilibre, et plus précisément du processus d’inversion de la diffusion pour retrouver la structure. Dans le contexte de l’apprentissage automatique, nous pouvons considérer cela comme un apprentissage visant à inverser l’ajout progressif de bruit aux données.
Certains avantages clés des modèles de diffusion incluent :
- Qualité d'image de pointe, surpassant les GAN dans de nombreux cas
- Entraînement stable sans dynamique conflictuelle
- Hautement parallélisable
- Architecture flexible – tout modèle qui mappe les entrées aux sorties de la même dimensionnalité peut être utilisé
- Solide base théorique
Plongeons plus en profondeur dans le fonctionnement des modèles de diffusion.
Source: Chanson et al.
Les équations différentielles stochastiques régissent les processus directs et inverses dans les modèles de diffusion. L'équation différentielle stochastique directe ajoute du bruit aux données, les transformant progressivement en une distribution de bruit. L'équation différentielle inverse, guidée par une fonction de score apprise, supprime progressivement le bruit, ce qui conduit à la génération d'images réalistes à partir de bruit aléatoire. Cette approche est essentielle pour obtenir des performances génératives de haute qualité dans les espaces d'états continus
Le processus de diffusion directe
Le processus de diffusion directe commence avec un point de données x₀ échantillonné à partir de la distribution de données réelles et ajoute progressivement du bruit gaussien sur T pas de temps pour produire des versions de plus en plus bruyantes x₁, x₂, …, xT.
A chaque pas de temps t, nous ajoutons une petite quantité de bruit selon :
x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε
Où? :
- β_t est un programme de variance qui contrôle la quantité de bruit ajoutée à chaque étape
- ε est un bruit gaussien aléatoire
Ce processus se poursuit jusqu’à ce que xT soit presque du bruit gaussien pur.
Mathématiquement, nous pouvons décrire cela comme une chaîne de Markov :
q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)
Où N désigne une distribution gaussienne.
Le programme β_t est généralement choisi pour être petit pour les premiers pas de temps et augmenter au fil du temps. Les choix courants incluent les programmes linéaires, cosinus ou sigmoïdes.
Le processus de diffusion inverse
L’objectif d’un modèle de diffusion est d’apprendre l’inverse de ce processus : commencer avec du bruit pur xT et le débruiter progressivement pour récupérer un échantillon propre x₀.
Nous modélisons ce processus inverse comme :
p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))
Où μ_θ et σ_θ^2 sont des fonctions apprises (généralement des réseaux neuronaux) paramétrées par θ.
L'innovation clé réside dans le fait que nous n'avons pas besoin de modéliser explicitement la distribution inverse complète. Nous pouvons plutôt la paramétrer en termes de processus direct, que nous connaissons.
Plus précisément, nous pouvons montrer que la moyenne optimale du processus inverse μ* est :
μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))
Où? :
- α_t = 1 – β_t
- ε_θ est un réseau de prédiction de bruit appris
Cela nous donne un objectif simple : former un réseau neuronal ε_θ pour prédire le bruit ajouté à chaque étape.
Objectif de la formation
L'objectif d'apprentissage des modèles de diffusion peut être déduit de l'inférence variationnelle. Après quelques simplifications, nous arrivons à une perte L2 simple :
L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]
Où? :
- t est échantillonné uniformément de 1 à T
- x₀ est échantillonné à partir des données d'entraînement
- ε est un bruit gaussien échantillonné
- x_t est construit en ajoutant du bruit à x₀ selon le processus direct
En d’autres termes, nous entraînons le modèle à prédire le bruit ajouté à chaque pas de temps.
Architecture du modèle
Source: Ronneberger et al.
L'architecture U-Net est au cœur de l'étape de débruitage dans le modèle de diffusion. Elle présente une structure encodeur-décodeur avec des connexions de saut qui aident à préserver les détails les plus fins pendant le processus de reconstruction. L'encodeur sous-échantillonne progressivement l'image d'entrée tout en capturant les caractéristiques de haut niveau, et le décodeur suréchantillonne les caractéristiques encodées pour reconstruire l'image. Cette architecture est particulièrement efficace dans les tâches nécessitant une localisation précise, comme la segmentation d'images.
Le réseau de prévision du bruit ε_θ peut utiliser n'importe quelle architecture qui mappe les entrées aux sorties de la même dimensionnalité. Les architectures de style U-Net sont un choix populaire, en particulier pour les tâches de génération d'images.
Une architecture typique pourrait ressembler à :
class DiffusionUNet(nn.Module):
def __init__(self):
super().__init__()
# Downsampling
self.down1 = UNetBlock(3, 64)
self.down2 = UNetBlock(64, 128)
self.down3 = UNetBlock(128, 256)
# Bottleneck
self.bottleneck = UNetBlock(256, 512)
# Upsampling
self.up3 = UNetBlock(512, 256)
self.up2 = UNetBlock(256, 128)
self.up1 = UNetBlock(128, 64)
# Output
self.out = nn.Conv2d(64, 3, 1)
def forward(self, x, t):
# Embed timestep
t_emb = self.time_embedding(t)
# Downsample
d1 = self.down1(x, t_emb)
d2 = self.down2(d1, t_emb)
d3 = self.down3(d2, t_emb)
# Bottleneck
bottleneck = self.bottleneck(d3, t_emb)
# Upsample
u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb)
u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb)
u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)
# Output
return self.out(u1)
Les composants clés sont :
- Architecture de style U-Net avec connexions sautées
- Incorporation temporelle pour conditionner le pas de temps
- Profondeur et largeur flexibles
Algorithme d'échantillonnage
Une fois notre réseau de prédiction du bruit ε_θ entraîné, nous pouvons l'utiliser pour générer de nouveaux échantillons. L'algorithme d'échantillonnage de base est le suivant :
- Commencez avec du bruit gaussien pur xT
- Pour t = T à 1 :
- Prédire le bruit :
ε_θ(x_t, t) - Calculer la moyenne :
μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t)) - Exemple:
x_{t-1} ~ N(μ, σ_t^2 * I)
- Prédire le bruit :
- Retour x₀
Ce processus débruite progressivement l'échantillon, guidé par notre réseau de prédiction de bruit appris.
Dans la pratique, il existe différentes techniques d'échantillonnage qui peut améliorer la qualité ou la vitesse :
- Échantillonnage DDIM:Une variante déterministe qui permet moins d'étapes d'échantillonnage
- Échantillonnage ancestral:Incorpore la variance apprise σ_θ^2
- Échantillonnage tronqué:S'arrête tôt pour une génération plus rapide
Voici une implémentation de base de l'algorithme d'échantillonnage :
def sample(model, n_samples, device):
# Start with pure noise
x = torch.randn(n_samples, 3, 32, 32).to(device)
for t in reversed(range(1000)):
# Add noise to create x_t
t_batch = torch.full((n_samples,), t, device=device)
noise = torch.randn_like(x)
x_t = add_noise(x, noise, t)
# Predict and remove noise
pred_noise = model(x_t, t_batch)
x = remove_noise(x_t, pred_noise, t)
# Add noise for next step (except at t=0)
if t > 0:
noise = torch.randn_like(x)
x = add_noise(x, noise, t-1)
return x
Les mathématiques derrière les modèles de diffusion
Pour bien comprendre les modèles de diffusion, il est essentiel d'approfondir les mathématiques qui les sous-tendent. Examinons plus en détail quelques concepts clés :
Chaîne de Markov et équations différentielles stochastiques
Le processus de diffusion directe dans les modèles de diffusion peut être considéré comme une chaîne de Markov ou, dans la limite continue, comme une équation différentielle stochastique (EDS). La formulation de l'EDS fournit un cadre théorique puissant pour l'analyse et l'extension des modèles de diffusion.
L'EDS directe peut s'écrire comme :
dx = f(x,t)dt + g(t)dw
Où? :
- f(x,t) est le terme de dérive
- g(t) est le coefficient de diffusion
- dw est un processus de Wiener (mouvement brownien)
Différents choix de f et g conduisent à différents types de processus de diffusion. Par exemple :
- Variance explosée (VE)
SDE: dx = √(d/dt σ²(t)) dw - Préservation de la variance (VP)
SDE: dx = -0.5 β(t)xdt + √(β(t)) dw
La compréhension de ces SDE nous permet de dériver des stratégies d’échantillonnage optimales et d’étendre les modèles de diffusion à de nouveaux domaines.
Correspondance des scores et débruitage Correspondance des scores
Le lien entre les modèles de diffusion et la correspondance des scores offre une autre perspective intéressante. La fonction de score est définie comme le gradient de la densité de probabilité logarithmique :
s(x) = ∇x log p(x)
Le score matching de débruitage vise à estimer cette fonction de score en entraînant un modèle à débruiter les points de données légèrement perturbés. Cet objectif s'avère équivalent à l'objectif d'entraînement du modèle de diffusion dans la limite continue.
Cette connexion nous permet d'exploiter des techniques de modélisation générative basée sur les scores, telles que la dynamique de Langevin recuite pour l'échantillonnage.
Techniques de formation avancées
Importance de l'échantillonnage
Le modèle de diffusion standard échantillonne les pas de temps de manière uniforme. Cependant, tous les pas de temps n'ont pas la même importance pour l'apprentissage. Des techniques d'échantillonnage d'importance peuvent être utilisées pour concentrer l'apprentissage sur les pas de temps les plus informatifs.
Une approche consiste à utiliser une distribution non uniforme sur les pas de temps, pondérée par la norme L2 attendue du score :
p(t) ∝ E[||s(x_t, t)||²]
Cela peut conduire à une formation plus rapide et à une meilleure qualité des échantillons.
Distillation progressive
La distillation progressive est une technique permettant de créer des modèles d'échantillonnage plus rapides sans sacrifier la qualité. Le processus fonctionne comme suit :
- Entraîner un modèle de diffusion de base avec de nombreux pas de temps (par exemple 1000)
- Créer un modèle étudiant avec moins de pas de temps (par exemple 100)
- Former l'étudiant à correspondre au processus de débruitage du modèle de base
- Répétez les étapes 2 à 3 en réduisant progressivement les pas de temps
Cela permet une génération de haute qualité avec beaucoup moins d’étapes de débruitage.
Innovations architecturales
Modèles de diffusion basés sur les transformateurs
Bien que les architectures U-Net soient populaires pour les modèles de diffusion d'images, des travaux récents ont exploré l'utilisation d'architectures de transformateurs. Les transformateurs offrent plusieurs avantages potentiels :
- Meilleure gestion des dépendances à long terme
- Des mécanismes de conditionnement plus flexibles
- Mise à l'échelle plus facile vers des tailles de modèle plus grandes
Des modèles comme DiT (Transformateurs de diffusion) ont montré des résultats prometteurs, offrant potentiellement une voie vers une production de qualité encore supérieure.
Modèles de diffusion hiérarchique
Les modèles de diffusion hiérarchique génèrent des données à plusieurs échelles, ce qui permet à la fois une cohérence globale et des détails précis. Le processus implique généralement :
- Générer une sortie basse résolution
- Suréchantillonnage et affinage progressifs
Cette approche peut être particulièrement efficace pour la génération d’images haute résolution ou de contenu long.
Sujets avancés
Guidage sans classificateur
Guidage sans classificateur est une technique permettant d'améliorer la qualité et la contrôlabilité des échantillons. L'idée clé est de former deux modèles de diffusion :
- Un modèle inconditionnel p(x_t)
- Un modèle conditionnel p(x_t | y) où y est une information de conditionnement (par exemple, une invite de texte)
Lors de l'échantillonnage, nous interpolons entre ces modèles :
ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)
Où w > 0 est une échelle d’orientation qui contrôle dans quelle mesure mettre l’accent sur le modèle conditionnel.
Cela permet un conditionnement plus fort sans avoir à réentraîner le modèle. Cela a été crucial pour le succès des modèles texte-image comme DALL-E 2 et Stable Diffusion.
Diffusion latente
Source: Rombach et al.
Modèle de diffusion latente (LDM) Le processus consiste à encoder les données d'entrée dans un espace latent où se produit le processus de diffusion. Le modèle ajoute progressivement du bruit à la représentation latente de l'image, ce qui conduit à la génération d'une version bruyante, qui est ensuite débruitée à l'aide d'une architecture U-Net. L'U-Net, guidé par des mécanismes d'attention croisée, intègre des informations provenant de diverses sources de conditionnement telles que des cartes sémantiques, du texte et des représentations d'images, pour finalement reconstruire l'image dans l'espace des pixels. Ce processus est essentiel pour générer des images de haute qualité avec une structure contrôlée et les attributs souhaités.
Cela offre plusieurs avantages :
- Formation et échantillonnage plus rapides
- Meilleure gestion des images haute résolution
- Plus facile à intégrer le conditionnement
Le processus fonctionne comme suit:
- Entraîner un autoencodeur pour compresser des images dans un espace latent
- Entraîner un modèle de diffusion dans cet espace latent
- Pour la génération, échantillonnez dans l'espace latent et décodez en pixels
Cette approche s’est avérée très efficace et a permis d’alimenter des modèles tels que Stable Diffusion.
Modèles de cohérence
Les modèles de cohérence sont une innovation récente qui vise à améliorer la vitesse et la qualité des modèles de diffusion. L'idée clé est de former un modèle unique capable de mapper n'importe quel niveau de bruit directement sur la sortie finale, plutôt que de nécessiter une débruitisation itérative.
Cela est rendu possible grâce à une fonction de perte soigneusement conçue qui garantit la cohérence entre les prédictions à différents niveaux de bruit. Le résultat est un modèle capable de générer des échantillons de haute qualité en un seul passage, ce qui accélère considérablement l'inférence.
Conseils pratiques pour la formation des modèles de diffusion
L'entraînement de modèles de diffusion de haute qualité peut être difficile. Voici quelques conseils pratiques pour améliorer la stabilité et les résultats de l'entraînement :
- Détourage dégradé:Utilisez le découpage de dégradé pour éviter l'explosion des dégradés, en particulier au début de l'entraînement.
- EMA des poids du modèle:Conservez une moyenne mobile exponentielle (EMA) des poids du modèle pour l'échantillonnage, ce qui peut conduire à une génération plus stable et de meilleure qualité.
- Augmentation des données:Pour les modèles d’image, des augmentations simples comme des retournements horizontaux aléatoires peuvent améliorer la généralisation.
- Programmation du bruit:Expérimentez différents programmes de bruit (linéaire, cosinus, sigmoïde) pour trouver ce qui fonctionne le mieux pour vos données.
- Entraînement de précision mixte:Utilisez un entraînement de précision mixte pour réduire l’utilisation de la mémoire et accélérer l’entraînement, en particulier pour les grands modèles.
- Génération conditionnelle:Même si votre objectif final est la génération inconditionnelle, l'entraînement avec conditionnement (par exemple sur des classes d'images) peut améliorer la qualité globale de l'échantillon.
Évaluation des modèles de diffusion
Il est essentiel mais difficile d'évaluer correctement les modèles génératifs. Voici quelques mesures et approches courantes :
Distance de départ de Fréchet (FID)
IN est une mesure largement utilisée pour évaluer la qualité et la diversité des images générées. Elle compare les statistiques des échantillons générés aux données réelles dans l'espace des caractéristiques d'un classificateur pré-entraîné (généralement InceptionV3).
Des scores FID plus faibles indiquent une meilleure qualité et des distributions plus réalistes. Cependant, le FID présente des limites et ne devrait pas être le seul indicateur utilisé.
Score initial (IS)
Score initial mesure à la fois la qualité et la diversité des images générées. Il utilise un réseau Inception pré-entraîné pour calculer :
IS = exp(E[KL(p(y|x) || p(y))])
Où p(y|x) est la distribution de classe conditionnelle pour l'image x générée.
Un IS plus élevé indique une meilleure qualité et une meilleure diversité, mais il présente des limites connues, en particulier pour les ensembles de données très différents d'ImageNet.
Log-vraisemblance négative (NLL)
Pour les modèles de diffusion, nous pouvons calculer la vraisemblance logarithmique négative des données conservées. Cela fournit une mesure directe de la mesure dans laquelle le modèle s'adapte à la distribution réelle des données.
Cependant, l'estimation précise du NLL peut être coûteuse en termes de calcul pour les données de grande dimension.
Évaluation humaine
Pour de nombreuses applications, notamment créatives, l'évaluation humaine reste cruciale. Cela peut impliquer :
- Comparaisons côte à côte avec d'autres modèles
- Évaluations de type test de Turing
- Évaluations spécifiques aux tâches (par exemple, sous-titrage d'images pour les modèles texte-image)
Bien que subjective, l’évaluation humaine peut saisir des aspects de la qualité que les mesures automatisées manquent.
Modèles de diffusion en production
Le déploiement de modèles de diffusion dans des environnements de production présente des défis uniques. Voici quelques considérations et bonnes pratiques :
Optimisation pour l'inférence
- Exportation ONNX:Convertissez les modèles au format ONNX pour une inférence plus rapide sur différents matériels.
- Quantification:Utilisez des techniques telles que la quantification INT8 pour réduire la taille du modèle et améliorer la vitesse d’inférence.
- Cache haute performance :Pour les modèles conditionnels, mettez en cache les résultats intermédiaires du modèle inconditionnel pour accélérer le guidage sans classificateur.
- Le traitement par lots: Exploitez le traitement par lots pour utiliser efficacement les ressources du GPU.
écaillage
- Inférence distribuée:Pour les applications à haut débit, implémentez l’inférence distribuée sur plusieurs GPU ou machines.
- Échantillonnage adaptatif:Ajustez dynamiquement le nombre d'étapes d'échantillonnage en fonction du compromis qualité-vitesse souhaité.
- Génération progressiste:Pour les sorties volumineuses (par exemple, des images haute résolution), générez progressivement de la faible à la haute résolution pour fournir des résultats initiaux plus rapides.
Sécurité et filtrage
- Le filtrage de contenu:Mettre en œuvre des systèmes de filtrage de contenu robustes pour empêcher la génération de contenu préjudiciable ou inapproprié.
- Filigrane:Envisagez d’incorporer des filigranes invisibles dans le contenu généré à des fins de traçabilité.
Domaines d’application
Les modèles de diffusion ont connu du succès dans un large éventail de tâches génératives :
Génération d'image
C'est dans le domaine de la génération d'images que les modèles de diffusion ont pris de l'importance. Voici quelques exemples notables :
- DALL-E3: Modèle texte-image d'OpenAI, combinant un encodeur de texte CLIP avec un décodeur d'image par diffusion
- Diffusion stable:Un modèle de diffusion latente open source pour la génération de texte en image
- Image:Le modèle de diffusion de texte en image de Google
Ces modèles peuvent générer des images très réalistes et créatives à partir de descriptions textuelles, surpassant les approches précédentes basées sur GAN.
Génération vidéo
Les modèles de diffusion ont également été appliqués à la génération de vidéos :
- Modèles de diffusion vidéo: Générer une vidéo en traitant le temps comme une dimension supplémentaire dans le processus de diffusion
- Faire une vidéo: Modèle de diffusion texte-vidéo de Meta
- Imagen Vidéo:Le modèle de diffusion texte-vidéo de Google
Ces modèles peuvent générer de courts clips vidéo à partir de descriptions textuelles, ouvrant ainsi de nouvelles possibilités de création de contenu.
Génération 3D
Des travaux récents ont étendu les modèles de diffusion à la génération 3D :
- RêveFusion: Génération de texte en 3D à l'aide de modèles de diffusion 2D
- Point E: Modèle de diffusion de nuage de points d'OpenAI pour la génération d'objets 3D
Ces approches permettent la création d’actifs 3D à partir de descriptions textuelles, avec des applications dans les jeux, la réalité virtuelle/réalité augmentée et la conception de produits.
Défis et orientations futures
Bien que les modèles de diffusion aient montré un succès remarquable, il reste encore plusieurs défis et domaines de recherche future :
Efficacité de calcul
Le processus d'échantillonnage itératif des modèles de diffusion peut être lent, en particulier pour les résultats à haute résolution. Des approches telles que les modèles de diffusion latente et de cohérence visent à résoudre ce problème, mais d'autres améliorations en termes d'efficacité constituent un domaine de recherche actif.
Contrôlabilité
Bien que des techniques comme le guidage sans classificateur aient amélioré la contrôlabilité, il reste encore du travail à faire pour permettre un contrôle plus précis des sorties générées. Ceci est particulièrement important pour les applications créatives.
Génération multimodale
Les modèles de diffusion actuels excellent dans la génération de modalités uniques (par exemple des images ou du son). Le développement de modèles de diffusion véritablement multimodaux capables de générer de manière transparente des données à travers différentes modalités constitue une orientation intéressante pour les travaux futurs.
Compréhension théorique
Bien que les modèles de diffusion produisent des résultats empiriques probants, il reste encore beaucoup à comprendre sur les raisons de leur efficacité. Une compréhension théorique plus approfondie pourrait conduire à de nouvelles améliorations et à de nouvelles applications.
Conclusion
Les modèles de diffusion représentent une avancée dans l'IA générative, offrant des résultats de haute qualité dans toute une gamme de modalités. En apprenant à inverser un processus d'ajout de bruit, ils offrent une approche flexible et théoriquement fondée de la génération.
Des outils créatifs aux simulations scientifiques, la capacité à générer des données complexes et de grande dimension a le potentiel de transformer de nombreux domaines. Cependant, il est important d'aborder ces technologies puissantes avec discernement, en tenant compte à la fois de leur immense potentiel et des défis éthiques qu'elles présentent.
