Projet Diffusion

Stochastique -Projet Diffusion

Implémentation d'un modèle de diffusion.

BRAIGHITH Sofian, TRAORE Djibril

Start

source:https://developer.nvidia.com/blog/improving-diffusion-models-as-an-alternative-to-gans-part-1/

Sommaire

Décisions pratiques

DDPM

Forward process

Reverse process

architecture du modèle

Entrainement et sampling

RESULTATS

décisions pratiques

• Entrainement d'un modèle DDPM
• Dataset: FashionMNIST

Forward process

Denoising Diffusion Probabilistic Models

• Principe du DDPM: Transformer les données en bruit (forward process), apprendre à les débruiter (reverse process)

Reverse process

source: https://towardsdatascience.com/the-rise-of-diffusion-models-a-new-era-of-generative-deep-learning-3ef4779f6e1b-2/

Chaine de Markov

Forward process

Forme fermée

• Bruitage en t pas de temps
• Ajout de bruit gaussien à chaque étape
• Simulation de mouvement Brownien

Reparamétrisation

source: https://towardsdatascience.com/the-rise-of-diffusion-models-a-new-era-of-generative-deep-learning-3ef4779f6e1b-2/

Chemin inverse

Reverse Process

• Idée: "remonter le temps"
• Comment passer d'une image bruité a une image un peu moins bruité
• Remonter jusqu'a une image nette
• Prédiction du modèle: estimation du bruit ajouté.

Ce que le modèle prédit

source: https://towardsdatascience.com/the-rise-of-diffusion-models-a-new-era-of-generative-deep-learning-3ef4779f6e1b-2/

Architecture du modèle

• Encodage temporel
• Blocs residuels
• Down/Up-sampling
• Skip-connections

source: https://towardsdatascience.com/diffusion-model-from-scratch-in-pytorch-ddpm-9d9760528946/

entrainement et sampling

source: https://towardsdatascience.com/diffusion-model-from-scratch-in-pytorch-ddpm-9d9760528946/

quelques resultats

MERCI POUR VOTRE ATTENTION