- CVPR 2022 Tutorial 해석설명 - 쉬운 개념 이해 (신경망구조 및 손실함수 이해) - 상세한 수식 설명 제공

1. Diffusion Probabilistic Model
nonezerok@gmail.com
1
Last updated: Jan. 10, 2023
A gentle tutorial on diffusion probabilistic model
쉬운 개념 이해에서 상세한 수식까지,
CVPR 2022 Tutorial 8쪽에 대한 상세한 해설 설명

2. 2
https://cvpr2022-tutorial-diffusion-models.github.io/
개요 Forward
Forward
로 바로 계산
Reverse

3. 3
https://cvpr2022-tutorial-diffusion-models.github.io/
3
훈련 목적식
목적식 구체화: 파라미터릭 표현
훈련 잘 되도록
훈련, 생성 알고리즘

4. 선수지식
4

5. 5
sampling
𝑝(𝑥)
distribution
𝑥 ~ 𝑝 (𝑥)
분포함수
𝑝 𝑥 ↔ 𝑝𝑋 𝑥 ↔ 𝑝 𝑋 = 𝑥
generation
random variable

6. 𝐸 𝑋 = ෍
𝑥
𝑥𝑝(𝑥)
𝐸 𝑓 𝑋 = ෍
𝑥
𝑓 𝑥 𝑝(𝑥)
𝐸 −𝑙𝑜𝑔𝑝 𝑋 = ෍
𝑥
−𝑙𝑜𝑔𝑝 𝑥 𝑝(𝑥)
-𝑙𝑜𝑔𝑝 𝑥
information
expectation
entropy
𝑝 𝑥, 𝑦 = 𝑝 𝑥 𝑝 𝑦 𝑥 = 𝑝 𝑦 𝑝(𝑥|𝑦)
𝑝 𝑥, 𝑦, 𝑧 = 𝑝 𝑥 𝑝 𝑦 𝑥 𝑝(𝑧|𝑥, 𝑦)
Bayes’ rule 𝑝 𝑦 𝑥 =
𝑝 𝑥, 𝑦
𝑝 𝑥
=
𝑝 𝑦 𝑝(𝑥|𝑦)
σ𝑦 𝑝 𝑦 𝑝(𝑥|𝑦)
𝑝 𝑥 = ෍
𝑦
𝑝(𝑥, 𝑦) = ෍
𝑦
𝑝 𝑦 𝑝(𝑥|𝑦)
6
random process
Markov
random process
KL divergence
cross-entropy 𝐸 −𝑙𝑜𝑔𝑝 𝑋
= ෍
𝑥
−𝑙𝑜𝑔𝑝 𝑥
𝑞(𝑥)
𝑞(𝑥)

7. 𝑝 𝑥
𝑝 𝑥; 𝑢, 𝜎
𝑝𝜃 𝑥 , 𝜃 = (𝑢, 𝜎)
KL divergence between two Gaussian distributions
reparameterization trick
7

8. 직관으로 이해하기
.
8

9. 신경망구조 + 손실함수
신경망은,
9
새로운 신경망이 나왔다.
그럼, 신경망 구조와 손실함수가 기존과 다르다는 얘기다.
따라서, 이 둘을 파악해야 한다.

10. Conventional Generative Model
10
노이즈
잠재변수
일반적인
생성모델
구조

11. Diffusion Probabilistic Model
11
생성영상과
크기가 같다. 입력과 출력의
크기가 같다.

12. 12
노이즈에서 고화질 영상으로
곧바로 변환은 어렵다.

13. repeat T times
13
condition
점진적으로 바꾸어 가면 되겠다.
대신, 각 단계마다 별도의 신경망을 유지하는 것은 별로.
그래서, 컨디션으로 시간을 갖는 구조로 가져가자.

14. repeat T times
U-Net
DPM 신경망구조
14
U-Net
(Pix2Pix)
✓ Detail을 살려야 한다.
✓ Scene의 구조가 바뀌지 않는다.
이 목적으로, U-Net이 딱!
신경망 구조는 살펴봤고, 다음은 손실함수다.

15. 𝑇 = 1,000
가우시안 노이즈를 점진적으로 추가 (영상처리)
신경망
신경망 훈련
15
https://www.youtube.com/watch?v=HoKDTa5jHvg
Image credits:
각 스텝의 영상을
x_0, x_1, …, x_T라고 하자.
우리의 목적은 x_T로 부터 x_0를 생성하는 것이다.
근데, 신경망이 한번에 이것을 수행하기는 어렵기 때문에,
중간과정에 있는 모든 x_t도 생성할 것이다.
그래서, 느리다는 약점!

16. 16
분포함수로 표현
이 방향은 q로 나타내자.
이 방향은 p로 나타내자.
신경망을 사용할 예정이므로,
파라미터 theta 함께 표시

17. 17
분포함수로 표현
x_T에 대한 분포는 이렇게.
x_T는 q(x_T)에서 샘플링된 것으로 생각.

18. 18
중간 단계는 이렇게.
중간 단계는 이렇게.
theta가 필요할까?

19. 19
x_T는 노이즈,
굳이 신경망으로
표현할 필요 없다.

20. 20
tractable ?
이 분포를 우리가 다룰 수 있을까?
이게 되면 굳이 신경망으로 p_theta 구할 필요가 없다.
p_{theta}와 모양이 같은
q를 생각해 보자.

21. input
output
21
q를 함수라고 생각해 보자.
x_t만 가지고, x_{t-1}을 만들어 낸다는 의미,
쉽지않다.
그렇다면, 입력으로 어떤 정보를 더 주면 수월해 질 수 있을까?

22. 22
바로 x_0이다.
원본 생생한 영상.
훈련할 때는 알고 있다.
q에는 모두 넣자.

23. Loss LT
23
자 이제 손실함수를 생각해 보자.
먼저, 이 둘!
이 둘의 차이가 줄어들면 좋겠지.
이 둘의 KL 최소화

24. Loss Lt-1
24
자 이번에는,
이 둘!
역시 이들의 차이가 줄어들도록
신경망을 훈련하면 좋겠다.

25. Loss L0
25
cross-entropy / mse
마지막으로 이 둘의 차이가 줄어
들도록.
물론 이전 슬라이드에 통합해도
되긴 하다.
그렇지만, x_1, x_0는 약간의 노
이즈 차이이므로 기존의 신경망
손실함수를 사용해도 좋을 듯.

26. reconstruction
regularization
DPM 손실함수
26
최종 손실함수
실제로는 이렇게 써야 한다.
즉, 훈련집합에서 하나씩 끄집어와서 평균계산.
DPM을 위한
신경망 구조와 손실함수를 모두 알았다!
짝짝짝!

27. Forward Diffusion Process
27
이제부터 손실함수를 구체적인 식으로 바꾸어 보자.
이 과정에 수식이 좀 많다.
수식이 많을 뿐이지 따지고 보면 어려운 수식은 아니다.

28. Bayes’ rule:
28

29. Bayes’ rule:
29

30. Bayes’ rule:
30

31. Bayes’ rule:
31

32. Process
Bayes’ rule:
32
a sequence of random variables
(순서가 있다)

33. Bayes’ rule:
Markov
Process
(chain)
의 정보가 반영되어 있다.
first order
33
그냥, 이런 특징이 있다.

34. Markov
Process
(chain)
Bayes’ rule:
34

35. Markov
Process
(chain)
Bayes’ rule:
35
Markov Chain이라고 할 때,
결국, 우리가 관심있는 특성

36. Markov
Process
(chain)
Bayes’ rule:
36

37. Markov
Process
(chain)
Bayes’ rule:
37

38. 38
이 부분 설명 완료!
이 부분은 뒷장에서…

39. Add Gaussian Noise
39

40. 40

41. 41

42. 이전 픽셀 값을
거의 유지
약간의 변형
42

43. 독립
같은 식으로 부터 쭉 이어져 왔다면…
43

44. 이전 픽셀 값을
거의 유지
약간의 변형
Reparameterization trick
44

45. 45
논문에서는 이렇게 표현하고 있다.
x_t를 샘플링하는 것까지 포함해서 표현

46. 46
Forward Process

47. 47
x_0에서
나머지 x_1, x_2, … x_T를 모두 만들어 내는 것.
이를 분포함수로 표현하면…
입력 화살표 오른쪽 그림들은 모두 출력

48. 48
입력
출력
구체적으로 식을 써보면…

49. fixed
49
신경망 훈련없이 가능하다는 의미
베타t는 미리 정해 둔 상수
x_t 는 x_0에서 생성할 수 있음

50. https://cvpr2022-tutorial-diffusion-models.github.io/
50

51. 51
이렇게 유도될 것 같기도 하고…
이 표현에 주목
x_t의 함수표현
x_t의 분포(함수) 표현

52. 52
시작단계부터 따져보자.
x_1, x_2 관계만 보자.
동일한 분포로 가정하므로,
기호를 입실론으로 통일

53. Reverse Diffusion Process
53

54. 𝑇 = 1,000
54
x_T도 생성되는 것,
무작위로 뽑히는 것

55. 55

56. Remove Gaussian Noise
어려운 것은 신경망한테 맡기자
가우시안 노이즈를 넣을 수는 있지만,
그 반대는 어렵지
56

57. U-Net
57
U-Net을 T개 만들기는 좀 그렇지…

58. U-Net
시간 정보를 주고, 반복!
이 가우시안 분포를
T를 파라미터로 갖는
U-Net으로 구현
𝑡 = 𝑡 + 1
58
가우시안으로 간주했다.
가우시안 분포는
평균과 (공)분산으로 표현

59. 결국, 신경망 훈련을 통해
구하는 것
공분산은 0이라고 간주한 것.
각 영상에 낀 노이즈끼리 독립!
59
정리하면,

60. 손실함수 유도
60
이 부분이 수식이 많다.
Variational Inference라고 불리우는,
VAE 목적함수 유도과정을 알고 있으면 도움이 된다.
- KL divergence 정의 알아야 한다.
- Expectation 정의 알아야 한다.

61. Recall: DPM 손실함수
61
reconstruction
regularization

62. 어떻게 훈련시킬까?
62

63. Encoder
(fixed)
Decoder
(trainable)
z
encoder decoder
z
63

64. Latent variables
Encoder
(fixed)
Decoder
(trainable)
z
encoder decoder
z
어떻게 훈련시킬까?
64

65. Latent variables
Encoder
(fixed)
Decoder
(trainable)
z
encoder decoder
z
어떻게 훈련시킬까?
65

66. Encoder
(fixed)
Decoder
(trainable)
z
디코더만 훈련하면 되니까 더 학습이 수월할지도…
VAE에서 사용했던 테크닉을 사용하자!
evidence lower bound
encoder
z ELBO
66
VAE의 목적함수는
결국, Log-likelihood를 최대화,
또는 ELBO를 최대화 하는 것으로 유도가 되었다.
(뒤에서 설명)

67. Variational Inference
𝑝 𝑧|𝑥
𝑞 𝑧|𝑥
구하기 어렵다.
꿩 대신 닭
변이
우리가 알고 있는 쉬운 분포; 정규분포로 대치하자.
𝑝 𝑧|𝑥 ≈ 𝑞 𝑧|𝑥
조건:
KL 최소화
min KL 𝑞 𝑧|𝑥 ||𝑝 𝑧|𝑥
67
Posterior 구하기
대체(변이) 사후확률 구함
𝑞 𝑧|𝑥
Reverse KL을 선호
VI : biased, low variance
MC: unbiased, high variance

68. 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧|𝑥 = − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧|𝑥
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑝 𝑥
𝑞 𝑧|𝑥
1
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
1
𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔
1
𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ ෍
𝑧
𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔 𝑝 𝑥 ෍
𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔 𝑝 𝑥
1
𝑙𝑜𝑔 𝑝 𝑥 = 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧|𝑥 + ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
𝑥 is given, then it is fixed
68
https://www.youtube.com/watch?v=uaaqyVS9-rM
𝑙𝑜𝑔 𝑝 𝑥 ≥
최소화
해야함
최대화
하면 된다.
꿩 대신 닭
≥ 0
෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
𝑥 in black: a random variable
𝑥 in gray: a fixed value of the random variable 𝑥
결국, 이 term을 최대화

69. 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧|𝑥 = − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧|𝑥
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑝 𝑥
𝑞 𝑧|𝑥
1
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
1
𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔
1
𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ ෍
𝑧
𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔 𝑝 𝑥 ෍
𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
+ 𝑙𝑜𝑔 𝑝 𝑥
1
𝑙𝑜𝑔 𝑝 𝑥 = 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧|𝑥 + ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
𝑥 is given, then it is fixed
69
https://www.youtube.com/watch?v=uaaqyVS9-rM
≥ 0
lower bound
𝑙𝑜𝑔 𝑝 𝑥 ≥
variational
최소화
해야함
최대화
하면 된다.
꿩 대신 닭
Log-Likelihood
크게 하는 것
𝑥 in black: a random variable
𝑥 in gray: a fixed value of the random variable 𝑥

70. ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥|𝑧 𝑝 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= 𝐸𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 − 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧
70
Evidence Lower BOund (ELBO)
𝑝 𝑧|𝑥 𝑝 𝑥
𝑙𝑜𝑔 𝑝 𝑥 ≥
Log-Likelihood
크게 하는 것
Lower Bound 정리하면…

71. ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥|𝑧 𝑝 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= 𝐸𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 − 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧
71
𝑝 𝑧|𝑥 𝑝 𝑥
𝑙𝑜𝑔 𝑝 𝑥 ≥
Log-Likelihood
크게 하는 것
KL divergence로 표현
Evidence Lower BOund (ELBO)

72. − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥|𝑧 𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= −𝐸𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧
72
𝑝 𝑧|𝑥 𝑝 𝑥
−𝑙𝑜𝑔 𝑝 𝑥 ≤
- Log-Likelihood
작게 하는 것
손실함수로…
Evidence Lower BOund (ELBO)

73. − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥|𝑧 𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= −𝐸𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧
73
𝑝 𝑧|𝑥 𝑝 𝑥
−𝑙𝑜𝑔 𝑝(𝑥) ≤
- Log-Likelihood
작게 하는 것
Evidence Lower BOund (ELBO)
−𝑙𝑜𝑔 𝑝 𝑥0 ≤
VAE
Diffusion Model
Learning Objective of DM
그래서,

74. − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥, 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑥|𝑧 𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 − ෍ 𝑞 𝑧|𝑥 𝑙𝑜𝑔
𝑝 𝑧
𝑞 𝑧|𝑥
= −𝐸𝑞 𝑧|𝑥 𝑙𝑜𝑔 𝑝 𝑥|𝑧 + 𝐾𝐿 𝑞 𝑧|𝑥 ||𝑝 𝑧
74
𝑝 𝑧|𝑥 𝑝 𝑥
−𝑙𝑜𝑔 𝑝(𝑥) ≤
- Log-Likelihood
작게 하는 것
Evidence Lower BOund (ELBO)
VAE
Learning Objective of DM
−𝑙𝑜𝑔 𝑝 𝑥0 ≤
Diffusion Model

75. 1
2
75
이렇게 될 것임을
우리는 이미 알고 있다.
복잡해 보이기만 한다!

76. https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/
76
1

77. ?
1
2
2
https://www.youtube.com/watch?v=HoKDTa5jHvg
77

78. 1
2
2
https://www.youtube.com/watch?v=HoKDTa5jHvg
78

79. 2
3
3
https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/
79

80. 2
3
3
80

81. 1
2
81

82. 1
2
82

83. 1
2
83

84. 1
2
84

85. 85

86. 86
cross-entropy / mse

87. diffusion kernel 대신
87
2

88. 88
점점 0으로 근접,

89. 89 89

90. 90
가우시안
분포라고
가정 mean variance

91. https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
91
by Bayes’ rule

92. 92

93. 93

94. 를 없애자.
94
에 대한 함수가 되었다.
이 사이 과정은 뒷장에…

95. 95

96. 96
가우시안
분포라고
가정 mean variance

97. 97
input
output
output input
t가 크면 이 값이 크도록 설정해야 한다.
t가 크면 이 값이 크다.
t가 크면 이 값이 크다.
신경망이 훈련하도록 해도 되겠지만,
실제는,
이 3개 중에서 골라 쓴다.

98. Proposed by Ho et al.
Denoising Diffusion Probabilistic Models (DDPM) - NeurlPS 2020
98
앞에서 x_0는 없애 놨다.

99. 99

100. https://stats.stackexchange.com/questions/7440/kl-divergence-between-two-univariate-gaussians
100

101. 101

102. 102
for
MCMC
noise-prediction network
(denoising)

103. 103

104. 104 104

105. 105 105

106. References
• [Paper] Jascha Sohl-Dickstein et al., "Deep Unsupervised Learning using Nonequilibrium
Thermodynamics", ICML, 2015.
• [Paper] Jonathan Ho et al., "Denoising diffusion probabilistic models", arXiv:2006.11239,
2020.
• [Tutorial] Karsten Kreis et al., "Denoising Diffusion-based Generative Modeling:
Foundations and Applications", June 19, CVPR 2022.
• [Tutorial] (한글) Injung Kim, "Diffusion Probabilistic Models", July 1, KCC 2022.
• [Tutorial] (한글) Jaepil Ko, "Tutorial on VAE", slideshare,
https://www.slideshare.net/jaepilko10/variational-autoencoder-vae-255270887
• [Blog] What are Diffusion Models, https://lilianweng.github.io/posts/2021-07-11-diffusion-
models/
• [Blog] Introduction to Diffusion Models for Machine Learning,
https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/
• [Blog] (한글) https://developers-shack.tistory.com/8
• [YouTube] https://www.youtube.com/watch?v=HoKDTa5jHvg
106