[논문 읽기] Generative Moment Matching Network(2015)

Generative Moment Matching Network

 PDF, Generative Model, Yujia et al, arXiv 2015

 

Summary

 GAN은 generator와 discriminator 두 모델을 사용하여 minmax 손실 함수를 통해 학습이 진행됩니다.

 

 논문에서 제안하는 GMMN은 하나의 신경망을 이용하며 Maximym Mean Discrepancy loss를 최소화하면서 학습을 진행합니다.

 

 그러면 Maximum Mean Discrepancy loss(MMD loss)는 무엇일 까요?

 

 

 data sample과 generated sample 사이의 통계값이 같아지도록 학습을 진행합니다. 만약 통계값이 같다면 동일한 분포에서 추출된 샘플이라고 가정합니다.

 

 신경망은 다음과 같이 구성됩니다.

 

 

 우선 top hidden layer의 hidden unit으로부터 uniform distribution으로 h 벡터를 추출합니다.

 

 

 이 h 벡터를 f(신경망)에 전달하여 데이터를 생성합니다.

 

 

 이렇게 생성된 데이터 샘플 x와 training sample x 사이의 maximum mean discrepancy를 최소화하여 학습을 진행합니다.

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch