Words

Posterior : 사후확률

I.I.D. : Independent and Identical Distributed(독립항등분포)

5C

1. Category : 새로운 stochastic inference 알고리즘 및 프레임워크 제안. Continuous latent variables가 있는 generative model에서 사후확률(posterior)를 추론하기 어려운 문제를 해결하기 위해 딥러닝+bayesian inference를 결합한 neural network기반의 generatve model 제시.
2. Context
   1. Variational Inference : Posterior를 다루기 쉬운 분포로 근사하는 방법론
   2. Monte carlo Gradient Estimation : 기댓값의 기울기를 추정하는 방법
   3. EM Algorithm : latent variable 모델 학습법, large dataset에는 비효율적
   4. Wake-sleep Algorithm : 신경망을 이용한 기존의 inference 방식이지만, VAE와 달리 objective function이 단일화되지 않았다는 단점.
3. Correctness : Stochastic Sampling은 미분이 불가능해 backprop사용 불가. 논문은 샘플링 과정을 외부 노이즈와 determinism function의 결합으로 분리하여 미분 가능하게 만듬.
4. Contributions
   1. Stochastic Gradient Variational Bayes 추정량 제안 : Large Dataset에서도 효율적으로 작동하는 Evidence Lower Bound(변분 하한) 추정 방식
   2. Reparameterization Trick : 샘플링 노드를 포함한 neural network를 끝까지 미분 가능하게 만듦
   3. VAE 구조 : Encoder(Recognition Model) + Decoder(Generative Model) 구조 확립
5. Clarity : 논문이 올바르게 작성되었는지?