이번에 리뷰할 논문은 VAE (Variational Auto-Encoder)로 잘 알려져있는 'Auto-Encoding Variational Bayes'이다. 현재 multimodel deep generative model, diffusion 등 generative model에 대한 연구가 활발히 이루어지고 있어서 개인적으로 너무나도 리뷰해보고 싶었다. 처음에는 무턱대고 diffusion을 리뷰할려고 했지만 Autoencoder, VAE에 대한 선행지식은 물론 개념에 사용되는 Cross-entropy, KL-Divergence, Bayesian inference 등에 대한 정리가 안되있는 상태로 수식파티의 diffusion 논문을 보니 정말 포기할까 생각했다. 하지만 난 눈물을 자주 흘리진 않지. dif..
이번 글에서는 현재 많은 SOTA model들의 근간이 되고 있는 Transformer 구조를 알아보고자한다. Transformer는 2017년도에 Google Brain에서 공개한 'Attention is all you need' 에서 소개된 구조이다. Transformer는 Natural language processing, Computer vision 등 모두에서 다양하게 응용되어 월등한 성능을 보이면서 발전되고 있다. 지금에서야 리뷰하는 것이 너무 뒷북이지만 그만큼 중요하고 개념을 확실히 알아야하기에 정리하는 차원에서 리뷰해보기로 한다. [Attention Is All You Need 원문 링크] https://arxiv.org/abs/1706.03762 Attention Is All You Ne..
너무 늦은 리뷰이지만 공개 당시에 획기적인 방법과 높은 성능으로 인해 아직까지도 backbone으로 많이 응용되고 있는 Resnet 논문을 리뷰해보고자 한다. [Deep Residual Learning for Image Recognition 원문 링크] https://arxiv.org/abs/1512.03385 Introduction Resnet은 Microsoft팀에서 2015년도에 공개되어 ILSVRC 2015 Classification Task 대회에서 1등을 차지한 모델이다. layer가 깊어질수록 발생하는 vanishing/exploding gradient 문제를 residual(잔차)의 개념을 활용한 것이 모델의 핵심이며 당시 SOTA였던 VGGNet, GoogLeNet을 제치고 3.57%라는..
