저번 논문리뷰로 Variational Autoencoder를 진행했었다. https://woongchan789.tistory.com/11 [Paper review] VAE - Auto-Encoding Variational Bayes (2013, ICLR) 이번에 리뷰할 논문은 VAE (Variational Auto-Encoder)로 잘 알려져있는 'Auto-Encoding Variational Bayes'이다. 현재 multimodel deep generative model, diffusion 등 generative model에 대한 연구가 활발히 이루어지고 있어서 개 woongchan789.tistory.com 사실 VAE 논문리뷰는 diffusion을 공부하기위한 발판이었다.. 무턱대고 diffusi..
이번에 리뷰할 논문은 VAE (Variational Auto-Encoder)로 잘 알려져있는 'Auto-Encoding Variational Bayes'이다. 현재 multimodel deep generative model, diffusion 등 generative model에 대한 연구가 활발히 이루어지고 있어서 개인적으로 너무나도 리뷰해보고 싶었다. 처음에는 무턱대고 diffusion을 리뷰할려고 했지만 Autoencoder, VAE에 대한 선행지식은 물론 개념에 사용되는 Cross-entropy, KL-Divergence, Bayesian inference 등에 대한 정리가 안되있는 상태로 수식파티의 diffusion 논문을 보니 정말 포기할까 생각했다. 하지만 난 눈물을 자주 흘리진 않지. dif..
이번 글에서는 현재 많은 SOTA model들의 근간이 되고 있는 Transformer 구조를 알아보고자한다. Transformer는 2017년도에 Google Brain에서 공개한 'Attention is all you need' 에서 소개된 구조이다. Transformer는 Natural language processing, Computer vision 등 모두에서 다양하게 응용되어 월등한 성능을 보이면서 발전되고 있다. 지금에서야 리뷰하는 것이 너무 뒷북이지만 그만큼 중요하고 개념을 확실히 알아야하기에 정리하는 차원에서 리뷰해보기로 한다. [Attention Is All You Need 원문 링크] https://arxiv.org/abs/1706.03762 Attention Is All You Ne..
너무 늦은 리뷰이지만 공개 당시에 획기적인 방법과 높은 성능으로 인해 아직까지도 backbone으로 많이 응용되고 있는 Resnet 논문을 리뷰해보고자 한다. [Deep Residual Learning for Image Recognition 원문 링크] https://arxiv.org/abs/1512.03385 Introduction Resnet은 Microsoft팀에서 2015년도에 공개되어 ILSVRC 2015 Classification Task 대회에서 1등을 차지한 모델이다. layer가 깊어질수록 발생하는 vanishing/exploding gradient 문제를 residual(잔차)의 개념을 활용한 것이 모델의 핵심이며 당시 SOTA였던 VGGNet, GoogLeNet을 제치고 3.57%라는..
이번 장에서는 앞서 1. Basic of deep learning and neural networks 와 2. Optimizing a neural network with backward propagation을 알아보았다면 핵심 개념 중 마지막인 Activation function(활성화 함수)를 알아보고자 한다. 인공신경망(Aritificial neural network)은 사람의 신경구조를 모방하였기 때문에 뉴런을 기반으로한 신호 전달 과정과 매우 유사하다. 뉴런은 여러 경로를 통해 들어온 전기신호의 합이 일정치 이상이 되어버리게 되면 다음 뉴런으로 신호를 전달한다. 여기서 여러 경로를 통해 들어온 전기신호의 합은 인공신경망에서 input과 weight, bias의 선형곱으로 더해진 값을 의미하며 일정..
최근 가짜연구소라는 커뮤니티에 4기 러너로 뽑히게 되어 Reinforcement learning을 주제로한 스터디에 참가할 수 있게되었다. 정말 다양하고 훌륭하신 분들과 스터디를 같이 할 수 있게되어 좋았지만 그런 분들께 민폐가 되지 않기위해서 최근 몇 주간 고민이 많았다. 부담없이 스터디를 하는 것도 좋지만 나도 누군가에게 내가 아는 것을 알려드리기위해서 많은 공부를 해야겠다고 다짐하였다. 우선 UC Berkeley의 CS234를 수강하면서 스터디를 진행할 예정이지만 RL을 처음 접하고 해당 강의는 영어로된 강의이기에 우선 개념을 먼저 잡기위해 한국어로 설명해주시는 강의를 듣고자 찾아보았다. 운 좋게도 고려대학교의 김중헌 교수님의 Introduction to Reinforcement learning을 ..
1장에서 Forward propagation을 알아보았다. 2장에서는 앞에서 진행했던 Foward propagation로만 model을 만들기엔 좋은 예측을 보장할 수 없기에 2장에서는 Forward propagation이 아닌 backward propagation과정과 더불어 weight를 Optimization하는 과정을 알아보고자 한다. 먼저 Weight에 따른 Error를 살펴보도록 하자. 다음과 같이 2개의 input과 weights 그리고 실제 값인 Actual value of Target이 13이라고 한 경우 Error는 9-13 = -4 가 된다. -4라는 Error를 최소화하고 Model의 정확도를 높이고자 hidden layer에서 output으로 가는 weight를 수정해보자. Wei..
운 좋게도 주변에 정말 고마운 사람들이 많다. 최근 DataCamp에서 수강할 수 있는 수강권을 지인에게 얻게 되어 이 기회를 놓치지 않고 차근차근 기초부터 시작하기로 하였다. 다양한 Course들 중 무엇을 수강할까 고민을 많이 했는데 딥러닝이라는 단어를 보면 그냥 AI, Neural Network, Hidden Layer 등 정립되지 않은 내 개념을 정리하는 것이 먼저라고 생각되어 Introduction to deep learning을 선택하게 되었다. 그럼 강의 내용을 본격적으로 정리해보기로 한다. 한 예를 생각해보자. 은행업의 경우 자사 고객이 다음 연도에 얼마나 많은 거래를 할 것인지 예상하는 것은 중요하다. 자사 고객에게 맞춤 상품을 안내할 수도 있으며 블랙리스트, 대포통장 등 기업의 입장에서..
