이번 글에서는 현재 많은 SOTA model들의 근간이 되고 있는 Transformer 구조를 알아보고자한다. Transformer는 2017년도에 Google Brain에서 공개한 'Attention is all you need' 에서 소개된 구조이다. Transformer는 Natural language processing, Computer vision 등 모두에서 다양하게 응용되어 월등한 성능을 보이면서 발전되고 있다. 지금에서야 리뷰하는 것이 너무 뒷북이지만 그만큼 중요하고 개념을 확실히 알아야하기에 정리하는 차원에서 리뷰해보기로 한다. [Attention Is All You Need 원문 링크] https://arxiv.org/abs/1706.03762 Attention Is All You Ne..
