목록ai (1)
ShuyaVision
[논문 리뷰] Vision Transformer ( An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)
Introduction Transformer가 나온 이후로, NLP 영역에서는 Bert, GPT 등, 엄청난 발전들이 이루어 진다. 특히 Transformer의 연산 방식은 수 많은 parmameters들을 활용할 수 있게 했고, 수 많은 데이터를 학습할 수 있게 만들었다. Computer Vision 영역에서도, 이러한 NLP 영역이 부러웠는지, Transformer를 적용하기 위한 노력을 지속적으로 시도했다. 이를 성공한 논문이 https://openreview.net/pdf?id=YicbFdNTTy ViT(Vision Transformer)이다. 논문에서는 image를 여러 patches로 나누고, Transformer에게 input으로 이러한 patches들의 sequence of linear e..
Vision AI
2023. 3. 26. 20:39