Transformer (트랜스포머)

* Transformer (트랜스포머)

   - 2017년 구글이 발표한 "Attention is All You Need" 논문에서 처음 소개된 딥러닝 신경망 아키텍처

   - 핵심 개념

      1. 병렬 처리

          - 기존 RNN, LSTM 등은 데이터를 순차적으로 처리하지만, 트랜스포머는 전체 입력 시퀀스를 한 번에 병렬로 처리

      2. Attention (어텐션)

         - Self-Attention 메커니즘을 통해 입력 데이터의 각 요소가 시퀀스 내 다른 모든 요소와의 관계를 동적으로 학습

 

* Positional Encoding

   - RNN 처럼 순서를 알 수 없으므로, Positional Encoding 을 더해 각 단어의 위치 정보를 제공

 

* ViTs(Vision Transformers)