트랜스포머 정리

 트랜스포머 헷갈리는 부분 정리

 

 

 단어 토큰은 id 형태로 정수로 표현된다.

 

 one hot 으로 표현된 단어 토큰들을 concat하여 행렬을 만들어준다.

 

 행렬을 nn.Embedding에 전달하여 정수를 벡터로 표현한다.(학습을 통해 단어의 분산 표현이 가능해짐. 분산 표현이 가능해지면 다른 단어들과 유사도를 측정 가능)

 

 이제 단어 임베딩들을 nn.Linear에 전달하여 Key, Query, Value로 만들어줍니다.

 

 단어 임베딩을 바로 사용하지 않고 별도의 K, Q, V로 만들어서 self-attention에 전달하는 이유는 K,Q,V의 의미가 다 다르기 떄문.

 

Q : 현재 기준으로 삼는 단어의 정보
K : Q와 비교할 단어의 정보
V : 실제로 각 K 단어에서 가져올 정보

 

 Q, K, V 모두 다르게 학습됌

 

 

 

 멀티 어텐션 헤드 개수만큼 Q,K,V를 생성