반응형
CLIP의 text encoder 내부의 Multi_head_attention에서 attention mask가 None으로 입력되는 줄 알았다.
아이디어를 구현하기 위해 attention mask 부분을 만들어서 넣어줬더니.. 성능이 엄청 떨어졌다.
한번 확인해보니 CLIP의 text encoder에서 attention mask가 None으로 입력되는 것이 아니라
다음과 같이 들어간다. 근데 어떤 layer에서는 None으로 들어가기 때문에 구체적으로 확인해볼 필요는 있다. 항상 저렇게 attention mask가 들어가는게 아니다.
BERT 구조임에도 autoregressive하게 문장을 보게 하려는 의도 인듯?
반응형
'Python > PyTorch 공부' 카테고리의 다른 글
| segmentation mask 덩어리 갯수 확인하기 (0) | 2022.08.21 |
|---|---|
| Segmentation mask의 center point 계산하기 (0) | 2022.08.21 |
| [PyTorch] Multi_head_attention에서 target sequence length와 source sequence length 의미 (0) | 2022.07.27 |
| [PyTorch] Tensor.retain_grad() (0) | 2022.07.19 |
| [PyTorch] register_hook을 사용하여 Transformer 내부의 Attention matrix(Torch.Tensor)의 gradient 받아오기 (0) | 2022.07.14 |