[논문 읽기] CE-GZSL(2021), Contrastive Embedding for Generalized Zero-Shot Learning

https://arxiv.org/abs/2103.16173

Contrastive Embedding for Generalized Zero-Shot Learning

 

 Zero shot Learning은 보통 embedding based method와 generative based method 두 범주로 나눌 수 있다. 해당 논문은 둘을 결합한 hybrid GZSL 모델을 제안한다. 그러면 이제 seen sample과 unseen에 대한 synthesis된 sample이 embedding network로 거쳐서 visual feature를 뽑아내는데, 이를 곧 바로 semantic descriptor와 비교해서 예측을 하는것이 아니라, 추가적인 embedding space로 보낸 뒤에 embed된 point와 semantic descriptor와 비교를 한다. 왜??

 

 original space는 discriminative information이 부족하기 때문이라고 말한다.

 

 

 위 그림을 보면 기존의 embedding 방법은 class-wise supervision만을 사용한다고 말한다.

 

 instance-wise supervision을 사용하기 위하여 contrastive embedding space를 추가한다.

 

 

 논문의 전체 구조이다.

 

 원래는 이미지로부터 E가 추출한 h를 a와 직접 비교하여 prediction을 수행한다. 하지만 위 그림에서 h는 H 네트워크와 F 네트워크를 거친다. 

 

 H 네트워크를 거쳐서 z를 출력하는데, 이 z 사이에 contrastive loss를 사용한다.

 

 

 이로써 instance-wise supervision을 활용할 수 있게 되었다. 동일한 class내의 instance를 가깝게하고 negative sample은 멀게 함으로써 E가 좀 더 discriminative한 정보를 추출할 수 있다. 

 

 class-wise supervision을 활용하기 위해 F 네트워크를 사용한다.

 

 E가 이미지로 부터 추출한 h와 descriptor a를 concat하여 F로 보낸다. 그리고 softmax를 거쳐서 class를 예측한다. F는 h와 a 사이의 유사도를 측정하는 역할을 수행하는데, F의 입력값에 h에 해당하는 descriptor를 concat한건 정답이 되고 negative에 해당하는 것들은 False가 되도록 softmax를 수행하여 contrastive learning을 한다.

 

 

 최종 Loss는 다음과 가탇.

 

 

 이렇게 학습한 모델은 H와 F를 버리고 새로운 classfier를 부착하고 GZSL classification을 수행한다.

 

 

 성능이 잘 나온 것을 확인할 수 있는데, Contrastive Learning은 정말 만능인듯?

 

GitHub - Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch: 공부 목적으로 논문을 리뷰하고 해당 논문 파