Convolutional Prototype Learning for Zero-Shot Recognition(2019)
https://arxiv.org/abs/1910.09728
Convolutional Prototype Learning for Zero-Shot Recognition
Zero-shot learning (ZSL) has received increasing attention in recent years especially in areas of fine-grained object recognition, retrieval, and image captioning. The key to ZSL is to transfer knowledge from the seen to the unseen classes via auxiliary cl
arxiv.org
논문의 contribution은 두 가지로 볼 수 있을꺼 같다.
(1) Prototype
visual space에서 classification을 수행하기 위하여 semantic information로 visual space상에 prototype을 생성하여 visual feature와 prototype 사이의 거리를 기준으로 classification을 수행한다.
prototype은 attribute를 입력받는 MLP 모델을 사용하며 loss는 다음과 같다.
prediction은 다음과 같다. resnet으로 추출한 visual feature와 prototype 사이의 L2 norm을 계산하고 softmax로 전달하여 확률분포를 생성. 가장 높은 확률을 지닌 prototype을 선택한다.
(2) episode based learning
unseen class와 seen class사의 distribution gap이 존재한다. unseen에 대한 sample이 존재하기 않기 때문에, 이는 완화하기도 어렵고 gap을 추정하기도 어렵다. 따라서 해당 논문은 task간의 distribution consistency를 가정한다. training set에서 무작위로 C개의 class와 각 class간의 S개의 sample을 선정하여 zero-shot task를 생성한다. 각 task마다 test set은 disjoint하게 하며, episode learning을 통하여 새로운 task에도 generalization한 knowledge를 학습하도록 한다.
내 연구에도 prototype을 도입할 것이다. visual space상에서 prototype을 직접 생성하여 prediction 하거나 한번의 network를 거쳐서 출력한 값으로 prediction을 하거나.. 선택지가 있는데 논문 서치를 더 해봐야겠다.
GitHub - Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch: 공부 목적으로 논문을 리뷰하고 해당 논문 파
공부 목적으로 논문을 리뷰하고 해당 논문 파이토치 재구현을 합니다. Contribute to Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch development by creating an account on GitHub.
github.com