Zero-Shot Learning via Contrastive Learning on Dual Knowledge Graphs
https://ieeexplore.ieee.org/document/9607851
Zero-Shot Learning via Contrastive Learning on Dual Knowledge Graphs
Graph Convolutional Networks (GCNs), which can integrate both explicit knowledge and implicit knowledge together, have shown effectively for zero-shot learning problems. Previous GCN-based methods generally leverage a single category (relationship) knowled
ieeexplore.ieee.org
zero-shot classification 논문.
논문의 contribution은 (1) dual knowledge grpah, (2) contrastive learning 이다.
(1) dual knowledge graph
다수의 지식을 활용하기 위해서 여러 개의 graph를 사용한다. 해당 논문은 두 개의 knowledge를 사용하며 따라서 두 개의 graph를 이용한다. 논문의 읽기 전까진 visual 정보랑 semantic 정보 두개 인줄 알았는데, 아니었다.
hierarchy graph와 semantic correlation graph를 사용한다. 두 정보를 graph에 embedding하고 GCN으로 학습시켜 최종 representation을 visual classifier를 생성하기 위해 사용한다.
hierarchy knowledge는 WordNet으로 얻었고, semantic correlation은 class와 top-K semilarity를 가진 class를 사용하여 인접 행렬을 만든다.
그리고 knowledge와 semantic represenation을 입력 받는 graph를 GCN에 전달하여 최종 node representation을 얻는다. 참고로 GCN은 가중치 공유 한다.
이렇게 얻은 node representation을 contrastive learning에 활용한다.
(2) Contrastive Learning
anchor: hierarchy graph의 각 node embedding
positive: anchor로 선정된 class에 해당하는 semantic relation graph의 node representation
negative: hierarchy graph에서 anchor를 제외한 랜덤 샘플링 node
symmetric 성질을 위해 반대로도 해줌.
의문점: graph는 relation 정보를 담고 있는데, 이를 negative로 선정하여 밀어내면 discriminative한 성질은 얻을 수 있겠지만 relation 정보가 깨지지 않을까? 실험을 봐야할듯.
이렇게 학습한 각 graph의 최종 node represenation으로 visual classifier weights를 학습시킨다.
ground-truth로 선정한 weight는 사전학습된 cnn 모델의 마지막 layer의 가중치이다.
prediction은 unseen에 대한 가중치만을 이용.
https://github.com/Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch
GitHub - Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch: 공부 목적으로 논문을 리뷰하고 해당 논문 파
공부 목적으로 논문을 리뷰하고 해당 논문 파이토치 재구현을 합니다. Contribute to Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch development by creating an account on GitHub.
github.com