[논문 읽기] Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation(2021)

Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation

 PDF, Zero-Shot Semantic Segmentation, Xizhou et al, arXiv 2021

 

Summary

 Embedding based method Zero Shot Learning을 Semantic Segmantion에 적용하는 논문입니다.

 

 

 논문의 novelty는 두 가지라고 생각합니다.

 

(1) Joint Embedding Space

 CNN이 추출한 feature에서 객체의 경계 부분은 mixture 되어 있습니다. 하지만 semantic information(word embedding)은 경계 부분에서도 discrete한 값을 갖고 있습니다. 이 문제를 해결하기 위하여 semantic information을 semantic prototype으로 변환하여 Joint embedding space로 보내어 이 semantic prototype과 visual feature 사이의 거리를 기준으로 classification을 수행합니다.

 

(2) desicion boundry

 seen image로만 학습이 진행되기 때문에 seen에 bias하는 문제점을 갖고 있습니다. domain shift하는 방법을 제안합니다.

 

 

 visual feature를 down sample 한 뒤에 class에 해당하는 pixel에 대한 word embedding을 쌓고 upsampling을 하여 word embedding 값을 interpolate 합니다. interpolate 했기 때문에 객체의 경계 부근의 word embedding은 continuous한 값을 갖는데, 이 feature map을 semantic encoder로 전달하여 semantic prototype을 생성합니다.

 

Loss

 세 가지 loss를 사용합니다.

 

 

 bar loss와 sc loss는 논문에서 제안하는 loss 입니다.

 

(1) CE Loss

 

(2) BAR loss

 

 이전의 방법은 visual feature와 word embedding 사이의 유사도를 기반으로 classfication을 수행했습니다. 하지만 논문에서는 word embedding을 semantic encoder로 전달하여 semantic prototype으로 변환합니다. 이 prototype과 visual feature 사이의 거리가 가까워 지는 방향으로 학습을 진행합니다.

 

(3) SC loss

 prototype은 word embedding 처럼 class 간의 관계 정보를 포착하지 못합니다. word embedding이 갖고있는 class 사이의 relation을 prototype에 주입시킵니다.

 

 

Apollonius circle

 

 inference시에 decision boundry를 결정하는 방법입니다.

 

 apollonius circle 개념을 가져와서 사용합니다.

 

 visual feature와 첫 번째, 두 번째로 가까운 prototype과의 거리를 측정합니다.

 

 

 그리고 둘 사이의 거리 비를 의미하는 시그마 하이퍼파라미터를 정의합니다. 이 값은 1보다 작아야 합니다.

 

 

 이를 기반으로 다음과 같은 rule 로 decision을 진행합니다.

 

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch