[논문 읽기] Recursive Training for Zero-Shot Semantic Segmentation(2021)

Recursive Training for Zero-Shot Semantic Segmentation

 PDF, Zero-Shot Segmentation, Ce et al, arXiv 2021

 

Summary

 

 generative 방법을 사용하는 Zero shot semantic segmentation은 generator가 얼마나 unseen image를 잘 생성하는지에 따라 성능이 좌우된다.

 

 generator가 seen data로만 학습이 되기 때문에 seen에 bias가 되어있는데, 해당 논문은 그 문제점을 해결하기 위한 method를 제안한다.

 

 generator를 recursive training하는건데, generator가 생성한 이미지를 classifier로 전달하여 confidence를 추출한다. 그러면 unseen에 대하여 높은 confidence를 지닌 이미지와 낮은 confidence를 지닌 이미지가 존재하는데, 높은 confidence 이미지에 높은 가중치를 가하여 낮은 confidence 이미지가 confidence가 높아지도록 하는 loss를 제안한다.

 

 이렇게 generator를 반복적으로 학습을 한다면, 생성된 unseen image의 confidence는 학습이 진행되면서 높아질 것이고 점점 더 정확한 unseen image를 생성한다는게 이 논문의 핵심 아이디어이다.

 

 

 generator를 recursive training하기 위하여 GMMN의 MMD loss를 수정한다. 기존의 MMD loss는 다음과 같이 구성된다.

 

 

 x는 real feature(backbone으로 부터 추출됌), y는 generator가 생성한 이미지이다. kernel function을 사용하여 두 분포를 맞춰준다는 의미가 있다.

 

 그러면 논문에서 제안하는 ZS-MMD Loss는 다음과 같다.

 

 

 Q는 threshold 이상의 confidence를 지닌 generated image, P는 모든 생성된 이미지이다. 두 이미지를 비교 함으로써 low confidence image가 high confidence를 갖도록 한다.

 

---

my github

Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch