반응형
Prototypical Matching and Open Seg Rejection for Zero-Shot Semantic Segmentation
Seen과 unknown 을 구분하는 segmentation model을 학습한 후에 unknown에 대하여 unseen class를 예측한다.
unseen class를 쉽게 확장하기 위하여 일반적인 classifier가 아닌 prototype matching 방법을 제안한다. semantic representation에 대한 prototype을 학습시켜서 visual feature를 prototype에 매칭하는 것이다. seen에 대한 semantic prototype을 학습시킨 후에, seen representation과 prototype을 매칭시키는 네트워크를 학습시킨다. 이 네트워크에 unseen representation을 입력하면 unseen에 대한 prototype이 생성되는데, unknown visual feature에 대하여 이 unseen prototype과 매칭을 해 unseen을 예측한다.
seen과 unknown으로 한번 걸러주므로 seen에 대한 bias를 감소시킬 수 있다는 것이 논문의 뽀인뜨
반응형