딥러닝 공부방

Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation PDF, Zero-Shot Semantic Segmentation, Xizhou et al, arXiv 2021 Summary Embedding based method Zero Shot Learning을 Semantic Segmantion에 적용하는 논문입니다. 논문의 novelty는 두 가지라고 생각합니다. (1) Joint Embedding Space CNN이 추출한 feature에서 객체의 경계 부분은 mixture 되어 있습니다. 하지만 semantic information(word embedding)은 경계 부분에서도 discrete한 값을 갖고 있..

SPNet, Semantic Projection Network for Zero- and Few-Label Semantic Segmentation PDF, Zero-Shot Semantic Segmentation, Yongqin et al, CVPR 2020 Summary embedding based zero-shot semantic segmentation 모델입니다. SPNet은 두 가지로 구성되어 있습니다. (1) Visual-semantic embedding module 이미지를 입력 받아 segmentation model에 전달하여 a x b x d_w 의 피쳐맵을 생성합니다. d_w는 werd embedding의 차원과 동일합니다. (2) Semantic Projection (1)이 생성한 fea..

SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation PDF, Zero shot semantic segmentation, Jiaxin et al, arXiv 2021 Summary Zero shot semantic segmentation 논문이다. 이전 방법에서 두 가지를 개선했다. (1) positional encoding, (2) self-training. position 정보를 주입하여 noise를 생성하고 generator에 전달하는데 이 방법이 효과가 있네? 상당히 성능이 상승한다. 그리고 기존 ZSSS에 사용하는 self-training 방법은 pseudo l..

Zero-Shot Semantic Segmentation PDF, Zero shot semantic segmentation, Xizhou Zhu, Weije Su, Lewei Lu, Xiaogang Wang, Jifeng Dai, arXiv 2019 Summary 요즘 부쩍 zero shot에 대해 관심이 많아졌다. CLIP을 읽고 Zero-shot에 대한 강한 흥미가 생겼는데, segmentation에서는 zero shot을 어떻게 적용하는지 궁금해서 읽어보았다. 우선 좀 복잡한것 같다. unlabeled segmentation dataset이 없어서 labeled dataset에서 몇 개의 label을 제외하고 학습을 진행하는 것 같다. supervision segmentation 모델로 featur..