딥러닝 공부방

Uncertainty-Aware Learning for Zero-Shot Semantic Segmentation PDF, Zero-Shot Segmentation, Xizhou et al, neurips 2020 Summary 논문에서 지적하는 문제점 (1) training set에 noise가 존재 왜? 이상치와 사람의 어노테이션 때문에 (2) 각 pixel을 다루는 것은 global information이 손실됌 따라서 이미지 단위로 학습할 수 있는 loss 제안 개선 방법 uncertainty를 측정할 수 있는 통계값을 얻어서 loss로 준다 pixel level loss image level loss my github Seonghoon-Yu/Paper_Review_and_Implementation..

A Closer Look at Self-training for Zero-Label Semantic Segmentation PDF, Zero-Shot Segmentation, Giuseppe, arXiv 2021 Summary Self-training process를 개선한 논문. 베이스 모델은 SPNet을 사용한다. SPNet은 일정 confidence 이하의 pseudo label을 무시했었다. 해당 논문에서 제안하는 방법은 이미지로부터 augmentation을 여러개 적용하여 출력한 pseudo label의 교집합을 최종 pseudo label로 사용한다. 즉, unseen에 대한 더 정확한 pseudo label을 사용하여 모델을 re - training하여 성능을 높인다 my github Seon..

Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation PDF, Zero-Shot Semantic Segmentation, Xizhou et al, arXiv 2021 Summary Embedding based method Zero Shot Learning을 Semantic Segmantion에 적용하는 논문입니다. 논문의 novelty는 두 가지라고 생각합니다. (1) Joint Embedding Space CNN이 추출한 feature에서 객체의 경계 부분은 mixture 되어 있습니다. 하지만 semantic information(word embedding)은 경계 부분에서도 discrete한 값을 갖고 있..

ReThinking Atrous Convolution for Semantic Image Segmentation PDF, Semantic Segmentation, Liang-Chieh et al, arXiv 2017 Summary Semantic Segmentation task를 위해 Atrous convolution을 사용하는 논문입니다. 논문의 가장 큰 contribution은 ASPP module 입니다. 다양한 rate의 atrous conv를 적용해 multi-scale로부터 feature를 추출하여 concat 한 뒤에 1x1 conv로 전달하여 prediction을 수행합니다. ASPP module은 일반적인 CNN 모델 끝 단에 부착하여 사용합니다. 또한 atrous conv를 사용하여 더 ..

SPNet, Semantic Projection Network for Zero- and Few-Label Semantic Segmentation PDF, Zero-Shot Semantic Segmentation, Yongqin et al, CVPR 2020 Summary embedding based zero-shot semantic segmentation 모델입니다. SPNet은 두 가지로 구성되어 있습니다. (1) Visual-semantic embedding module 이미지를 입력 받아 segmentation model에 전달하여 a x b x d_w 의 피쳐맵을 생성합니다. d_w는 werd embedding의 차원과 동일합니다. (2) Semantic Projection (1)이 생성한 fea..

SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation PDF, Zero shot semantic segmentation, Jiaxin et al, arXiv 2021 Summary Zero shot semantic segmentation 논문이다. 이전 방법에서 두 가지를 개선했다. (1) positional encoding, (2) self-training. position 정보를 주입하여 noise를 생성하고 generator에 전달하는데 이 방법이 효과가 있네? 상당히 성능이 상승한다. 그리고 기존 ZSSS에 사용하는 self-training 방법은 pseudo l..

Context-aware Feature Generation for Zero-shot Semantic Segmentation PDF, Zero-shot segmentation, Zhangxuan, at al, arXiv 2020 Summary unseen object를 segment하는 zero-shot semantic segmentation 논문이다. 해당 논문은 genetation에 context-aware feature를 주입하여 unseen image를 더 정확하게 생성하여 성능을 끌어 올린다. pixel-wise contextual information을 포착하기 위해 contextual module을 제안하는데, 이 semantic word embedding과 contextual informat..

새로운 분야 공부를 시작할 때, survey 논문을 먼저 보는 편인데 Zero shot에 흥미가 생겨서 survey 논문을 읽어봤다. Zero-Shot learning 에 대해 설명되어 있는 한국어 자료가 많이 없는 것 같아서 한번 글로 작성해본다. https://arxiv.org/abs/2011.08641 A Review of Generalized Zero-Shot Learning Methods Generalized zero-shot learning (GZSL) aims to train a model for classifying data samples under the condition that some output classes are unknown during supervised learning. ..

Zero-Shot Semantic Segmentation PDF, Zero shot semantic segmentation, Xizhou Zhu, Weije Su, Lewei Lu, Xiaogang Wang, Jifeng Dai, arXiv 2019 Summary 요즘 부쩍 zero shot에 대해 관심이 많아졌다. CLIP을 읽고 Zero-shot에 대한 강한 흥미가 생겼는데, segmentation에서는 zero shot을 어떻게 적용하는지 궁금해서 읽어보았다. 우선 좀 복잡한것 같다. unlabeled segmentation dataset이 없어서 labeled dataset에서 몇 개의 label을 제외하고 학습을 진행하는 것 같다. supervision segmentation 모델로 featur..

PWC-Net, CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume PDF, Optical Flow, Deqing Sun, Xiaodong Yang, Ming-Yu Liu, Jan Kautz, arXiv 2017 GIST 컴퓨터 비전 과제로 제출한 결과물 입니다. Summary 해당 논문은 Optical Flow를 prediction 하기 위한 딥러닝 모델입니다. 위 그림을 보면 빠른 running time, 적은 파라미터 수로 낮은 error를 달성하는 것을 살펴볼 수 있는데, 그 만큼 효과적인 모델을 제안합니다. 저자의 아이디어는 고전적인 optical flow 알고리즘의 세 가지 원칙을 CNN 모델에 적용하는 것입니다. 세 가지 원칙은 (1..