딥러닝 공부방

Fine-Grained Generalized Zero-Shot Learning via Dense Attribute-Based Attention PDF, Zero-Shot Classification, Dat Huynh, Ehsan Elhamifar, CVPR 2020 Summary attribute에 해당하는 이미지 region에 집중해서 보겠다는 논문이다. 즉, 전체 이미지로부터 추출한 feature vector를 전체 attribute와 매칭하지 않고, attribute에 해당하는 이미지 region을 찾아내어 가중치를 준 다음에 class를 예측한다. 좀 더 세밀한 feature를 활용할 수 있다는 것이 장점. image region으로부터 추출한 feature와 attribute word embed..

LiT: Zero-Shot Transfer with Locked-image Text Tuning PDF, Zero-Shot Transfer, Zhai et al, arXiv 2021 Summary Transfer Learning과 Zero-Shot Transfer 의 차이점 먼저 설명하고 논문을 소개하겠다. Transfer Learning은 big dataset로 pre trained된 big model을 down stream으로 fine-tuning을 하는 것이다. 즉, 두 가지 철차로 이루어진다. (1) pre-training, (2) fine-tuning. 이 과정을 통하여 데이터가 적은 task에서도 좋은 성능을 가진 모델을 사용할 수 있다. Zero-Shot Transfer은 fine-tunin..

Zero-shot Learning via Shared-Reconstruction-Graph Pursuit PDF, Zero-Shot Classification, Zhao et al, arXiv 2017 Summary space shift problem을 정의한다. image feature space, attribute space, word vector space 사이의 knowledge structure가 다르다는 문제점이다. 기하학적인 inconsistent가 발생한다는 것인데, 각 space에서 structure가 서로 다른 데이터로 학습되기 때문에 발생한다. 즉, word embedding의 class 관계를 직접 image space로 transfer하면 문제점이 발생한다는 것. 논문에서 제안하는..

DeViSE, A Deep Visual-Semantic Embedding Model PDF, Zero-Shot Classification, Frome, et al, NIPS 2013 Summary CNN으로 image로부터 feature를 추출하고 transformation matrix를 통해 embedding vector space로 map한다. 사전 학습된 embedding vector와 유사도를 측정하여 class를 예측. 손실 함수는 ranking loss를 사용한다. my github Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch 공부 목적으로 논문을 리뷰하고 해당 논문 파이토치 재구현을 합니다. Contribute to Seonghoon-Y..

A Generative Adversarial Approach for Zero-Shot Learning from Noisy Texts PDF, Zero-Shot Classification, Zhu et al, arXiv 2017 Summary generative based zero shot classification이다. generator이 생성한 feature은 disparse하고 cluster structure를 망가뜨린다. 그래서 visual pivot regularization을 제안한다. 위 loss를 사용하는데, train distribution에 접근할 수 없으므로 sythesized feature의 평균을 계산해서 단일 feature가 이에 가까워 지도록 한다. 또, wiki에서 긁어온 te..

Zero-Shot Instance Segmentation PDF, Zero-Shot Segmentation, Ye et al, CVPR 2021 Summary 해당 논문은 zero shot instance segmentation task를 제안하는 논문이다. zero shot instance segmentation(ZSI)의 베이스 라인을 제공하고 논문에서 제안하는 방법이 zero shot object detection(ZSD)에서 SOTA 성능을 달성한다. 5가지 구성요소가 존재한다. (1) backbone, (2) BA-RPN, (3) Sync-bg, (4) zero-shot detector, (5) semantic mask head zero-shot detection RoI Align을 거쳐서 vi..

Language-Driven Semantic Segmentation PDF, Zero-Shot Segmentation, Anonymous, ICLR 2022 open review Summary CLIP을 segmentation에 적용한 페이퍼이다. Inference시에 label를 flexible하게 넣어줄 수 있다. 즉, 이미지에서 원하는 객체만 찾을 수 있다는 말. class를 dog와 other만 넣어주면 나머지는 other로 분류한다. Text encoder은 pre-trained CLIP을 freezing하여 사용한다. image encoder은 DPT를 사용하는데 DPT는 pretrained ViT를 encoder로 사용하고 decoder DPT를 random 초기화하여 학습시킨다. text ..

Recursive Training for Zero-Shot Semantic Segmentation PDF, Zero-Shot Segmentation, Ce et al, arXiv 2021 Summary generative 방법을 사용하는 Zero shot semantic segmentation은 generator가 얼마나 unseen image를 잘 생성하는지에 따라 성능이 좌우된다. generator가 seen data로만 학습이 되기 때문에 seen에 bias가 되어있는데, 해당 논문은 그 문제점을 해결하기 위한 method를 제안한다. generator를 recursive training하는건데, generator가 생성한 이미지를 classifier로 전달하여 confidence를 추출한다. 그러..

Uncertainty-Aware Learning for Zero-Shot Semantic Segmentation PDF, Zero-Shot Segmentation, Xizhou et al, neurips 2020 Summary 논문에서 지적하는 문제점 (1) training set에 noise가 존재 왜? 이상치와 사람의 어노테이션 때문에 (2) 각 pixel을 다루는 것은 global information이 손실됌 따라서 이미지 단위로 학습할 수 있는 loss 제안 개선 방법 uncertainty를 측정할 수 있는 통계값을 얻어서 loss로 준다 pixel level loss image level loss my github Seonghoon-Yu/Paper_Review_and_Implementation..

A Closer Look at Self-training for Zero-Label Semantic Segmentation PDF, Zero-Shot Segmentation, Giuseppe, arXiv 2021 Summary Self-training process를 개선한 논문. 베이스 모델은 SPNet을 사용한다. SPNet은 일정 confidence 이하의 pseudo label을 무시했었다. 해당 논문에서 제안하는 방법은 이미지로부터 augmentation을 여러개 적용하여 출력한 pseudo label의 교집합을 최종 pseudo label로 사용한다. 즉, unseen에 대한 더 정확한 pseudo label을 사용하여 모델을 re - training하여 성능을 높인다 my github Seon..