딥러닝 공부방

GETAM, Gradient-weighted Element-wise Transformer Attention Map for Weakly supervised Semantic Segmentation https://arxiv.org/abs/2112.02841 GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation Weakly Supervised Semantic Segmentation (WSSS) is challenging, particularly when image-level labels are used to supervise pixel level prediction. To ..

DETIC, Detecting Twenty thousand Classes using Image-label Supervision https://arxiv.org/abs/2201.02605 Detecting Twenty-thousand Classes using Image-level Supervision Current object detectors are limited in vocabulary size due to the small scale of detection datasets. Image classifiers, on the other hand, reason about much larger vocabularies, as their datasets are larger and easier to collect...

https://arxiv.org/abs/2010.08644 Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels Current weakly supervised object localization and segmentation rely on class-discriminative visualization techniques to generate pseudo-labels for pixel-level training. Such visualization methods, including class activation mapping (CAM) and Grad-CAM, use arxiv.org Zoom-CAM, Generating Fine-gra..

Grad-CAM, Visual Explanations from Deep Networks via Gradient-based Localization feature map에 가해주는 weight를 계산하는 방법이 CAM과 다르다. CAM은 global average pooling을 적용해 얻은 값에 softmax를 취해 가중치를 얻고, conv 마지막 layer 피쳐맵에 곱해 activation map을 얻었었다. Grad-CAM은 gradients의 값을 활용하여 weight를 계산한다. 카테고리가 주어지면 backpropagation을 통해 feature map에 가해지는 gradient가 높다면 해당 카테고리에 높은 영향력을 미친다는 가정인듯? 계산한 weight와 feture map을 곱한 뒤에 ReL..

Class Activation Map(CAM), Learning Deep Features for Discriminative Localization https://arxiv.org/abs/1512.04150 마지막 Conv layer의 출력값을 Fully-connected layer로 전달하려 예측을 수행한다. 이 conv의 마지막 출력값에 모델이 카테고리를 예측하는 데에 영향력이 높은 region 정보를 갖고 있다는 가정하에 이를 활용한다. 마지막 conv 출력값의 각 채널은 서로 다른 visual pattern 정보를 갖고 있다. 이 각 채널에 class에 영향력을 갖는 정도를 나타내는 weight를 가하고 더해서 class activation map을 만든다. w는 feature map에 GAP 적용..

PseudoSeg, Designing Pseudo Labels for Semantic Segmentation(2020) semi segmentation 논문. pixel label이 존재하면, 이미지에 weak augmentation을 준 뒤 모델로 전달하여 얻은 prediction과 gt사이의 cross entropy loss를 계산. unlabeled image에 대해서는 strong augmentation을 가한뒤에 얻은 prediction과 pseudo label 사이의 cross entropy를 계산한다. 그러면 pseudo label을 어떻게 얻을까? grad-CAM과 decode의 출력값을 활용한다. grad-CAM은 prediction에 높은 영향력이 있는 region을 검출하는데, 이는 ..

not refined 0 unlabeled 1 person 2 bicycle 3 car 4 motorcycle 5 airplane 6 bus 7 train 8 truck 9 boat 10 traffic light 11 fire hydrant 12 street sign 13 stop sign 14 parking meter 15 bench 16 bird 17 cat 18 dog 19 horse 20 sheep 21 cow 22 elephant 23 bear 24 zebra 25 giraffe 26 hat 27 backpack 28 umbrella 29 shoe 30 eye glasses 31 handbag 32 tie 33 suitcase 34 frisbee 35 skis 36 snowboard 37 spo..

0 __background__ 1 aeroplane 2 bicycle 3 bird 4 boat 5 bottle 6 bus 7 car 8 cat 9 chair 10 cow 11 diningtable 12 dog 13 horse 14 motorbike 15 person 16 pottedplant 17 sheep 18 sofa 19 train 20 tvmonitor

MMdetection을 사용할 일이 생겨서 환경 셋팅을 하는 도중에 Wand를 import하는 과정(MMdetection 코드 내부에 Wand를 import 하는 과정이 있음)에서 에러가 발생했다. ImportError: MagickWand shared library not found. You probably had not installed ImageMagick library. Wand 내부에 ImageMagick library를 불러오는데, ImageMagick이 설치되지 않아서 발생한 오류. sudo apt-get install libmagickwand-dev 위 명령어로 magickwand를 설치하면 작동한다.

End-to-End Semi-Supervised Object Detection with Soft Teacher https://arxiv.org/abs/2106.09018 End-to-End Semi-Supervised Object Detection with Soft Teacher This paper presents an end-to-end semi-supervised object detection approach, in contrast to previous more complex multi-stage methods. The end-to-end training gradually improves pseudo label qualities during the curriculum, and the more and ..