딥러닝 공부방

GETAM, Gradient-weighted Element-wise Transformer Attention Map for Weakly supervised Semantic Segmentation https://arxiv.org/abs/2112.02841 GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation Weakly Supervised Semantic Segmentation (WSSS) is challenging, particularly when image-level labels are used to supervise pixel level prediction. To ..

https://arxiv.org/abs/2010.08644 Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels Current weakly supervised object localization and segmentation rely on class-discriminative visualization techniques to generate pseudo-labels for pixel-level training. Such visualization methods, including class activation mapping (CAM) and Grad-CAM, use arxiv.org Zoom-CAM, Generating Fine-gra..

Grad-CAM, Visual Explanations from Deep Networks via Gradient-based Localization feature map에 가해주는 weight를 계산하는 방법이 CAM과 다르다. CAM은 global average pooling을 적용해 얻은 값에 softmax를 취해 가중치를 얻고, conv 마지막 layer 피쳐맵에 곱해 activation map을 얻었었다. Grad-CAM은 gradients의 값을 활용하여 weight를 계산한다. 카테고리가 주어지면 backpropagation을 통해 feature map에 가해지는 gradient가 높다면 해당 카테고리에 높은 영향력을 미친다는 가정인듯? 계산한 weight와 feture map을 곱한 뒤에 ReL..

Class Activation Map(CAM), Learning Deep Features for Discriminative Localization https://arxiv.org/abs/1512.04150 마지막 Conv layer의 출력값을 Fully-connected layer로 전달하려 예측을 수행한다. 이 conv의 마지막 출력값에 모델이 카테고리를 예측하는 데에 영향력이 높은 region 정보를 갖고 있다는 가정하에 이를 활용한다. 마지막 conv 출력값의 각 채널은 서로 다른 visual pattern 정보를 갖고 있다. 이 각 채널에 class에 영향력을 갖는 정도를 나타내는 weight를 가하고 더해서 class activation map을 만든다. w는 feature map에 GAP 적용..