딥러닝 공부방

Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network PDF, Panoptic Segmentation, Daan de Geus, Panagiotis Meletis, arXiv 2018 Summary 해당 논문은 Panoptic Segmentation task를 위한 모델입니다. Instance network와 Semantic network를 joint 학습시켜서 결과값을 heuristics하게 병합합니다. ResNet-50으로 특징을 추출한뒤에 추출된 특징은 semantic, instance branch로 전달됩니다. (1) Semantic branch semantic segmentation branch는 Pyramid..

Panoptic Segmentation PDF, Segmentation, Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, Piotr Dollar, arXiv 2018 Summary 오랜만에 업로드하는 segmentation 논문 입니다 ㅎㅎ segmentation을 연구하게 될 것 같아서 앞으로 자주 업로드 할꺼 같네요 해당 논문은 Panoptic Segmentation을 정의하고 metric을 제안합니다. 왜 새로운 task를 정의하는 걸까요? 논문은 The proposed task requires generating a coherent scene segmentation that is rich and complete, an importan..

안녕하세요, 오늘 읽은 논문은 SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation 입니다. SegNet은 semantic pixel-wise segmentation을 위한 fully convolutional neural network architecture 입니다. encoder network와 decoder network로 구성되며 이후에 pixel-wise classification layer가 따라옵니다. encoder은 VGG16 network와 동일하게 13 conv layer로 구성되며, decoder network의 역할은 저해상도의 pixel-wise classification을 위해encoer f..

안녕하세요, 오늘 읽은 논문은 DilatedNet, Multi-Scale Context Aggregation by Dilated Convolutions 입니다. DilatedNet은 segmetation task를 위한 dilated convolution을 사용합니다. dilated convolution은 이미지의 해상도를 낮추지 않고, receptive field를 확장할 수 있습니다. 예를 들어, 기존의 CNN은 max pooling 연산 또는 stride=2인 conv 연산을 통하여 feature map의 크기를 축소한 뒤에 conv 연산을 적용하여 receptive field를 확장합니다. dilated conv는 이과정을 거치지 않아 공간적인 정보 훼손 없이 receptive field를 확장할..

안녕하세요, 오늘 읽은 논문은 PANet, Path Aggregation Network for Instance Segmentation 입니다. PANet은 Mask R-CNN을 기반으로 Instance Segmentation을 위한 모델입니다. 이 논문에서 제안하는 Bottom-up path augmentation과 Adaptive feature pooling 방법은 YOLOv4에서 사용할 만큼 효과적인 성능을 나타내고 있습니다. PANet PANet은 (1) Bottom-up Path Augmentation, (2) Adaptive Feature Pooling, (3) Fully-connected Fusion 세 가지 방법을 제안합니다. 1. Bottom-up Path Augmentation Botto..

이번에 읽어볼 논문은 Mask R-CNN 입니다. Mask R-CNN은 instance segmentation을 수행할 목적으로 Faster R-CNN에 mask brancch를 추가한 것입니다. 그리고 기존에 object detection을 목적으로 사용하는 RoI pool을 RoI Align로 대체합니다. 또한 좀 더 다양한 scale의 proposals를 얻기 위해, FPN이 추가되었습니다. 아래 그림에서 전체 구조를 확인해보실 수 있습니다. Loss function Mask R-CNN은 2-stage 기법입니다. 첫 번째 stage는 RPN에서 RoI를 생성합니다. 두 번째 stage는 생성한 RoI를 이용하여 class, boxx offset, binary mask를 출력합니다. mask bra..

이번에 읽어볼 논문은 DeepConvNet, 'Learning Deconvolution Network for Semantic Segmentation' 입니다. DeepConvNet은 Convolution network와 Deconvolution network, 두 파트로 구성되어 있습니다. Convolution network로 feature을 추출하고, Deconvolution network로 feature에 대한 object segmentation을 생성합니다. 이 DeepConvNet은 FCN의 한계를 개선하기 위해 제안되었는데요. 우선 FCN의 한계를 먼저 살펴보겠습니다. Limitations of FCN FCN는 심각한 단점을 갖고 있습니다. 첫 번째는 fixed-size receptive fie..

두 번째 semantic segmentation 논문입니다. semantic segmentation 논문은 읽어도 이해가 잘 안되네요. 배경지식이 부족해서 그런 것 같습니다. 논문을 많이 읽을수록 배경지식이 쌓이므로, 열심히 읽도록 하겠습니다. Astract Deep Convolutional Neural Networks(DCNNs)를 pixel-level classification 문제를 해결하기 위해 사용합니다. DCNNs의 마지막 레이어에서의 특징은 정확한 object segmentation을 포착하기에 부족합니다. 이것은 DCNNs의 invariance 특징 때문입니다. 부정확한 localization문제를 DCNNs의 마지막 레이어에서의 responses와 fully connected Condit..

공부 목적으로 FCN 논문을 읽어보았습니다. Abstract FCN은 end-to-end, pixels-to-pixels 학습이 되는 convolutional network입니다. 핵심 아이디어는 임의의 크기로 입력 값을 받고, 그에 해당하는 출력값을 생성하는 'fully convolutional network' 입니다. AlexNet, GoogLeNet, VGGnet과 같은 classification 신경망을 사용하고, 이들을 segmentation task에 맞게 fine-tunning 합니다. 그리고나서 shallow의 정보와 deep의 정보를 결합하는 새로운 구조를 정의합니다. 1. Introduction Semantic segmentation은 coarse부터 fine까지 inference를 통..