딥러닝 공부방

Zero-Shot Semantic Segmentation PDF, Zero shot semantic segmentation, Xizhou Zhu, Weije Su, Lewei Lu, Xiaogang Wang, Jifeng Dai, arXiv 2019 Summary 요즘 부쩍 zero shot에 대해 관심이 많아졌다. CLIP을 읽고 Zero-shot에 대한 강한 흥미가 생겼는데, segmentation에서는 zero shot을 어떻게 적용하는지 궁금해서 읽어보았다. 우선 좀 복잡한것 같다. unlabeled segmentation dataset이 없어서 labeled dataset에서 몇 개의 label을 제외하고 학습을 진행하는 것 같다. supervision segmentation 모델로 featur..

PWC-Net, CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume PDF, Optical Flow, Deqing Sun, Xiaodong Yang, Ming-Yu Liu, Jan Kautz, arXiv 2017 GIST 컴퓨터 비전 과제로 제출한 결과물 입니다. Summary 해당 논문은 Optical Flow를 prediction 하기 위한 딥러닝 모델입니다. 위 그림을 보면 빠른 running time, 적은 파라미터 수로 낮은 error를 달성하는 것을 살펴볼 수 있는데, 그 만큼 효과적인 모델을 제안합니다. 저자의 아이디어는 고전적인 optical flow 알고리즘의 세 가지 원칙을 CNN 모델에 적용하는 것입니다. 세 가지 원칙은 (1..

FlowNet, Learning Optical Flow with Convolutional Networks PDF, Optical Flow, Philipp, et al, arXiv 2015 Summary Optical Flow를 예측하기 위한 network. 기본적으로 두 이미지를 입력 받아서 optical flow를 예측하는데, 두 가지 architecture를 제안한다. FlowNetCorr는 두 개의 이미지로 부터 각각 feature를 뽑은 뒤에 correlayion layer를 통해 하나로 합쳐 준다. 좀 복잡한데 두 피쳐맵의 패치 값들을 내적해서 하나의 피쳐맵으로 쌓아 올리는 것으로 생각해보면 될 것 같다. refinement 내부 구조 인데 down sampling된 feature map을 원래..

Bootstrapping Semantic Segmentation with Regional Contrast PDF, Segmentation Contrastive learning in semi supervision, Shikun, et al, arXiv 2021 Summary 해당 논문은 segmentation에 contrastive learning을 적용하여 supervised or semi learning을 수행합니다. contrative learning은 positive 와 negative를 정의해주고 loss를 설계하는데 segmentation에서는 어떻게 positive와 negative를 정의하는지 확인해보면 좋을 듯 싶네요 또 봐야할 점은 image 내의 모든 pixel에 대하여 similari..

Panoptic Feature Pyramid Networks PDF, Panoptic Segmentation, Alexander, et al. arXiv 2019 Summary Panoptic segmentation task를 수행하기 위한 semantic, instance seg task에 대한 single network 입니다. semantic branch와 instance branch로부터 출력값을 얻어 heuristic하게 panoptic format을 만들어주는데, 해당 논문은 Feature Pyramid Network(FPN)을 활용합니다. Instance branch는 Mask RCNN을 사용합니다. Semantic branch는 FPN의 multi-feature를 add하여 하나의 sema..

Pix2Seq: A Language Modeling Framework for Object Detection PDF, Object Detection, Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton, arXiv 2021 Summary Object Detection을 language task의 관점에서 푸는 모델입니다. Language framework를 사용하므로 기존 object detection 알고리즘의 복잡한 앵커 박스, nms의 필요성이 사라집니다. 바운딩 박스와 클래스를 토큰으로 나타내어 prediction을 수행하는데 기존 모델과 비슷한 성능을 보여줍니다. encoder-decoder 구조를 사용하는데 이미지를 입력 받아..

IMP: Instance Mask Projection for High Accuracy Semantic Segmentation of Things PDF, Panoptic Segmentation, Cheng-Yang Fu, Tamara L. Berg, Alexander C. Berg, arXiv 2019 Summary detector로 object를 검출하고 instance branch로 mask를 추출한다. 추출한 mask를 Canvas에 project하여 새로운 피쳐맵을 생성한다. project는 canvas와 detection score * instance mask의 값중 높은 값을 선택한다. 새로운 feature map을 canvas와 concat한 뒤에 semantic branch로 전달하여 sem..

Pyramid Scene Parsing Network PDF, Semantic Segmentation, Hengshuan Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia, arXiv 2016 Summary Semantic Segmentation을 위한 모델입니다. 위 그림을 보면 강가에 있는 보트를 FCN은 car로 예측한 것을 확인할 수 있습니다. 이 error의 원인을 논문은 global Context를 고려하지 않았기 때문이라고 말합니다. 이 문제를 해결하기 위해 global context를 보고 예측을 할 수 있는 모델을 제안합니다. Pooling 연산으로 여러 크기의 feature map을 만든 후에 concat하여 global contex..

Single Network Panoptic Segmentation for Street Scene Understanding PDF, Panoptic Segmentation, Dann de Geus, Panagiotis Meletis, Gijs Dubbelman, arXiv 2019 Summary semantic branch와 instance branch로 구성된 single network를 사용하여 panoptic segmentation을 수행합니다. 해당 논문은 (1) Inter-branch information exchange, (2) improved heuristics을 제안하여 이전 방법보다 성능을 향상시킵니다. (1) Inter-branch information exchange Segmantic ..

Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network PDF, Panoptic Segmentation, Daan de Geus, Panagiotis Meletis, arXiv 2018 Summary 해당 논문은 Panoptic Segmentation task를 위한 모델입니다. Instance network와 Semantic network를 joint 학습시켜서 결과값을 heuristics하게 병합합니다. ResNet-50으로 특징을 추출한뒤에 추출된 특징은 semantic, instance branch로 전달됩니다. (1) Semantic branch semantic segmentation branch는 Pyramid..