딥러닝 공부방

안녕하세요! 이번에 읽어볼 논문은 MobileNetV2: Inverted Residuals and Linear Bottlenecks 입니다. MobileNetV2는 MobileNetV1의 후속작 입니다. MobileNetV1에 대해 궁금하신 분은 아래 포스팅을 참고해주세요. [논문 읽기] MobileNet(2017) 리뷰, Efficient Convolutional Neural Networks for Mobile Vision Applications 이번에 읽어볼 논문은 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application 입니다. MobileNet은 Depthwise separable convolution을 활용..

이번에 읽어볼 논문은 SENet, Squeeze-and-Excitation Networks 입니다. SENet은 ILSVRC 2017에서 1등을 한 모델입니다. SENet은 채널간의 상호작용에 집중하여 성능을 끌어올린 모델입니다. 채널 간의 상호작용은 가중치로 생각해볼 수 있습니다. 가중치가 큰 채널은 중요한 특징을 담고있다는 의미로 해석할 수 있습니다. 피쳐맵의 각 채널마다 가중치를 부여하여 피쳐맵의 각 채널에 곱합니다. 즉, SENet은 채널 간의 가중치를 계산하여 성능을 끌어올린 모델로 생각해 볼 수 있습니다. 이제 이 가중치를 어떻게 계산하는지 알아보도록 하겠습니다. 위 그림은 SB Block(Squeeze(압축) + Excitation(재조정))을 통해 채널별 가중치를 계산하고 피쳐맵에 곱해지는..

이번에 읽어볼 논문은 DPN, Dual Path Networks 입니다. DPN은 ILSVRC Object Localization task에서 1위를 차지한 모델입니다. DPN은 DenseNet과 ResNet의 장점을 활용한 모델입니다. Dual Path Network 이름 그대로 2개의 path로 구성되어 있습니다. one path는 residual network, 다른 path는 dense network입니다. ResNet은 residual path를 활용해서 레이어의 입력값을 출력값에 더해줍니다. 이 방식은 feature reuse 효과가 있습니다. 이전 레이어의 출력값이 소실되지 않고 계속해서 활용되기 때문입니다. 위 그림을 보면 shortcut connection을 사용해 이전 레이어들의 출력값..

안녕하세요! 이번에 소개할 논문은 Residual Attention Network 입니다. Residual Attention Network는 자연어 처리에서 활발하게 이용하고 있는 Attention에서 영감을 받아 탄생한 모델입니다. 실제 Attention 알고리즘을 사용하지는 않고, 비슷한 개념을 이용하기 때문에 Attention 이름이 붙여졌습니다. Residual Attention Network는 Attention module로 이루어져 있습니다. 그리고, 이 Attention module은 다른 모델과 결합하여 사용할 수 있습니다. Attention module 내부에는 두 파트로 이루어져 있습니다. 마스크를 생성하는 부분과 기존 모듈(residual 모듈, inception 모듈)이 있습니다. ..

안녕하세요! 이번에 소개할 논문은 PolyNet: A Pursuit of Structural Diversity in Very Deep Networks 입니다. PolyNet은 ILSVRC2016 대회에서 3등을 차지한 모델입니다. Inception-ResNet-v2 를 기억하시나요?! Inception-ResNet-v2는 3 종류의 인셉션 모듈을 사용하는 모델인데요, PolyNet은 Inception-ResNet-v2 구조에서 인셉션 모듈을 PolyInception module로 교체한 것입니다! 아래 포스팅에서 Inception-ResNet-v2 논문 리뷰를 확인하실 수 있습니다. 그러면 PolyInception module이 무엇인지 알아보겠습니다. [논문 읽기] Inception-v4(2016) 리..

이번에 읽어볼 논문은 Aggregated Residual Transformations for Deep Neural Networks 입니다. ResNext는 ILSVRC 2016 대회에서 2등을 차지한 모델입니다. 1등 팀인 Trimps-Soushen은 Inception-v3, Inception-v4, Inception-ResNet-v2, ResNet-200, WRN-68-3 5가지 모델을 적절히 양상블하여 1위를 달성했다고 하네요. 3등은 다음 포스팅에서 리뷰할 PolyNet입니다. ResNext ResNext는 ResNet의 bottle neck을 아래 그림과 같이 수정한 것입니다. 왼쪽은 ResNet의 BottleNeck이고, 오른쪽은 ResNext의 BottleNeck 입니다. ResNext의 Bo..

이번에 읽어볼 논문은 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application 입니다. MobileNet은 Depthwise separable convolution을 활용하여 모델을 경량화했습니다. Xception은 Depthwise separable convolution을 활용하여 감소한 파라미터 수 많큼 층을 쌓아 성능을 높이는데 집중했는데요. MobileNet은 반대로 경량화에 집중합니다. MobileNet이 경량화에 집중한 이유는 핸드폰이나 임베디드 시스템 같이 저용량 메모리환경에 딥러닝을 적용하기 위해서는 모델 경량화가 필요하기 때문입니다. 메모리가 제한된 환경에서 MobileNet을 최적으로 맞추기 위해 ..

이번에 읽어볼 논문은 Xception: Deep Learning with Depthwise Separable Convolutions 입니다. Xception은 Inception 모듈에 대한 고찰로 탄생한 모델입니다. Xception은 완벽히 cross-channel correlations와 spatial correlations를 독립적으로 계산하기 위해 고안된 모델입니다. 이를 위해 세로운 Inception 모듈을 제안합니다. cross-channel correlation와 spatial correlation이 무엇인지 기존 Inception 모듈을 살펴보면서 알아보겠습니다. 1. Inception hypothesis Inception 모듈에 대한 저자의 해석입니다. 흥미롭게 읽었네요. 아래 그림은 In..

이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. DensNet은 모든 레이어의 피쳐맵을 연결합니다. 이전 레이어의 피쳐맵을 그 이후의 모든 레이어의 피쳐맵에 연결합니다. 연결할 때는 ResNet과 다르게 덧셈이 아니라 concatenate(연결)을 수행합니다. 따라서 연결할 때는, 피쳐맵 크기가 동일해야 합니다. 피쳐맵을 계속해서 연결하면 채널수가 많아질 수 있기 때문에, 각 레이어의 피쳐맵 채널 수는 굉장히 작은 값을 사용합니다. 이렇게 연결하면 어떤 장점이 있을까요? 1. strong gradient..

이번에 소개할 논문은 PyramidNet, Deep Pyramidal Residual Networks 입니다. 저자는 Kaist대학의 Dongyoon Han님입니다. 한국 대학교가 등장하니 가슴이 벅차 오르네요..!! 일반적으로 CNN 모델은 pooling layer에서 memory 사용을 감소하고 고차원의 특징을 추출하기 위한 down-sampling 연산을 수행하고, filter 수를 급격히 증가시킵니다. 이는 고차원 정보의 다양성을 증가시키기 때문에 모델의 성능을 향상시킵니다. PyramidNet은 down-sampling을 수행할 때, filter 수를 급격히 증가시키는 대신에, 가능한한 모든 위치에서 점진적으로 filter수를 증가시킵니다. 그리고 이 방법은 모델의 일반화 성능을 증가시킵니다. ..