딥러닝 공부방

안녕하세요! 이번에 읽어볼 논문은 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 입니다. ShuffleNet은 경량화에 집중한 모델입니다. 또 다른 경량화 모델인 MobileNetV1을 능가합니다. 그리고 AlexNet과 비교하여 동일한 정확도로 13배나 더 빠릅니다. MobileNetV1와 Xception에서 연산량을 줄이기 위해 사용하는 Depthwise separable convolution을 기억하시나요? Xception은 Depthwise separable convolution으로 연산량을 감소한 만큼 깊이를 증가시켰었죠. 반대로 MobileNet은 Depthwise separable convo..

이번에 읽어볼 논문은 NasNet, Learning Transferable Architectures for Scalabel Image Recognition 입니다. NasNet은 RNN을 활용하여 생성된 convolution block으로 구성되어 있습니다. 이와 대조적으로 ResNet, Inception, MobileNet 등등은 사람이 블락을 설계하고, 블락을 쌓아서 모델을 구축했었습니다. 대표적으로 ResNet은 residual block을 설계하고, 차곡차곡 쌓아서 ResNet을 구축했었죠. NasNet은 block을 사람이 설계하는 것이 아니라, 강화학습과 RNN을 활용하여 block을 설계한 것입니다! 그리고 NasNet은 당시 SOTA를 달성합니다. 딥러닝이 생성한 모델 구조가 사람이 설계한..

PyTorch로 WRN(Wide Residual Network)를 구현하고 학습까지 해보겠습니다. 작업 환경은 google colab에서 진행했습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] WRN(2016) 리뷰, Wide Residual Networks 이번에 읽어볼 논문은 WRN, Wide Residual Networks 입니다. WRN은 residual netowrk의 넓이를 증가시키고 깊이를 감소시킨 모델입니다. 16 layer로 이루어진 WRN은 1000-layer ResNet 같은 깊은 신경망을 제.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 1. 데이터셋 불러오기 데이터셋은 torchvision 패키지에..

안녕하세요! 이번에 읽어볼 논문은 MobileNetV2: Inverted Residuals and Linear Bottlenecks 입니다. MobileNetV2는 MobileNetV1의 후속작 입니다. MobileNetV1에 대해 궁금하신 분은 아래 포스팅을 참고해주세요. [논문 읽기] MobileNet(2017) 리뷰, Efficient Convolutional Neural Networks for Mobile Vision Applications 이번에 읽어볼 논문은 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application 입니다. MobileNet은 Depthwise separable convolution을 활용..

이번에 구현해볼 모델은 PreAct-ResNet입니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] Pre-Activation ResNet(2016) 리뷰, Identity Mappings in Deep Residual Networks 이번에 소개할 논문은 Pre-Activation ResNet, Identity Mappings in Deep Residual Networks 입니다. ResNet은 skip connection을 활용해 신경망이 수렴이 잘 되도록 하여 층을 깊게 쌓아 정확도를 높인 모델.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 1. 데이터셋 불러오기 데이터셋은 torchvision 패키지에서 제공하는 ST..

이번에 읽어볼 논문은 SENet, Squeeze-and-Excitation Networks 입니다. SENet은 ILSVRC 2017에서 1등을 한 모델입니다. SENet은 채널간의 상호작용에 집중하여 성능을 끌어올린 모델입니다. 채널 간의 상호작용은 가중치로 생각해볼 수 있습니다. 가중치가 큰 채널은 중요한 특징을 담고있다는 의미로 해석할 수 있습니다. 피쳐맵의 각 채널마다 가중치를 부여하여 피쳐맵의 각 채널에 곱합니다. 즉, SENet은 채널 간의 가중치를 계산하여 성능을 끌어올린 모델로 생각해 볼 수 있습니다. 이제 이 가중치를 어떻게 계산하는지 알아보도록 하겠습니다. 위 그림은 SB Block(Squeeze(압축) + Excitation(재조정))을 통해 채널별 가중치를 계산하고 피쳐맵에 곱해지는..

이번에 읽어볼 논문은 DPN, Dual Path Networks 입니다. DPN은 ILSVRC Object Localization task에서 1위를 차지한 모델입니다. DPN은 DenseNet과 ResNet의 장점을 활용한 모델입니다. Dual Path Network 이름 그대로 2개의 path로 구성되어 있습니다. one path는 residual network, 다른 path는 dense network입니다. ResNet은 residual path를 활용해서 레이어의 입력값을 출력값에 더해줍니다. 이 방식은 feature reuse 효과가 있습니다. 이전 레이어의 출력값이 소실되지 않고 계속해서 활용되기 때문입니다. 위 그림을 보면 shortcut connection을 사용해 이전 레이어들의 출력값..

이번 포스팅에서는 InceptionV4를 파이토치로 구현하고, 학습까지 진행해보겠습니다. 구현할 모델은 InceptionV4에 residual block을 사용하는 Inception-ResNet-V2 입니다. 작업 환경은 구글 코랩에서 진행했습니다. 논문 리뷰는 여기에서 확인하실 수 있습니다. [논문 읽기] Inception-v4(2016) 리뷰, Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 이번에 소개할 논문은 2017년에 나온 Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 입니다. 저자는 Szegedy..

안녕하세요! 이번에 소개할 논문은 Residual Attention Network 입니다. Residual Attention Network는 자연어 처리에서 활발하게 이용하고 있는 Attention에서 영감을 받아 탄생한 모델입니다. 실제 Attention 알고리즘을 사용하지는 않고, 비슷한 개념을 이용하기 때문에 Attention 이름이 붙여졌습니다. Residual Attention Network는 Attention module로 이루어져 있습니다. 그리고, 이 Attention module은 다른 모델과 결합하여 사용할 수 있습니다. Attention module 내부에는 두 파트로 이루어져 있습니다. 마스크를 생성하는 부분과 기존 모듈(residual 모듈, inception 모듈)이 있습니다. ..

안녕하세요! 이번에 소개할 논문은 PolyNet: A Pursuit of Structural Diversity in Very Deep Networks 입니다. PolyNet은 ILSVRC2016 대회에서 3등을 차지한 모델입니다. Inception-ResNet-v2 를 기억하시나요?! Inception-ResNet-v2는 3 종류의 인셉션 모듈을 사용하는 모델인데요, PolyNet은 Inception-ResNet-v2 구조에서 인셉션 모듈을 PolyInception module로 교체한 것입니다! 아래 포스팅에서 Inception-ResNet-v2 논문 리뷰를 확인하실 수 있습니다. 그러면 PolyInception module이 무엇인지 알아보겠습니다. [논문 읽기] Inception-v4(2016) 리..