딥러닝 공부방

이번에 공부해볼 모델은 Residual Attention Network입니다. Pytorch로 구현하고, STL-10 dataset으로 학습까지 진행하겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] Residual Attention Network(2017) 리뷰 안녕하세요! 이번에 소개할 논문은 Residual Attention Network 입니다. Residual Attention Network는 자연어 처리에서 활발하게 이용하고 있는 Attention에서 영감을 받아 탄생한 모델입니다. 실제 Attentio.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 1. 데이터셋 불러오기 데이터셋을 불러오기 전에 colab에..

안녕하세요! 이번에 읽어볼 논문은 2020년에 SOTA를 달성한 Noisy Student, Self-training with Noisy Student improves ImageNet classification 입니다. Noisy Student는 SOTA 모델에 unlabeled image를 활용하여 성능을 향상시키는 학습 방법입니다. ImageNet training set에 포함되지 않는 image들을 unlabeled image로 사용합니다(ImageNet 카테고리에도 포함되지 않습니다.) 그다음에 모델을 준-지도 학습 접근법인 Noisy Student Training으로 학습합니다. Noisy Student Training은 3가지 단계로 이루어져 있습니다. (1) labeled image로 teac..

안녕하세요! 이번에 읽어볼 논문은 Pseudo Label, The Simple and Efficeint Semi-Supervised Learning 입니다. 현재 Image classification 분야에서 EfficientNet에 Meta Pseudo Lable을 적용한 모델이 SOTA를 차지하고 있습니다. Pseudo Label이 무엇인지 호기심 때문에 읽게 되었습니다! Abstract 이 논문에서 제안하는 신경망은 labeled data와 unlabeled data를 지도 학습 방법으로 동시에 학습하는 신경망입니다. unlabeled data(Pseudo-Labels)는 예측된 확률이 가장 높은 클래스를 True label로 갖습니다. 그리고 이것은 Entropy Regularization과 동일..

안녕하세요! 이번에 읽어볼 논문은 EfficientNet, Rethinking Model Scaling for Convolutional Neural Networks 입니다. 모델의 정확도를 높일 때, 일반적으로 (1) 모델의 깊이, (2) 너비, (3) 입력 이미지의 크기를 조절합니다. 기존에는 이 세 가지를 수동으로 조절하였기 때문에, 최적의 성능과 효율을 얻지 못했습니다. EfficientNet은 3가지를 효율적으로 조절할 수 있는 compound scaling 방법을 제안합니다. 깊이, 너비, 입력 이미지 크기가 일정한 관계가 있다는 것을 실험적으로 찾아내고, 이 관계를 수식으로 만듭니다. Compound scaling 방법으로 NAS(neural architecture search) 구조를 수정하..

이번에 읽어볼 논문은 MobileNetV3, Search for MobileNetV3 입니다. Abstract MobileNet의 새로운 버전을 소개합니다. MobileNetV3은 NetAdapt 알고리즘이 적용된 NAS을 사용하여 구조를 탐색하고, 탐색한 구조를 수정하여 성능을 개선한 모델입니다. MobileNetV3-Large와 MobileNetV3-Small이 존재하며, 각각 은 자원에 따라 알맞게 사용합니다. 그리고 새로운 비선형 함수인 h-swish를 소개합니다. MobileNet-Large는 MobileNetV2와 비교하여 20% 감소한 latency로 3.2%의 정확도가 상승했습니다. MobileNet-Small은 동일한 latency에서 MobileNetV2보다 6.6%의 정확도가 상승했습..

안녕하세요! 이번에 읽어볼 논문은 CondenseNet: An Efficient DenseNet using Learned Group Convolution 입니다. CondenseNet은 경량화에 집중한 모델로서, DenseNet보다 10배 적은 연산량으로 비슷한 정확도를 갖는 모델입니다. 또한 다른 경량화 모델인 MobileNet, ShuffleNet, NasNet 보다 낮은 연산량으로 높은 정확도를 달성합니다! CondeseNet은 prunning 방법인 Learned Group Convolution을 제안하고, DenseNet의 구조를 수정하여 feature reuse를 효과적으로 활용합니다. 이제 CondenseNet을 알아보도록 하겠습니다. DenseNet과 Group Convolution의 문제..

안녕하세요! 이번에 PyTorch로 구현해볼 모델은 MobileNetV1 입니다. MobileNetV1은 모델 경량화를 위해 Depthwise separable convolution을 활용하여 연산량을 감소한 모델입니다. 자세한 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] MobileNet(2017) 리뷰, Efficient Convolutional Neural Networks for Mobile Vision Applications 이번에 읽어볼 논문은 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application 입니다. MobileNet은 Depthwise separable convolution을..

안녕하세요! 이번에 구현해볼 모델은 Xception(2017) 입니다. 작업 환경은 google colab에서 진행했습니다. Xception은 Depthwise separable convolution을 활용해 연산량을 줄인 만큼 층을 깊게 쌓은 모델인데요. 자세한 논문 리뷰는 아래 게시글에서 확인하실 수 있습니다! [논문 읽기] Xception(2017) 리뷰, Deep Learning with Depthwise Separable Convolutions 이번에 읽어볼 논문은 Xception: Deep Learning with Depthwise Separable Convolutions 입니다. Xception은 Inception 모듈에 대한 고찰로 탄생한 모델입니다. Xception은 완벽히 cross-c..

안녕하세요! 이번에 읽어볼 논문은 ShuffleNetV2 입니다. ShuffleNetV1의 후속작인데요. ShuffleNetV1은 제한된 연산량을 최대한 활용하기 위해 channel shuffle와 pointwise group convolution을 제안한 모델입니다. ShuffleNetV2은 연산량이 Inference 속도와 절대적인 관계가 없다고 합니다. 예를 들어, 모델이 가벼워도 실제 task에서 작동되는 속도는 느릴 수 있습니다. 따라서 연산량(FLOPs)가 아닌 inference speed에 집중을 합니다. 그리고, 모델의 Inference 속도를 향상시키는 4가지 가이드라인을 제시합니다. 가이드라인에 따라 구축한 모델이 ShuffleNetV2 입니다. 참고로 Inference 속도가 빨라야 ..

이번 포스팅에서는 DenseNet을 파이토치로 구현하고 학습까지 해보겠습니다! 작업 환경은 Google Colab에서 진행했습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] DenseNet(2017) 리뷰, Densely Connected Convolutional Networks 이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. DensNet은 모든.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 모델을 구현하기 전에, co..