딥러닝 공부방

안녕하세요! 이번에 읽어볼 논문은 현재, Classification 분야에서 SOTA를 차지하고 있는 Meta Pseudo Labels 입니다. Meta Pseudo Labels는 semi-supervised learning 기법으로 SOTA를 달성했습니다. Noisy Student에서의 단점을 개선했는데요. Noisy Student가 무엇인지 살펴보겠습니다. Noisy Student Noisy Student에는 labeled image로 teacher를 학습시키고, teacher로 unlabeled image에 대한 pseudo label를 생성합니다. teacher로 생성한 pseudo labeled image와 labeled image로 student를 학습합니다. 이 student를 teacher..

안녕하세요! 이번에 읽어볼 논문은 2020년에 Noisy Student의 성능을 뛰어넘고 SOTA를 달성한 FixEfficientNet, Fixing the train-test resolution 입니다. train data 수를 늘리기 위해서 random crop augmentation을 적용합니다. crop을 한 뒤에 resize로 크기를 조정하여 CNN 입력으로 넣어주는 것이 random crop 입니다. 하지만 test dataset에는 random crop을 적용하지 않고, 그냥 center crop만 적용하여 입력으로 넣어줍니다. 이때문에 train dataset의 분포와 test dataset의 분포에 차이가 생깁니다. 그리고 이 차이는 모델의 성능 하락으로 이어집니다. 이 문제를 해결하기 ..

안녕하세요! 이번에 읽어볼 논문은 2020년에 SOTA를 달성한 Noisy Student, Self-training with Noisy Student improves ImageNet classification 입니다. Noisy Student는 SOTA 모델에 unlabeled image를 활용하여 성능을 향상시키는 학습 방법입니다. ImageNet training set에 포함되지 않는 image들을 unlabeled image로 사용합니다(ImageNet 카테고리에도 포함되지 않습니다.) 그다음에 모델을 준-지도 학습 접근법인 Noisy Student Training으로 학습합니다. Noisy Student Training은 3가지 단계로 이루어져 있습니다. (1) labeled image로 teac..

안녕하세요! 이번에 읽어볼 논문은 Pseudo Label, The Simple and Efficeint Semi-Supervised Learning 입니다. 현재 Image classification 분야에서 EfficientNet에 Meta Pseudo Lable을 적용한 모델이 SOTA를 차지하고 있습니다. Pseudo Label이 무엇인지 호기심 때문에 읽게 되었습니다! Abstract 이 논문에서 제안하는 신경망은 labeled data와 unlabeled data를 지도 학습 방법으로 동시에 학습하는 신경망입니다. unlabeled data(Pseudo-Labels)는 예측된 확률이 가장 높은 클래스를 True label로 갖습니다. 그리고 이것은 Entropy Regularization과 동일..

안녕하세요! 이번에 읽어볼 논문은 EfficientNet, Rethinking Model Scaling for Convolutional Neural Networks 입니다. 모델의 정확도를 높일 때, 일반적으로 (1) 모델의 깊이, (2) 너비, (3) 입력 이미지의 크기를 조절합니다. 기존에는 이 세 가지를 수동으로 조절하였기 때문에, 최적의 성능과 효율을 얻지 못했습니다. EfficientNet은 3가지를 효율적으로 조절할 수 있는 compound scaling 방법을 제안합니다. 깊이, 너비, 입력 이미지 크기가 일정한 관계가 있다는 것을 실험적으로 찾아내고, 이 관계를 수식으로 만듭니다. Compound scaling 방법으로 NAS(neural architecture search) 구조를 수정하..

이번에 읽어볼 논문은 MobileNetV3, Search for MobileNetV3 입니다. Abstract MobileNet의 새로운 버전을 소개합니다. MobileNetV3은 NetAdapt 알고리즘이 적용된 NAS을 사용하여 구조를 탐색하고, 탐색한 구조를 수정하여 성능을 개선한 모델입니다. MobileNetV3-Large와 MobileNetV3-Small이 존재하며, 각각 은 자원에 따라 알맞게 사용합니다. 그리고 새로운 비선형 함수인 h-swish를 소개합니다. MobileNet-Large는 MobileNetV2와 비교하여 20% 감소한 latency로 3.2%의 정확도가 상승했습니다. MobileNet-Small은 동일한 latency에서 MobileNetV2보다 6.6%의 정확도가 상승했습..

안녕하세요! 이번에 읽어볼 논문은 CondenseNet: An Efficient DenseNet using Learned Group Convolution 입니다. CondenseNet은 경량화에 집중한 모델로서, DenseNet보다 10배 적은 연산량으로 비슷한 정확도를 갖는 모델입니다. 또한 다른 경량화 모델인 MobileNet, ShuffleNet, NasNet 보다 낮은 연산량으로 높은 정확도를 달성합니다! CondeseNet은 prunning 방법인 Learned Group Convolution을 제안하고, DenseNet의 구조를 수정하여 feature reuse를 효과적으로 활용합니다. 이제 CondenseNet을 알아보도록 하겠습니다. DenseNet과 Group Convolution의 문제..

안녕하세요! 이번에 읽어볼 논문은 ShuffleNetV2 입니다. ShuffleNetV1의 후속작인데요. ShuffleNetV1은 제한된 연산량을 최대한 활용하기 위해 channel shuffle와 pointwise group convolution을 제안한 모델입니다. ShuffleNetV2은 연산량이 Inference 속도와 절대적인 관계가 없다고 합니다. 예를 들어, 모델이 가벼워도 실제 task에서 작동되는 속도는 느릴 수 있습니다. 따라서 연산량(FLOPs)가 아닌 inference speed에 집중을 합니다. 그리고, 모델의 Inference 속도를 향상시키는 4가지 가이드라인을 제시합니다. 가이드라인에 따라 구축한 모델이 ShuffleNetV2 입니다. 참고로 Inference 속도가 빨라야 ..

안녕하세요! 이번에 읽어볼 논문은 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 입니다. ShuffleNet은 경량화에 집중한 모델입니다. 또 다른 경량화 모델인 MobileNetV1을 능가합니다. 그리고 AlexNet과 비교하여 동일한 정확도로 13배나 더 빠릅니다. MobileNetV1와 Xception에서 연산량을 줄이기 위해 사용하는 Depthwise separable convolution을 기억하시나요? Xception은 Depthwise separable convolution으로 연산량을 감소한 만큼 깊이를 증가시켰었죠. 반대로 MobileNet은 Depthwise separable convo..

이번에 읽어볼 논문은 NasNet, Learning Transferable Architectures for Scalabel Image Recognition 입니다. NasNet은 RNN을 활용하여 생성된 convolution block으로 구성되어 있습니다. 이와 대조적으로 ResNet, Inception, MobileNet 등등은 사람이 블락을 설계하고, 블락을 쌓아서 모델을 구축했었습니다. 대표적으로 ResNet은 residual block을 설계하고, 차곡차곡 쌓아서 ResNet을 구축했었죠. NasNet은 block을 사람이 설계하는 것이 아니라, 강화학습과 RNN을 활용하여 block을 설계한 것입니다! 그리고 NasNet은 당시 SOTA를 달성합니다. 딥러닝이 생성한 모델 구조가 사람이 설계한..