안녕하세요! 이번에 읽어볼 논문은 2019년에 등장한 EfficientNetV1의 후속작 EfficientNetV2, Smaller Models and Faster Training 입니다. EfficientNetV2는 빠른 학습에 집중한 모델입니다. 데이터셋의 크기가 커질수록 빠른 학습의 중요성도 높아지는데요. 자연어 처리 분야에서 GPT-3은 엄청 큰 데이터셋으로 학습시켜서 뛰어난 성능을 보이고 있습니다. 하지만 GPT-3은 수천개의 TPU로 몇주일간 학습시켰기 때문에 retrain과 개선이 어렵다는 단점이 있습니다. training efficiency는 최근에 큰 관심을 받고 있는데요. 예를 들어, NFNet(2021), BotNet(2021), ResNet-Rs(2021) 등 모두 training ..
