딥러닝 공부방

안녕하세요! 이번에 읽어볼 논문은 CondenseNet: An Efficient DenseNet using Learned Group Convolution 입니다. CondenseNet은 경량화에 집중한 모델로서, DenseNet보다 10배 적은 연산량으로 비슷한 정확도를 갖는 모델입니다. 또한 다른 경량화 모델인 MobileNet, ShuffleNet, NasNet 보다 낮은 연산량으로 높은 정확도를 달성합니다! CondeseNet은 prunning 방법인 Learned Group Convolution을 제안하고, DenseNet의 구조를 수정하여 feature reuse를 효과적으로 활용합니다. 이제 CondenseNet을 알아보도록 하겠습니다. DenseNet과 Group Convolution의 문제..

이번 포스팅에서는 DenseNet을 파이토치로 구현하고 학습까지 해보겠습니다! 작업 환경은 Google Colab에서 진행했습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] DenseNet(2017) 리뷰, Densely Connected Convolutional Networks 이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. DensNet은 모든.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 모델을 구현하기 전에, co..

이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. DensNet은 모든 레이어의 피쳐맵을 연결합니다. 이전 레이어의 피쳐맵을 그 이후의 모든 레이어의 피쳐맵에 연결합니다. 연결할 때는 ResNet과 다르게 덧셈이 아니라 concatenate(연결)을 수행합니다. 따라서 연결할 때는, 피쳐맵 크기가 동일해야 합니다. 피쳐맵을 계속해서 연결하면 채널수가 많아질 수 있기 때문에, 각 레이어의 피쳐맵 채널 수는 굉장히 작은 값을 사용합니다. 이렇게 연결하면 어떤 장점이 있을까요? 1. strong gradient..