딥러닝 공부방

이번에 읽어볼 논문은 Xception: Deep Learning with Depthwise Separable Convolutions 입니다. Xception은 Inception 모듈에 대한 고찰로 탄생한 모델입니다. Xception은 완벽히 cross-channel correlations와 spatial correlations를 독립적으로 계산하기 위해 고안된 모델입니다. 이를 위해 세로운 Inception 모듈을 제안합니다. cross-channel correlation와 spatial correlation이 무엇인지 기존 Inception 모듈을 살펴보면서 알아보겠습니다. 1. Inception hypothesis Inception 모듈에 대한 저자의 해석입니다. 흥미롭게 읽었네요. 아래 그림은 In..

이번 포스팅에서는 GoogLeNet(Inception-v1)을 파이토치로 구현하고 학습까지 해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 리뷰] GoogLeNet (2014) 리뷰와 파이토치 구현 공부 목적으로 논문을 읽어보고 요약한 뒤에 파이토치로 구현해보았습니다 이번에 공부할 논문은 'Going deeper with convolutions' (GoogLeNet)입니다. LeNet-5를 시작으로 CNN은 이미지 분류에서 일반적 deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다! 스타도 부탁드리겠습니다! 1. 데이터셋 불러오기 데이터셋은 torchvision 패키지에서 제공하는 STL10 dataset을 이용합니다. STL10 ..

이번에 읽어볼 논문은 Rethinking the Inception Architecture for Computer Vision 입니다. 본 논문에서는 Inception-v2와 Inception-v3을 소개합니다. 일반적으로, 모델 크기를 증가시키면 정확도와 연산량이 증가합니다. 예를들어, ResNet은 skip connection을 활용해서 모델의 깊이를 증가시켜 성능을 끌어올렸습니다. 하지만 깊어진 만큼 연산량이 많아져 학습하는데에 시간이 오래 걸립니다. 이처럼 모델 크기를 증가시키면 연산량이 증가하게 되는데, 이는 mobile이나 제한된 메모리에서 활용해야 할때, 단점으로 작용합니다. 저자는 convolution 분해를 활용해서 연산량이 최소화 되는 방향으로 모델의 크기를 키우는데 집중합니다. 그리고 ..