딥러닝 공부방

Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset Joao Carreira, Andrew Zisserman, arXiv 2017 PDF, VD By SeonghoonYu July 17th, 2021 Summary They achive SOTA performence in video action recognition using two method. (1) Apply ImageNet pre-trained 2D Conv model to 3D Conv model for the video classification by repeating the weights of the 2D filters N times along the time dimensi..

이번에 읽어볼 논문은 DPN, Dual Path Networks 입니다. DPN은 ILSVRC Object Localization task에서 1위를 차지한 모델입니다. DPN은 DenseNet과 ResNet의 장점을 활용한 모델입니다. Dual Path Network 이름 그대로 2개의 path로 구성되어 있습니다. one path는 residual network, 다른 path는 dense network입니다. ResNet은 residual path를 활용해서 레이어의 입력값을 출력값에 더해줍니다. 이 방식은 feature reuse 효과가 있습니다. 이전 레이어의 출력값이 소실되지 않고 계속해서 활용되기 때문입니다. 위 그림을 보면 shortcut connection을 사용해 이전 레이어들의 출력값..

안녕하세요! 이번에 소개할 논문은 PolyNet: A Pursuit of Structural Diversity in Very Deep Networks 입니다. PolyNet은 ILSVRC2016 대회에서 3등을 차지한 모델입니다. Inception-ResNet-v2 를 기억하시나요?! Inception-ResNet-v2는 3 종류의 인셉션 모듈을 사용하는 모델인데요, PolyNet은 Inception-ResNet-v2 구조에서 인셉션 모듈을 PolyInception module로 교체한 것입니다! 아래 포스팅에서 Inception-ResNet-v2 논문 리뷰를 확인하실 수 있습니다. 그러면 PolyInception module이 무엇인지 알아보겠습니다. [논문 읽기] Inception-v4(2016) 리..

이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. DensNet은 모든 레이어의 피쳐맵을 연결합니다. 이전 레이어의 피쳐맵을 그 이후의 모든 레이어의 피쳐맵에 연결합니다. 연결할 때는 ResNet과 다르게 덧셈이 아니라 concatenate(연결)을 수행합니다. 따라서 연결할 때는, 피쳐맵 크기가 동일해야 합니다. 피쳐맵을 계속해서 연결하면 채널수가 많아질 수 있기 때문에, 각 레이어의 피쳐맵 채널 수는 굉장히 작은 값을 사용합니다. 이렇게 연결하면 어떤 장점이 있을까요? 1. strong gradient..

안녕하세요! 이번에 리뷰할 논문은 'An overviw of gradient descent optimization' 입니다. 이 논문은 독자에게 optimization algorithm에 대한 직관력을 제공할 목적으로 작성했다고 합니다. optimization에 대해 이해도가 높아지면 설계한 모델에 적합한 algorithm을 선택할 수 있다고 합니다. 이해도를 높이기 위해, gradient descent의 3가지 변종을 살펴보고 해결해야 할 문제점을 제시하고 이 문제점을 해결하기 위해 제시된 8가지 algorithms(Adam, RMSprop, Adagad 등등)를 소개합니다. 경사 하강법(Gradient descent) 논문의 Introduction에 경사 하강법(gradient descent)에 대해..

안녕하세요 이번에 읽어볼 논문은 'Very Deep Convolutional Networks for large-scale image recognition'(VGGNet) 입니다. VGGNet은 19 layer를 지닌 깊은 network로 ILSVRC 2014 대회에서 2등을 차지했습니다. 역대 ILSVRC 우승작 network의 깊이는 8 layer에 불가했습니다. 깊이가 깊어짐에 따라 overfitting, gradient vanishing, 연산량 문제가 생기기 때문에 깊이를 증가시키는 것이 쉬운 문제는 아니었습니다. VGGNet은 어떻게 문제들을 해결하고 깊이를 19 layer까지 증가할 수 있었을까요?? VGGNet 논문에 나와있는 핵심 내용을 간추려 보았습니다. 1. 깊이를 증가하면 정확도가 좋..

공부 목적으로 논문을 읽어보고 요약한 뒤에 파이토치로 구현해보았습니다 이번에 공부할 논문은 'Going deeper with convolutions' (GoogLeNet)입니다. LeNet-5를 시작으로 CNN은 이미지 분류에서 일반적인 구조가 되었습니다. CNN 구조에 dropout, pooling, ReLu, GPU 기법이 적용된 AlexNet이 ILSVRC 2012년 대회에서 우승을 차지하고 CNN을 세상에 알리게 됩니다(이전까진 머신러닝 기법이 대회를 우승했습니다). 2년 뒤 Inception block을 적용한 CNN 모델인 GoogLeNet이 ILSVRC 2014년 대회에서 우승을 차지하게 됩니다. GoogLeNet을 우승으로 이끈 Inception block에 대해 알아보고, 추가적으로 적용..

딥러닝 논문 읽고 파이토치로 구현하기 시리즈 1. [논문 리뷰] LeNet-5 (1998), 파이토치로 구현하기 이번에 읽어볼 논문은 'ImageNet Classification with Deep Convilutional Neural Networks'(AlexNet) 입니다. AlexNet 컴퓨터 비전 분야의 '올림픽'이라 할 수 있는 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)의 2012년 대회에서 AlexNet이 Top 5 test error 기준 15.4%를 기록해 2위(26.2%)를 큰 폭으로 따돌리고 1위를 차지했습니다. (Top 5 test error란 모델이 예측한 최상위 5개 범주 가운데 정답이 없는 경우의 오류율을 말합니다.) 이..