딥러닝 공부방

Fast R-CNN Fast R-CNN은 R-CNN과 SPPnet의 단점을 개선한 모델입니다. end-to-end learning이 가능하며, 2000개의 proposals이 모두 CNN에 통과하지 않도록 구조를 개선하여 detecting 속도를 높였습니다. R-CNN 단점 1. 학습이 여러 단계로 나뉘어져 있습니다. R-CNN은 3가지 단계의 학습 과정을 거쳐야 합니다. (1) CNN fine-tuning (2) SVM fine-tuning (3) learn bounding-box regression 2. 학습하는데에 시간이 오래 걸리고 메모리 공간도 많이 차지합니다. SVM과 bounding-box regression은 각 이미지에서 각 proposal로 추출된 특징으로 학습되기 때문입니다. 3. 느..

이번에 리뷰할 논문은 SPPnet 'Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition' 입니다. SPPnet 등장 배경 SPPnet은 CNN 구조가 고정된 입력 이미지 크기를 입력으로 취하는 데에서 발생한 문제점을 개선하기 위해 고안되었습니다. 기존 CNN은 고정된 입력 크기를 맞춰주기 위해서 crop, wrap을 적용합니다. 참고로, crop과 warp은 classification에서는 data augmentation, detection에서는 region proposal을 입력 사이즈에 맞춰주기 위해 이용합니다. crop과 warp을 적용하면 문제점이 발생합니다. crop을 적용하면 crop된 구역만 CNN을 통과..

이번에 소개할 논문은 'YOLO9000: Betterm Faster, Stronger' 입니다. 논문에서는 YOLO v2와 YOLO9000을 소개하고 있습니다. YOLO v2는 YOLO v1을 개선한 버전이고, YOLO9000은 9000개의 카테고리를 탐지할 수 있도록 학습된 신경망입니다. YOLO9000는 classification dataset 'ImageNet'과 detection dataset 'COCO' 를 동시에 학습시켰습니다. 어떤 방법으로 학습을 시켰고, YOLO v1에서 어떤 점을 개선시켰는지 알아보도록 하겠습니다. 논문은 3가지 파트로 나뉘어져 있습니다. Better : YOLO v1에서 개선된 내용 Faster : YOLO v2의 신경망인 Darknet-19 Stronger : 900..

이 포스팅은 공부 목적으로 아래 게시물을 번역한 글입니다. How to implement a YOLO (v3) object detector from scratch in PyTorch: Part 3 Part 3 of the tutorial series on how to implement a YOLO v3 object detector from scratch in PyTorch. blog.paperspace.com 파이토치로 YOLO v3 detector를 구현하는 튜토리얼의 part 4 입니다. 지난 part에서 우리는 신경망의 순전파를 구현했습니다. 이번 part에서, detections를 object confidence로 threshold하고 non-maximum suppression을 할 것입니다. 이..

안녕하세요! 이번에 리뷰할 논문은 'Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift' 입니다! 배치 정규화는 2015년에 제안된 방법입니다. 배치 정규화는 많은 사람들이 사용하고 있으며, 주목 받는 이유는 다음과 같습니다. 학습을 빠르게 진행할 수 있습니다.(높은 학습률을 적용 가능합니다) 초깃값에 크게 의존하지 않습니다.(초깃값 선택 장애를 개선했습니다) 오버피팅을 억제합니다.(드랍아웃의 필요성을 감소했습니다.) 비선형 함수(sigmoid 등)을 이용할 때, saturated regime(기울기가 0인 부분)에 빠지는 것을 방지합니다. 따라서 기울기 소실과 saturation probl..

패턴인식과 머신러닝을 공부하고 내용을 정리한 포스팅입니다. 1. 소개 위 그림과 같은 손글씨로 쓰인 숫자를 인식하는 예시를 살펴보겠습니다. 각 숫자는 28 x 28 픽셀 이미지이며, 따라서 784개의 실수로 구성된 벡터로 표현될 수 있습니다. 이런 벡터 X를 입력값으로 받았을 때 숫자 0~9 중 하나의 값을 올바르게 출력하는 기계를 만드는 것입니다. 머신 러닝을 적용하면 좋은 결과를 얻을 수 있습니다. 머신 러닝 : N개의 숫자들 {$x_1, ... , x_N$}을 훈련 집합(training set)으로 활용해서 변경 가능한 모델의 매개변수들을 조절하는 방법 훈련 집합(training set) : 손글씨 숫자 데이터 N개, {$x_1, ... , x_N$} 표적 벡터(target vector) : 훈련 ..

딥러닝 논문 읽고 파이토치로 구현하기 시리즈 1. [논문 리뷰] LeNet-5 (1998), 파이토치로 구현하기 이번에 읽어볼 논문은 'ImageNet Classification with Deep Convilutional Neural Networks'(AlexNet) 입니다. AlexNet 컴퓨터 비전 분야의 '올림픽'이라 할 수 있는 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)의 2012년 대회에서 AlexNet이 Top 5 test error 기준 15.4%를 기록해 2위(26.2%)를 큰 폭으로 따돌리고 1위를 차지했습니다. (Top 5 test error란 모델이 예측한 최상위 5개 범주 가운데 정답이 없는 경우의 오류율을 말합니다.) 이..

가장 기본적인 CNN 구조인 LeNet-5 논문을 읽어보고 파이토치로 직접 구현해보면서 CNN에 대한 이해도를 높여보겠습니다. LeNet-5은 1998년 Yann LeCun의 논문 'Gradient-Based Learning Applied to Document Recognition' 에 담겨있는 CNN 신경망의 구조를 의미합니다. 위 논문은 46page에 달하는 논문으로 문자 인식 업무에 CNN이 효과적인 이유에 대해 기술되어 있어, 읽어본다면 CNN에 대한 이해도를 높일 수 있을 것이라고 생각 합니다. 이제, 논문을 요약해보고 PyTorch로 구현해보겠습니다. 1. LeNet-5 등장 배경 LeNet-5은 Yann LeCun이 손으로 적힌 우편 번호를 전통적인 방법보다 효율적으로 확인하기 위해 고안된 ..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. What is torch.nn really? — PyTorch Tutorials 1.7.0 documentation Note Click here to download the full example code What is torch.nn really? by Jeremy Howard, fast.ai. Thanks to Rachel Thomas and Francisco Ingham. We recommend running this tutorial as a notebook, not a script. To download the notebook (.ipynb) file, clic pytorch.org 이전 포스팅에서는 pytorch.nn 모듈을 사용..

2.공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. What is torch.nn really? — PyTorch Tutorials 1.7.0 documentation Note Click here to download the full example code What is torch.nn really? by Jeremy Howard, fast.ai. Thanks to Rachel Thomas and Francisco Ingham. We recommend running this tutorial as a notebook, not a script. To download the notebook (.ipynb) file, clic pytorch.org 이전 포스팅에서 PyTorch module 없..