[딥러닝] CNN의 원조 LeNet, 딥러닝을 주목 받도록 이끈 AlexNet

사이토고키의 <밑바닥부터 시작하는 딥러닝>을 공부하고 정리해보았습니다.

 

---

 

[딥러닝] 합성곱 신경망(CNN) - CNN 시각화 하기

 지금까지 CNN에 대해서 알아보았습니다.

 이번에는 대표적인 CNN을 알아보도록 하겠습니다.

 

대표적인 CNN

 CNN 네트워크의 구성은 다양합니다.

 이번에는 그중에서도 특히 중요한 네트워크를 두 개 소개합니다.

 하나는 CNN의 원조인 LeNet이고, 다른 하나는 딥러닝이 주목받도록 이끈 AlexNet입니다.

 

1. LeNet

 LeNet은 손글씨 숫자를 인식하는 네트워크로, 1988년에 제안되었습니다.

 아래 그림과 같이 합성곱 계층과 풀링 계층(정확히는 단순히 '원소를 줄이기'만 하는 서브샘플링 계층)을 반복하고, 마지막으로 완전연결 계층을 거치면서 결과를 출력합니다.

 

 

 LeNet과 '현재의 CNN'을 비교하면 몇 가지 면에서 차이가 있습니다.

 

 첫 번째 차이는 활성화 함수입니다.

 LeNet은 시그모이드 함수를 사용하는 데 반해, 현재는 주로 ReLU를 사용합니다.

 

 두 번째 차이는 서브 샘플링과 최대 풀링입니다.

 LeNet은 서브 샘플링을 하여 중간 데이터의 크기를 줄이지만 현재는 최대 풀링이 주류입니다.

 

2. AlexNet

 LeNet과 비교해 훠씬 최근인 2012년에 발표된 AlexNet은 딥러닝 열풍을 일으키는 데 큰 역할을 했습니다.

 그림에서 보듯 그 구성은 기본적으로 LeNet과 크게 다르지 않습니다.

 

AlexNet의 구성

 

 AlexNet은 합성곱 계층과 풀링 계층을 거듭하며 마지막으로 완전연결 계층을 거쳐 결과를 출력합니다.

 LeNet에서 큰 구조는 바뀌지 않았지만, AlexNet에서는 다음과 같은 변화를 주었습니다.

 

1. 활성화 함수로 ReLU를 이용한다.

2. LRN(Local Response Normalization)이라는 국소적 정규화를 실시하는 계층을 이용한다.

3. 드롭아웃을 사용한다.