딥러닝 공부방

사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 오버피팅 억제법 - 가중치 감소 사이토고키의 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 오버피팅(과적합) 기계학습에서는 오버피팅이 문제가 되는 일이 많습니다. 오버� deep-learning-study.tistory.com 이전 포스팅에서는 오버피팅을 억제하는 방식으로 손실 함수에 가중치의 L2 노름을 더한 가중치 감소 방법을 설명했습니다. 가중치 감소는 간단하게 구현할 수 있고 어느 정도 지나친 학습을 억제할 수 있습니다. 그러나 신경망 모델이 복잡해지면 가중치 감소만으로는 대응하기 어려워집니다. 이럴 때는 흔히 드롭아웃이라는 기법을 이용합니다. 드롭아웃 - Dropout 드롭아웃은 뉴런을 임의로 삭제하면서 학습하는 방법입니다. 훈..

사이토고키의 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가중치의 초깃값을 무엇으로 설정하느냐가 신경망 학습의 성패가 가르는 일이 자주 있습니다. 권장 초깃값에 대해 알아보고 실험을 통해 실제로 신경망 학습이 신속하게 이뤄지는 모습을 확인하겠습니다. 초깃값을 0으로 하면? 오버피팅을 억제해 범용 성능을 높이는 테크닉인 가중치 감소(weight decay) 기법을 알아보겠습니다. 가중치 감소는 간단히 말하면 가중치 매개변수의 값이 작아지도록 학습하는 방법입니다. 가중치 값을 작게 하여 오버피팅이 일어나지 않게 하는 것입니다. 가중치를 작게 만들고 싶으면 초깃값도 최대한 작은 값에서 시작해야 합니다. 그렇다면 가중치의 초깃값을 모두 0으로 설정하면 ..