사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 오버피팅 억제법 - 가중치 감소 사이토고키의 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 오버피팅(과적합) 기계학습에서는 오버피팅이 문제가 되는 일이 많습니다. 오버� deep-learning-study.tistory.com 이전 포스팅에서는 오버피팅을 억제하는 방식으로 손실 함수에 가중치의 L2 노름을 더한 가중치 감소 방법을 설명했습니다. 가중치 감소는 간단하게 구현할 수 있고 어느 정도 지나친 학습을 억제할 수 있습니다. 그러나 신경망 모델이 복잡해지면 가중치 감소만으로는 대응하기 어려워집니다. 이럴 때는 흔히 드롭아웃이라는 기법을 이용합니다. 드롭아웃 - Dropout 드롭아웃은 뉴런을 임의로 삭제하면서 학습하는 방법입니다. 훈..
