사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 2. 가중치의 초깃값 - 가중치의 초깃값에 따라 은닉층의 활성화값 분포 변화, Xavier 초깃� 사이토고키의 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가� deep-learning-study.tistory.com 이전 포스팅에서는 표준편차 초깃값, Xavier 초깃값에 대해 알아보았습니다. 이번에는 활성화 함수로 ReLU를 이용할 때의 초깃값을 알아보겠습니다. ReLU를 사용할 때의 가중치 초깃값 - He 초깃값 ReLU를 이용할 때는 ReLU에 특화된 초깃값을 이용해야 합니다. 이 특화된 초깃값을 He 초깃값이라 합니다. He 초깃값은 앞 계층의 노드가 n..
