딥러닝 공부방

사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 2. 가중치의 초깃값 - 가중치의 초깃값에 따라 은닉층의 활성화값 분포 변화, Xavier 초깃� 사이토고키의 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가� deep-learning-study.tistory.com 이전 포스팅에서는 표준편차 초깃값, Xavier 초깃값에 대해 알아보았습니다. 이번에는 활성화 함수로 ReLU를 이용할 때의 초깃값을 알아보겠습니다. ReLU를 사용할 때의 가중치 초깃값 - He 초깃값 ReLU를 이용할 때는 ReLU에 특화된 초깃값을 이용해야 합니다. 이 특화된 초깃값을 He 초깃값이라 합니다. He 초깃값은 앞 계층의 노드가 n..

사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 1. 가중치의 초깃값 - 초깃값을 0으로 하면? 사이토고키의 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가중치의 초깃값을 무엇으로 설정�� deep-learning-study.tistory.com 이전 포스팅에서 역전파 때 가중치가 똑같이 갱신되는 것을 방지하려면 가중치가 고르게 되어버리는 상황을 막아야 한다는 것을 배웠습니다. 가중치의 초깃값에 따라 은닉층의 활성화값 분포 변화 은닉층의 활성화값의 분포를 관찰하면 중요한 정보를 배웠습니다. 가중치의 초깃값에 따라 은닉층 활성화값들이 어떻게 변화하는지 실험을 해보겠습니다. 활성화 함수로 시그모이드 함수를 사용하는 5층 신경망에 무작위로 생성한..