사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 1. 가중치의 초깃값 - 초깃값을 0으로 하면? 사이토고키의 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가중치의 초깃값을 무엇으로 설정�� deep-learning-study.tistory.com 이전 포스팅에서 역전파 때 가중치가 똑같이 갱신되는 것을 방지하려면 가중치가 고르게 되어버리는 상황을 막아야 한다는 것을 배웠습니다. 가중치의 초깃값에 따라 은닉층의 활성화값 분포 변화 은닉층의 활성화값의 분포를 관찰하면 중요한 정보를 배웠습니다. 가중치의 초깃값에 따라 은닉층 활성화값들이 어떻게 변화하는지 실험을 해보겠습니다. 활성화 함수로 시그모이드 함수를 사용하는 5층 신경망에 무작위로 생성한..
