(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 제작하였습니다. 오차역전파법 (3) - 활성화 함수, Affine, Softmax 계층 구현 이전의 포스팅에서는 사과 쇼핑 문제를 통해 간단한 역전파 계층을 구현해 보았습니다. 이번 포스팅에서는 활성화 함수(ReLu, Sigmoid) 계층, 행렬의 곱을 의미하는 Affine 계층, 출력층에서 사용하는 소프트맥스 계층을 구현해보도록 하겠습니다. 5. 활성화 함수 계층 구현하기 이제 계산 그래프를 신경망에 적용해보겠습니다. 우선 활성화 함수인 ReLu와 Sigmoid 계층을 구현하겠습니다. 5.1 ReLU 계층 활성화 함수로 사용되는 ReLU의 수식은 다음과 같습니다. x에 대한 y의 미분은 다음처럼 구합니다. 순전파 때의 입력인 x가 0보다 크면 역전..
