딥러닝 공부방

사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 합성곱신경망(CNN) - im2col로 데이터 전개하기 사이토고키의 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 을 공부하고 정리해보았습니다. 을 공부하고 정리�� deep-learning-study.tistory.com 이전 포스팅에서 합성곱 연산을 할 때 im2col로 데이터를 전개하는 방법에 대해 알아보았습니다. 이번에는 im2col을 적용한 합성곱 계층을 구현해보겠습니다. 합성곱 계층 구현하기 이 책에서는 im2col 함수를 미리 만들어 제공합니다. im2col 함수는 '필터 크기', '스트라이드'. '패딩'을 고려하여 입력 데이터를 2차원 배열로 전개합니다. im2col을 실제로 적용해보겠습니다...

(밑바닥부터 시작하는 딥러닝, 사이토고키)를 바탕으로 제작하였습니다. 오차역전파법(4) - 오차역전파법을 사용한 학습 구현 이전의 포스팅에서는 역전파를 적용한 활성화함수(ReLu, Sigmoid) 계층, Affine 계층, Softmax-with-Loss 계층을 구현해 보았습니다. 이번 포스팅에서는 지금까지 구현한 계층을 조합해서 오차역전파법을 사용한 학습을 구현해보겠습니다. 7. 오차역전파법 구현하기 7.1 신경망 학습의 전체 그림 우선 신경망 학습의 전체 그림을 복습해보겠습니다. 다음은 신경망 학습의 순서입니다. 전체 신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 '학습'이라 합니다. 신경망 학습은 다음과 같이 4단계로 수행합니다. 1단계 ..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 제작하였습니다. 오차역전파법 (3) - 활성화 함수, Affine, Softmax 계층 구현 이전의 포스팅에서는 사과 쇼핑 문제를 통해 간단한 역전파 계층을 구현해 보았습니다. 이번 포스팅에서는 활성화 함수(ReLu, Sigmoid) 계층, 행렬의 곱을 의미하는 Affine 계층, 출력층에서 사용하는 소프트맥스 계층을 구현해보도록 하겠습니다. 5. 활성화 함수 계층 구현하기 이제 계산 그래프를 신경망에 적용해보겠습니다. 우선 활성화 함수인 ReLu와 Sigmoid 계층을 구현하겠습니다. 5.1 ReLU 계층 활성화 함수로 사용되는 ReLU의 수식은 다음과 같습니다. x에 대한 y의 미분은 다음처럼 구합니다. 순전파 때의 입력인 x가 0보다 크면 역전..

(밑바닥부터 시작하는 딥러닝, 사이토고치) 를 바탕으로 작성하였습니다. 오차역전파법 (1) - 계산 그래프와 연쇄법칙 이전의 포스팅에서는 신경망 학습을 공부했습니다. 그때 신경망의 가중치 매개변수에 대한 손실 함수의 기울기는 수치 미분을 사용해 구했습니다. 수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 게 단점입니다. 이번 포스팅에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 '오차역전파법(backpropagation)'을 이해하기 위해 계산 그래프와 연쇄법칙에 대해 공부하겠습니다. 1. 계산 그래프 - Computational graph 계산 그래프(computational graph)는 계산 과정을 그래프로 나타낸 것입니다. 여기에서 그래프는 복수의 노드(node)와 에지(e..