딥러닝 공부방

사이토고키의 을 공부하고 정리하였습니다. 매개변수 갱신 - Adam 모멘텀은 공이 그릇 바닥을 구르는 듯한 움직임을 보였습니다. AdamGrad는 매개벼수의 원소마다 적응적으로 갱신 정도를 조정했습니다. 두 기법을 융합한 기법이 바로 Adam입니다. 위 두 방법의 이점을 조합했으므로 매개변수 공간을 효율적으로 탐색해줄 것이라고 기대할 수 있습니다. 하이퍼파라미터의 '편향 보정'이 진행된다는 점도 Adam의 특징입니다. Adam에 의한 최적화 갱신 경로를 확인해보겠습니다. Adam 갱신 과정도 모멘텀과 비슷한 패턴으로 움직입니다. 이는 학습의 갱신 강도를 적응적으로 조정해서 얻는 혜택입니다. Adam은 하이퍼파라미터를 3개 설정합니다. 하나는 지금까지의 학습률, 나머지 두 개는 일차 모멘텀용 계수와 이차 ..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 작성하였습니다. 신경망 학습 (1) - 손실 함수와 수치 미분 이번 포스팅의 주제는 신경망 학습입니다. 여기서 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻합니다. 손실 함수를 소개합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는 지표입니다. 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표입니다. 경사법을 소개합니다. 손실 함수의 값을 가급적 작게 만드는 기법으로, 함수의 기울기를 활용합니다. 1. 데이터에서 학습한다. 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 데이터에서 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻입니다. 신경..

(밑바닥부터 시작하는 딥러닝, 사이토고치)를 바탕으로 작성하였습니다. 신경망 (2) - 출력층 설계와 MNIST 구현 이전 포스팅에서는 3층 신경망 구현을 해보았습니다. 이번 포스팅에서는 출력층 설계와 MNIST를 구현해보겠습니다. 5. 출력층 설계하기 신경망은 분류와 회귀 모두에 이용할 수 있습니다. 다만 둘 중 어떤 문제냐에 따라 출력층에서 사용하는 활성화 함수가 달라집니다. 일반적으로 회귀에는 항등 함수를, 분류에는 소프트맥스 함수를 사용합니다. 기계학습 문제는 분류(classification)와 회귀(regression)로 나뉩니다. 분류는 데이터가 어느 클래스에 속하느냐 문제입니다. 사진 속 인물의 성별을 분류하는 문제가 여기에 속합니다. 한편 회귀는 입력 데이터에서 (연속적인) 수치를 예측하는..

(밑바닥부터 시작하는 딥러닝, 사이토 고키)을 바탕으로 작성하였습니다. 신경망 - Neural Network 이전 포스팅에서는 퍼셉트론에 대하여 설명하였습니다. 이번 포스팅에서는 3층 신경망 순전파를 구현해보면서 신경망에 대해 알아보겠습니다. 순전파는 입력부터 출력까지의 과정을 의미합니다. 퍼셉트론에서는 AND, OR 게이트의 진리표를 보면서 사람이 적절한 가중치 값을 정했습니다. 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습할 수 있습니다. 1. 퍼셉트론에서 신경망으로 1.1 신경망의 예 신경망을 그림으로 나타내면 다음과 같이 됩니다. 입력층, 은닉층, 출력층으로 나뉘어져 있습니다. 1.2 퍼셉트론 복습 $x_{1}$과 $x_{2}$라는 두 신호를 입력받아 y를 출력하는 퍼셉트론을 ..