딥러닝 공부방

이번 포스팅에서는 R 및 R Sudio 설치하는 방법을 알아보겠습니다. 1. R 설치 방법 1. R 공식 홈페이지에 접속합니다. (여기) 2. CRAN 카테고리로 이동합니다. 3. Korea를 찾아서 하위 주소중 아무거나 클릭합니다. 4. 자신의 운영체제에 맞는 다운로드 방법을 선택합니다. 5. install R for the firsr time을 클릭합니다. 6. Download for windows 를 선택합니다. 7. 설치 과정 쭉쭉 진행합니다. 저는 64bit를 이용하기 때문에 32bit는 체크를 풀어주었습니다. R을 사용할 때 사용할 창의 개수나 출력 형태등을 조정할지 묻는겁니다. 저는 No(기본값 사용)로 하겠습니다. 주로 R Studio를 이용해 R base를 이용하므로 아이콘을 생성시킬 필..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 정리해보았습니다. 2. 표본추출(sampling) 표본추출을 이해하는데 필요한 주요 개념을 알아보겠습니다. 모집단을 대표할 수 있는 표본을 얻기 위한 표본추출 방법에 대해 알아보겠습니다. (1) 확률표본추출(probability sampling) 모집단을 구성하는 모든 추출단위에 대해 표본으로 추출된 확률을 알 수 있는 방법이다. 표본추출틀(sampling frame, 표집틀) 필요하다. 특정한 표본이 선정될 확률을 토대로 추정오차를 확률개념을 이용하여 과학적으로 설명할 수 있다. 표본추출틀이란? 모집단을 대표하는 표본을 추출하기 위해 명부가 필요한데 이를 표본추출틀이라고 한다. 종류 단순..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 정리해보았습니다. 1장 통계학이란? 1장에서는 통계학이 어떤 학문인지를 알아보기 위해 필요한 개념들과 통계분석에 사용되는 자료를 어떻게 수집하는지 등에 대해 간략하게 알아보겠습니다. 1. 모집단(population)과 표본(sample) 모집단(population) 연구대상이 되는 모든 개체의 집합 표본(sample) 모집단에서 선택된 일부의 자료 [중요한점 2가지] 추출된 표본이 모집단을 대표할 수 있는가? 몇 개의 표본을 어떻게 뽑아야 하는가? 추론 이론으로 계산해야 한다. 기타 용어 전수조사(cencus) 연구대상 전체를 조사하는 경우, 대부분의 모집단은 매우 커 전체를 조사하기 어려..

(밑바닥부터 시작하는 딥러닝, 사이토고키)를 바탕으로 제작하였습니다. 오차역전파법(4) - 오차역전파법을 사용한 학습 구현 이전의 포스팅에서는 역전파를 적용한 활성화함수(ReLu, Sigmoid) 계층, Affine 계층, Softmax-with-Loss 계층을 구현해 보았습니다. 이번 포스팅에서는 지금까지 구현한 계층을 조합해서 오차역전파법을 사용한 학습을 구현해보겠습니다. 7. 오차역전파법 구현하기 7.1 신경망 학습의 전체 그림 우선 신경망 학습의 전체 그림을 복습해보겠습니다. 다음은 신경망 학습의 순서입니다. 전체 신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 '학습'이라 합니다. 신경망 학습은 다음과 같이 4단계로 수행합니다. 1단계 ..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 제작하였습니다. 오차역전파법 (3) - 활성화 함수, Affine, Softmax 계층 구현 이전의 포스팅에서는 사과 쇼핑 문제를 통해 간단한 역전파 계층을 구현해 보았습니다. 이번 포스팅에서는 활성화 함수(ReLu, Sigmoid) 계층, 행렬의 곱을 의미하는 Affine 계층, 출력층에서 사용하는 소프트맥스 계층을 구현해보도록 하겠습니다. 5. 활성화 함수 계층 구현하기 이제 계산 그래프를 신경망에 적용해보겠습니다. 우선 활성화 함수인 ReLu와 Sigmoid 계층을 구현하겠습니다. 5.1 ReLU 계층 활성화 함수로 사용되는 ReLU의 수식은 다음과 같습니다. x에 대한 y의 미분은 다음처럼 구합니다. 순전파 때의 입력인 x가 0보다 크면 역전..

(밑바닥부터 시작하는 딥러닝, 사이토고키)를 바탕으로 작성하였습니다. 오차역전파법 (2) - 간단한 역전파의 계층 구현 이전 포스팅에서는 역전파의 이해를 돕기 위해 계산 그래프의 역전파가 연쇄법칙에 따라 진행되는 모습을 공부하였습니다. 이번 포스팅에서는 사과 쇼핑의 예를 통해 간단한 역전파의 계층을 구현해보겠습니다. 3. 역전파 '+'와 'X' 등의 연산을 예로 들어 역전파의 구조를 설명하겠습니다. 3.1 덧셈 노드의 역전파 먼저 덧셈 노드의 역전파입니다. 여기에서는 $z = x + y$라는 식을 대상으로 역전파를 살펴보겠습니다. 우선, $z = x + y$의 미분은 다음과 같이 해석적으로 계산할 수 있습니다. $$\frac{\partial z}{\partial x} = 1$$ $$\frac{\parti..

(밑바닥부터 시작하는 딥러닝, 사이토고치) 를 바탕으로 작성하였습니다. 오차역전파법 (1) - 계산 그래프와 연쇄법칙 이전의 포스팅에서는 신경망 학습을 공부했습니다. 그때 신경망의 가중치 매개변수에 대한 손실 함수의 기울기는 수치 미분을 사용해 구했습니다. 수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 게 단점입니다. 이번 포스팅에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 '오차역전파법(backpropagation)'을 이해하기 위해 계산 그래프와 연쇄법칙에 대해 공부하겠습니다. 1. 계산 그래프 - Computational graph 계산 그래프(computational graph)는 계산 과정을 그래프로 나타낸 것입니다. 여기에서 그래프는 복수의 노드(node)와 에지(e..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 작성하였습니다. 신경망 학습 (3) - 학습 알고리즘 구현 지금까지 배운 내용을 이용해서 신경망 학습 알고리즘을 구현해보겠습니다. 5. 학습 알고리즘 구현하기 신경망 학습의 절차는 다음과 같습니다. 전체 신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 '학습'이라 합니다. 신경망 학습은 다음과 같이 4단계로 수행합니다. 1단계 - 미니배치 훈련 데이터 중 일부를 무작위로 가져옵니다. 이렇게 선별한 데이터를 미니배치라 하며, 그 미니배치의 손실 함수 값을 줄이는 것이 목표입니다. 2단계 - 기울기 산출 미니배치의 손실 함수 값을 줄이기 위해 각 가중치 매개변수의 기울기를 구합니다. 기울기는 손..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 작성하였습니다. 신경망 학습 (2) - 기울기와 경사하강법 이전의 포스팅에서는 손실 함수와 수치 미분을 공부했습니다. 이번 포스팅에는 손실 함수의 기울기를 구하고 경사법으로 손실 함수 결과값이 최소가 되는 지점으로 가중치를 갱신시켜주는 방법에 대해 공부해보겠습니다. 4. 기울기 - Gradient 기울기는 모든 변수의 편미분을 벡터로 정리한 것을 의미합니다. $f$($x_0$, $x_1$) = $x_{0}^{2}$ + $x_{1}^{2}$ 이전의 포스팅에서는 $x_0$와 $x_1$의 편미분을 변수별로 따로 계산했습니다. 그럼 $x_0$와 $x_1$의 편미분을 동시에 계산하는 방법을 알아보겠습니다. 위 식에서 $x_0$ = 3, $x_1$ = 4 일때..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 작성하였습니다. 신경망 학습 (1) - 손실 함수와 수치 미분 이번 포스팅의 주제는 신경망 학습입니다. 여기서 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻합니다. 손실 함수를 소개합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는 지표입니다. 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표입니다. 경사법을 소개합니다. 손실 함수의 값을 가급적 작게 만드는 기법으로, 함수의 기울기를 활용합니다. 1. 데이터에서 학습한다. 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 데이터에서 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻입니다. 신경..