딥러닝 공부방

Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks https://arxiv.org/abs/2006.07322 Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks Modern neural architectures for classification tasks are trained using the cross-entropy loss, which is widely believed to be empirically superior to the square lo..

여인권 교수님의 KMOOC 강의 를 수강하면서 공부한 내용을 정리해보았습니다. 절편 $\beta_0$ 에 대한 통계적 추론 회귀계수 중 절편에 해당하는 $\beta_0$의 중심축량과 구간추정에 대해 알아보겠습니다. 1. $\hat{\beta_0} = \overline{Y} - \hat{\beta_1}\overline{x}$의 역할 x가 0일 때 E(Y)의 값이 $\beta_0$ 입니다. 최소제곱법 추정으로 $\beta_0$ 추정과정을 알아보겠습니다. D를 $b_0$으로 미분함으로써 최소로하는 $b_1$과 $b_0$을 찾습니다. 추정한 $b_1, b_0$를 $\hat{b_1}, $\hat{b_0}$으로 표현합니다. $\beta_0$가 없는 모형에서의 잔차 합은 0이 되지 않을 수 있습니다. $b_0$이 0..

여인권 교수님의 KMOOC 강의 를 수강하면서 공부한 내용을 정리해보았습니다. 회귀추론을 위한 기본이론 회귀모형의 모수 또는 예측값을 추론을 위한 기본 통계이론을 정리하겠습니다. 1. 회귀 모형식 가정 단순회귀모형에서 모형식은 다음과 같이 가정할 수 있습니다. 여기서, $\beta_0 + \beta_1x_i$는 평균을 의미합니다. $\epsilon_i$ ~ iid N(0,$\sigma^2$)는 추론할 때 필요한 가정입니다. 최소제곱법에 의한 모수 추정에서는 특별히 오차항의 가정을 사용하지 않습니다. 최소제곱법은 $y_i - \beta_0 - \beta_1x_i$를 이용하기 때문에 $\epsilon_i$는 신경쓰지 않는다는 의미입니다. 모수 추정량 또는 예측값의 성질을 유도하기 위해 오차항의 가정이 필요합..

여인권 교수님의 KMOOC 강의 를 수강하면서 공부한 내용을 정리해보았습니다. 자료들의 변동을 요소별로 분해하여 정리한 분산분석표에 대해 알아보겠습니다. 고정효과모형과 변량효과모형에서 F통계량의 분모와 분자인 평균제곱의 통계적 성질을 알아보겠습니다. 변동분해 모형식을 정리하여 변동을 요소별로 분해할 수 있습니다. 모형식이 다음과 같을때, TSS(변동), SSE(잔차제곱합), SSTR(처리제곱합) 으로 분해할 수 있습니다. $\mu$는 평균, $\alpha$는 처리효과, $\epsilon$은 오차를 의미합니다. 모형식을 정리하면 다음과 같이 표현할 수 있습니다. 이 식을 제곱한 값을 모두 더해주면 다음과 같이 됩니다. 이 식을 정리하면 세 가지 변동으로 분해됩니다. SSE + SSTR = TSS가 됩니다...

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해2, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다. 점추정량 구하는 방법과 좋은 점추정량이 가져야할 성질에 대해서 알아보겠습니다. 1. 점추정 점추정은 미지의 모수를 표본의 어떤 함수(통계량, statistic)를 이용하여 어떤 값으로 추정하는 과정입니다. 세가지 추정방법이 있습니다. (1) 적률법(method of moments) (2) 최대가능도추정법(maximum likelihood estimation) (3) 최소제곱법(least squares estimation) 여기서는 (1)과 (2)만 알아보도록 하겠습니다. (3)은 나중에 회귀분석을 공부할 때 알아보겠습니다. 2. 적률법 - method of ..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 작성하였습니다. 신경망 학습 (1) - 손실 함수와 수치 미분 이번 포스팅의 주제는 신경망 학습입니다. 여기서 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻합니다. 손실 함수를 소개합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는 지표입니다. 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표입니다. 경사법을 소개합니다. 손실 함수의 값을 가급적 작게 만드는 기법으로, 함수의 기울기를 활용합니다. 1. 데이터에서 학습한다. 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 데이터에서 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻입니다. 신경..