딥러닝 공부방

편도 함수(Partial Derivatives) 편미분은 다른 변수들은 고정되어 있고, 하나의 변수 x_j에 대해 함수 f를 미분하는 것입니다. 몇 가지 예제를 살펴보겠습니다. 예제 1 예제 2 참고자료 및 그림출처 Jerrold E. Marsden의 Vector Calculus

극한(Limits) 극한의 개념을 살펴보기 전에, 함수 f의 정의역(domain)은 열린 집합(Open Set) A라고 가정하겠습니다. A에 속하는 x가 A의 점 또는 A의 경계점에 접근할 때, 함수 f의 극한을 찾는 법을 살펴보겠습니다. 집합 A가 열린 집합이고, 함수 f가 다변수 함수에 대한 벡터 함수이라고 하겠습니다. 점 x0이 A에 존재하거나 A의 경계점이고, b의 근방이 N이라고 하겠습니다. 만약 x가 A와 x0의 근방에 존재하며, 이를 만족하는 x0의 근방이 존재한다면, x가 x0으로 접근할 때 함수 f는 궁극적으로 N에 속합니다. x0은 A에 속할 필요가 없습니다. 즉, 임의로 주어진 b의 근방 N에서 x가 x0으로 접근할 때, f는 결국 N안에 존재합니다. 이는 x가 x0에 가까워지면서, ..

경계점(Boundary Points) x의 근방(neighborhood of x)는 x를 포함하는 열린 집합을 의미합니다. 경계점은 모든 x의 근방이 적어도 A의 한 점을 포함하고, 동시에 A에 속하지 않는 점을 포함하는 경우에 x를 A의 경계점(boundary point)이라고 합니다. 위 정의에서 x는 A에 속할수도, 속하지 않을 수도 있습니다. 만약 x가 A에 속한다면, x의 근방이 적어도 A에 속하지 않는 점을 하나라도 포함해야 경계점이 됩니다. x가 A에 속하지 않는 경우에는 x의 근방이 A에 속하는 점을 적어도 하나를 포함해야 경계점이 됩니다. open set의 정의에 따르면, open set에 존재하는 점 x는 경계점이 될 수 없습니다. open set에 포함되어 있는 점은 open set의..

차원축소 방법(Dimension Reduction Methods) 차원축소 방법은 p개의 변수 X1, X2, ... ,Xp를 변환하여, 변환된 변수들로 선형제곱 모델을 적합(fit)하는 것입니다. p개의 X1~Xp에서 m개의 Z1~Zm으로 변환된 변수들은 X1~Xp의 선형 결합으로 나타냅니다. 변환된 변수들로 다음과 같이 최소제곱 모델을 fit할 수 있습니다. 이러한 차원축소 방법은 일반적으로 선형제곱 모델보다 뛰어납니다. 차원축소 방법은 기존의 p+1(절편 포함)개의 변수를 m+1개의 변수로 축소하기 때문입니다. 변수의 수가 줄어들었으므로 bias를 증가시키고 variance를 감소합니다. 즉, overfitting을 방지합니다. 이전에 살펴보았던 변수 선택 방법과 수축법과 비슷한 효과를 나타냅니다. ..

라쏘와 능형 회귀의 또 다른 구성(Another Formulation for Ridge Regression and the Lasso) 이전 포스팅에서 살펴보았던 라쏘와 능형회귀가 다음의 문제를 푼다고 가정해보겠습니다. 위 식은 R1 + R2

라쏘(Lasso) 능형 회귀(Ridge regression)은 한가지 단점이 존재합니다. 일반적으로 변수의 부분 집합만을 포함하는 모델을 선택하는 best subset, forward stepwise, backward stepwise selection과 다르게 능형 회귀는 모든 p개의 변수를 포함합니다. 그리고 패널티 항은 모든 계수가 0이 되는 방향으로 수축합니다. 하지만 람다가 무한이 아닌 경우에 계수를 정확히 0으로 수축하지 않습니다. 모델의 정확도 관점에서는 문제가 되지 않지만, 모델을 해석해야 하는 경우에 문제점이 발생합니다. 라쏘는 능형회귀의 단점을 극복하기 위해 제안된 방법입니다. 능형회귀의 패널티 항은 L2 norm 이었던 반면에, 라쏘의 패널티 항은 L1 norm 입니다. 능형회귀와 라쏘..

수축법(Shrinkage Methods) 계수 추정치를 0으로 수축(shrink)하는 기법을 사용하여 모든 설명 변수를 포함하고 있는 모델을 적합(fit)할 수 있습니다. 계수 추정치를 수축하는 것은 모델의 variance를 감소시킵니다. 모델의 variance를 감소시킨 다는 의미는 bias를 증가시켜 overfitting을 방지합니다. 회귀 계수를 0으로 수축하는 방법에 대해 가장 잘 알려진 ridge regression과 lasso를 알아보겠습니다. 능형 회귀(Ridge Regression) 능형 회귀는 RSS식에 다음과 같은 항이 추가된 것입니다. 람다는 조율 파라미터(tuning parameter)이며, 위 식을 최소화 하는 방향으로 모델을 학습합니다. 위 식을 수축 패널티(shrinkage p..

평면의 방정식(Equations of Planes) 공간 내에 평면이 존재하고, 평면 위에 한 점 P0 = (x0, y0, z0)이 존재한다고 가정하겠습니다. 평면과 직교하는 법선 벡터(normal vector) n = Ai + Bj + Ck가 주어진 경우에 평면의 방정식은 어떻게 구해야 할까요? 우선 평면 위의 두점 P = (x,y,z)와 P0를 잇는 벡터와 법선 벡터 n은 직교합니다. 두 벡터가 직교하면 내적이 0이므로 이 성질을 이용하여 평면의 방정식을 계산할 수 있습니다. A, B, C, D는 유일하지 않습니다. 법선 벡터가 평행한 경우에도 해당 법선 벡터는 평면과 직교하기 때문입니다. 점에서 평면에 이르는 거리(Distance from a Point to a Plane) 공간에서 한 점 E와 평..

열린 집합과 열린 원판(Open Set and Open Disk) 열린 집합은 극한의 개념을 이해하기 위해서 필요합니다. 열린 집합(open set)을 알아보기 전에 열린 원판(open dist)을 정의하겠습니다. (1) 열린 원판(Open Dist) 열린 원판은 양의 실수 r과 x_0에 대하여 llx-x_0ll < r을 만족하는 모든 점 x의 집합을 의미합니다. 열린 원판은 원의 중심이 x_0이고, 반지름이 r인 원의 안쪽에 존재하는 모든 점 x를 의미합니다. 정리하면, x_0으로부터 거리가 r보다 작은 모든 점 x를 의미합니다. 그리고 Dr(x_0)으로 표기합니다. (2) 열린 집합(Open Set) 열린 집합은 열린 원판 Dr(x_0)이 U에 존재하고, U가 R^n의 부분집합인 경우에 이 U를 열린..

최적의 모델 선택(Choosing the Optimal Model) 최상의 부분 집합 선택, 전진 선택, 후진 선택으로 모델의 집합을 생성합니다. 모델의 집합 중에 어느 모델이 최고의 성능을 갖고 있는지 판단해야 합니다. RSS가 가장 낮은 모델을 선택하거나, R2값이 가장 큰 모델을 선택하는 것은 training error와 연관되어 있으므로 부정확합니다. 따라서 test error가 낮은 모델을 선택해야 합니다. test error를 측정하는 방법은 (1) 과적합으로 인한 편상을 고려하도록 훈련오차를 조정하여 test error를 간접적으로 추정할 수 있습니다. (2) validation set approach 또는 cross-validation approach를 사용하여 test error를 직접 ..