딥러닝 공부방

Conics and dual conics conic은 평면에서 2차식으로 표현되는 곡선입니다. Euclidean geometry에서 conics은 3개의 유형이 있습니다. 쌍곡선(hyperbola), 타원(ellipse), 포물선(parabola)입니다. 일반적이로 이 conic의 세 가지 유형은 평면에 의해 생성된 원뿔 곡선(conic section)에 따라 생성됩니다. conic 방정식은 inhomogeneous coordinate으로 2차 다항식으로 표현합니다. 이를 homogeneous coordinate로 다음과 같이 표현합니다. 이차형식(quadratic form)에 의해 conic coefficient 행렬 C는 다음과 같이 주어집니다. conic 계수 행렬은 대칭입니다. 점과 선의 homo..

A model for the projective plane 사영 공간(projective space) P^2는 Euclidean 공간 R^3에서 원점을 지나는 모든 직선의 집합으로 생각할 수 있습니다. k에 따라 변화하는 모든 벡터 k(x1,x2,x3)^T의 집합은 원점을 지나는 직선을 형성합니다. 이러한 직선은 사영 공간 P^2에서 한 점을 나타냅니다. 이러한 관점으로 P^2에서 선은 원점을 지나는 평면을 의미합니다. 두 직선은 한 평면에 놓여있고, 임의의 두 평면은 직선에서 교차합니다. P^2 공간에서는 스케일 값에 관계없이 한 점을 유일하게 정의할 수 있으므로 마지막 항 x3로 좌표값을 나눈 (x1/x3, x2/x3, 1)을 일반적으로 한 점을 표현하는 대표값으로 간주합니다. R^3 공간 상의 원점..

평행한 선의 교점(Intersection of parallel lines) 두 평행한 직선은 유클리드 공간에서는 만나지 않지만, 사영 공간 $P^2$에서는 만납니다. 두 선 ax + by + c = 0과 ax + by + c' = 0을 고려하겠습니다. 이 둘은 l = (a, b, c)^T 와 l' = (a, b, c')^T로 나타낼 수 있습니다. 이 둘의 교점을 구하는 것은 어렵지 않습니다. 이전 포스팅에서 배웠던 것 처럼 두 선을 외적하면 됩니다. 여기서 scale factor (c' - c)를 무시하면, 아래와 같은 교점이 됩니다. 이 점을 inhomogeneous로 표현하면, 아래와 같습니다. 이는 2 차원 euclidean 공간에서 유한한 점에 해당하지 않습니다. 이를 homogeneous coo..

선의 동치 표현(Homogeneous representation of lines) 평면에 존재하는 선은 ax + by + c = 0 과 같은 방정식으로 표현될 수 있습니다. 이를 직선의 방정식이라고 하는데, 어떤 a,b,c를 선택하느냐에 따라 다른 선이 됩니다. 따라서, 선은 일방적으로 벡터 (a,b,c)^T로 표현합니다. 이는 열벡터를 의미합니다. 선과 벡터 (a,b,c)^T는 one-to-one 대응이 아닙니다. 동치 좌표(homogeneous coordinates)에 의해서 선 ax + by + c = 0은 선 (ka)x + (kb)y + (kc) = 0와 동일합니다. 따라서, 벡터 (a,b,c)^T와 k(a,b,c)^T는 동일한 선을 나타냅니다. 그리고 이러한 관계에 있는 벡터들을 동치류(equi..

연쇄 법칙(Chain Rule) 합성 함수(composite function)에 대한 미분 법칙을 연쇄 법칙이라고 부릅니다. 다변수 함수에 대한 규칙은 일변수 함수보다 더 심오한 형태를 취합니다. f가 실함수(real-valued function)이고, z=f(y)이며 y는 x의 함수이고 y=g(x)라고 하겠습니다. 그러면 z는 대입에 의해 x의 합수가 됩니다. 즉, z=f(g(x))이며, 다음과 같은 연쇄 법칙을 갖습니다. 만약 f가 3개의 변수(u,v,w)에 대한 실함수이고, z=f(u,v,w) 이며, u,v,w는 x에 대한 함수 u=g(x), v=h(x), w=k(x)인 경우에 z=f(u,v,w)에서 g(x), h(x), k(x)를 대입하면 z=f(g(x),h(x),k(x))가 됩니다. 이 함수에 ..

사영 공간(projective space) projective transformation을 적용한 후에 어떤 geometry 성질이 보존될까요? shape, length, angls, distance, ratios of distance는 아닙니다. 원이 타원으로 나타날 수 있고, projective transformation에서 두 원이 서로 다른 정도로 stretch되면 반지름이 달라집니다. 오직 straightness만이 보존됩니다. 왜 projective geometry가 필요한지 알기 위해서 Euclidean geometry부터 시작해야 합니다. 유클리디안 기하학은 angles와 shapes of object를 설명합니다. 하나의 관점에서 유클리디안 기하학은 골치거리입니다. 두 선이 interse..

주성분 회귀(Principal components regression, PCR) 주성분 회귀 기법은 p개의 변수를 m개의 변수로 축소하여 m개의 변수들로 선형회귀 모델을 fit합니다. m개의 변수는 주성분 요소(Z1, ..., Zm) 입니다. 주성분 요소는 데이터의 공분산 행렬에 SVD를 적용하여 구할 수 있습니다. PCR 기법은 설명변수 X1, ..., Xp를 가장 잘 나타내는 선형결합 또는 방향을 찾는 것입니다. 이러한 방향은 비지도 방식으로 식별되는데, 반응변수 Y가 주성분 방향을 결정하는데 이용되지 않기 때문입니다. 즉, 반응변수는 주성분을 찾는 것을 지도하지 않습니다. 따라서 PCR은 설명변수들을 가장 잘 설명하는 방향이 반응변수를 예측하는데 사용하기에도 가장 좋은 방향이 된다는 보장이 없습니다..

차원축소 방법 중 하나인 주성분 회귀를 알아보겠습니다. 차원축소 방법을 간단히 살펴보면 p개의 변수를 m개의 변수로 축소하여 bias를 증가시키고 variance를 감소합니다. 따라서 overfitting을 방지하는 효과가 있습니다. 주성분 회귀(Principal Components Regression) 주성분분석(PCA, Principal Components Analysis)는 변수의 큰 집합으로부터 저차원의 특징을 유도하기 위한 유명한 방법입니다. PCA는 비지도학습의 방법이며, 여기서는 회귀를 위한 차원축소 방법으로서 PCA를 사용하는 것을 살펴보겠습니다. 주성분 회귀를 알아보기 전에 주성분분석을 잠깐 살펴보겠습니다. 주성분분석 개요(An Overview of Principal Components ..

일반적인 경우에서 미분가능성(Differentiable: The General Case) 이전 포스팅에서는 이변수함수에 대한 미분가능성(Differentiability for Functions of Two Variables)에 대해 살펴보았습니다. 이번에는 R^n에서 R^m으로의 함수 f에 대한 미분 가능성을 정의하겠습니다. 접평면을 구하는 방법에서 Df(x,y)를 공부했었습니다. 점 x0에서 함수 f = (f1, ... , fm)의 도함수 Df(x0)은 성분이 x0에서 t_ij = af_i/ax_j인 행렬 T 입니다. R^n에서 R^m으로의 함수 f가 두 가지 조건을 만족하면 미분 가능하다고 정의합니다. (1) x0에서 편미분이 존재해야 합니다. (2) 아래의 극한이 만족해야 합니다. 여기서 T는 Df..

선형근사(Linear Approximation) 다변수 함수 f가 충분히 매끄러울 때, 점(x_0, y_0)에서 함수의 그래프에 접하는 평면의 방정식을 구해보겠습니다. 수직이 아닌 평면의 방정식은 다음의 형태를 갖습니다. 만약 위 식이 함수의 그래프에 접하는 평면이라면 x와 y축을 따르는 기울기는 x와 y에 대한 함수 f의 변화율인 af/ay와 af/ax와 같아야 합니다. 따라서 a와 b는 다음과 같아야 합니다. 상수 c는 x=x0, y=y0인 경우에 z = f(x0, y0)이라는 사실로부터 구할 수 있습니다. 따라서 선형 근사(linear approximation)은 다음과 같이 구할 수 있습니다. 위 방정식은 만약 f가 충분히 smooth한 경우에 (x0, y0)에서 함수 f의 그래프에 접하는 평면의..