딥러닝 공부방

연쇄 법칙(Chain Rule) 합성 함수(composite function)에 대한 미분 법칙을 연쇄 법칙이라고 부릅니다. 다변수 함수에 대한 규칙은 일변수 함수보다 더 심오한 형태를 취합니다. f가 실함수(real-valued function)이고, z=f(y)이며 y는 x의 함수이고 y=g(x)라고 하겠습니다. 그러면 z는 대입에 의해 x의 합수가 됩니다. 즉, z=f(g(x))이며, 다음과 같은 연쇄 법칙을 갖습니다. 만약 f가 3개의 변수(u,v,w)에 대한 실함수이고, z=f(u,v,w) 이며, u,v,w는 x에 대한 함수 u=g(x), v=h(x), w=k(x)인 경우에 z=f(u,v,w)에서 g(x), h(x), k(x)를 대입하면 z=f(g(x),h(x),k(x))가 됩니다. 이 함수에 ..

일반적인 경우에서 미분가능성(Differentiable: The General Case) 이전 포스팅에서는 이변수함수에 대한 미분가능성(Differentiability for Functions of Two Variables)에 대해 살펴보았습니다. 이번에는 R^n에서 R^m으로의 함수 f에 대한 미분 가능성을 정의하겠습니다. 접평면을 구하는 방법에서 Df(x,y)를 공부했었습니다. 점 x0에서 함수 f = (f1, ... , fm)의 도함수 Df(x0)은 성분이 x0에서 t_ij = af_i/ax_j인 행렬 T 입니다. R^n에서 R^m으로의 함수 f가 두 가지 조건을 만족하면 미분 가능하다고 정의합니다. (1) x0에서 편미분이 존재해야 합니다. (2) 아래의 극한이 만족해야 합니다. 여기서 T는 Df..

선형근사(Linear Approximation) 다변수 함수 f가 충분히 매끄러울 때, 점(x_0, y_0)에서 함수의 그래프에 접하는 평면의 방정식을 구해보겠습니다. 수직이 아닌 평면의 방정식은 다음의 형태를 갖습니다. 만약 위 식이 함수의 그래프에 접하는 평면이라면 x와 y축을 따르는 기울기는 x와 y에 대한 함수 f의 변화율인 af/ay와 af/ax와 같아야 합니다. 따라서 a와 b는 다음과 같아야 합니다. 상수 c는 x=x0, y=y0인 경우에 z = f(x0, y0)이라는 사실로부터 구할 수 있습니다. 따라서 선형 근사(linear approximation)은 다음과 같이 구할 수 있습니다. 위 방정식은 만약 f가 충분히 smooth한 경우에 (x0, y0)에서 함수 f의 그래프에 접하는 평면의..

편도 함수(Partial Derivatives) 편미분은 다른 변수들은 고정되어 있고, 하나의 변수 x_j에 대해 함수 f를 미분하는 것입니다. 몇 가지 예제를 살펴보겠습니다. 예제 1 예제 2 참고자료 및 그림출처 Jerrold E. Marsden의 Vector Calculus

극한(Limits) 극한의 개념을 살펴보기 전에, 함수 f의 정의역(domain)은 열린 집합(Open Set) A라고 가정하겠습니다. A에 속하는 x가 A의 점 또는 A의 경계점에 접근할 때, 함수 f의 극한을 찾는 법을 살펴보겠습니다. 집합 A가 열린 집합이고, 함수 f가 다변수 함수에 대한 벡터 함수이라고 하겠습니다. 점 x0이 A에 존재하거나 A의 경계점이고, b의 근방이 N이라고 하겠습니다. 만약 x가 A와 x0의 근방에 존재하며, 이를 만족하는 x0의 근방이 존재한다면, x가 x0으로 접근할 때 함수 f는 궁극적으로 N에 속합니다. x0은 A에 속할 필요가 없습니다. 즉, 임의로 주어진 b의 근방 N에서 x가 x0으로 접근할 때, f는 결국 N안에 존재합니다. 이는 x가 x0에 가까워지면서, ..

경계점(Boundary Points) x의 근방(neighborhood of x)는 x를 포함하는 열린 집합을 의미합니다. 경계점은 모든 x의 근방이 적어도 A의 한 점을 포함하고, 동시에 A에 속하지 않는 점을 포함하는 경우에 x를 A의 경계점(boundary point)이라고 합니다. 위 정의에서 x는 A에 속할수도, 속하지 않을 수도 있습니다. 만약 x가 A에 속한다면, x의 근방이 적어도 A에 속하지 않는 점을 하나라도 포함해야 경계점이 됩니다. x가 A에 속하지 않는 경우에는 x의 근방이 A에 속하는 점을 적어도 하나를 포함해야 경계점이 됩니다. open set의 정의에 따르면, open set에 존재하는 점 x는 경계점이 될 수 없습니다. open set에 포함되어 있는 점은 open set의..

평면의 방정식(Equations of Planes) 공간 내에 평면이 존재하고, 평면 위에 한 점 P0 = (x0, y0, z0)이 존재한다고 가정하겠습니다. 평면과 직교하는 법선 벡터(normal vector) n = Ai + Bj + Ck가 주어진 경우에 평면의 방정식은 어떻게 구해야 할까요? 우선 평면 위의 두점 P = (x,y,z)와 P0를 잇는 벡터와 법선 벡터 n은 직교합니다. 두 벡터가 직교하면 내적이 0이므로 이 성질을 이용하여 평면의 방정식을 계산할 수 있습니다. A, B, C, D는 유일하지 않습니다. 법선 벡터가 평행한 경우에도 해당 법선 벡터는 평면과 직교하기 때문입니다. 점에서 평면에 이르는 거리(Distance from a Point to a Plane) 공간에서 한 점 E와 평..

열린 집합과 열린 원판(Open Set and Open Disk) 열린 집합은 극한의 개념을 이해하기 위해서 필요합니다. 열린 집합(open set)을 알아보기 전에 열린 원판(open dist)을 정의하겠습니다. (1) 열린 원판(Open Dist) 열린 원판은 양의 실수 r과 x_0에 대하여 llx-x_0ll < r을 만족하는 모든 점 x의 집합을 의미합니다. 열린 원판은 원의 중심이 x_0이고, 반지름이 r인 원의 안쪽에 존재하는 모든 점 x를 의미합니다. 정리하면, x_0으로부터 거리가 r보다 작은 모든 점 x를 의미합니다. 그리고 Dr(x_0)으로 표기합니다. (2) 열린 집합(Open Set) 열린 집합은 열린 원판 Dr(x_0)이 U에 존재하고, U가 R^n의 부분집합인 경우에 이 U를 열린..

직선의 방정식(Equations of Lines) 평면과 직선은 방정식으로 표현될 수 있는 기하학적인 객체입니다. 여기서는 직선의 방정식을 벡터 덧셈, 스칼라 곱을 사용하여 알아보겠습니다. 벡터 a의 끝점을 통과하고 벡터 v의 방향인 직선의 방정식은 다음과 같이 표현합니다. t는 모든 실수이고, tv는 벡터 v의 모든 스칼라 곱입니다. 직선 l은 a와 tv를 변으로하는 평행사변형의 모든 대각 요소의 끝접이며, l = a + tv로 표현합니다. 즉, a의 끝점을 지나고 방향이 v인 직선의 방정식은 l = a + tv 입니다. 예제 문제를 한번 살펴보겠습니다. 동일한 직선은 여러가지 방정식으로 나타낼 수 있습니다. 주어진 선에서 a 대신에 다른 점을 선택하면 됩니다. 예를 들어, 직선의 방정식 l = a +..

실함수의 기하학(The Geometry of Real-Valued Functions) 실함수를 graph, level curve, level surface로 시각화하여 이해해보도록 하겠습니다. 함수와 사상(Fuctions and Mappings) 함수는 정의역(domain)으로 R^n 공간에 있는 부분 집합 A을 갖고 있고, 이 부분 집합을 R^m 공간에 있는 공역(codomain)으로 전달합니다. 공역(codomain)의 차원에 따라 함수의 명칭이 달라집니다. m > 1 인 경우 함수 f를 벡터 함수(vector-valued function)이라고 부릅니다. m = 1 인 경우 함수 f를 스칼라 함수(scalar-valued function)이라고 합니다. 예를 들어, scalar-valued func..