딥러닝 공부방

Mathematics for Machine Learning를 공부하고 정리한 포스팅입니다. 2.3 연립 방정식의 해(Solving Systems of Linear Equations) 다음과 같은 연립 방정식이 있습니다. $a_{ij}$는 실수, $b_i$는 상수, $x_j$는 미지수 입니다. 위 연립 방정식은 Ax=b로 간단히 표현할 수 있습니다. 이제 행렬 곱셈, 덧셈 과 같은 행렬 연산을 정의하고 위와 같은 연립 방정식을 푸는 방법과 역행렬을 찾는 방법을 알아보겠습니다. 2.3.1 특수해와 일반해(Particular and General Solution) 아래와 같은 연립 방정식을 어떻게 푸는지 알아보겠습니다. 2개의 방정식과 4개의 미지수로 이루어진 연립 방정식입니다. 방정식의 개수보다 미지수의 개..

Mathematics for Machine Learning 원서를 정리한 포스팅입니다. 공부 목적으로 중요하다고 생각하는 부분만 요약했습니다. 2.2 Matrices(행렬) 행렬은 연립 방정식을 간단히 표현하기 위해 사용됩니다. 또한 선형 함수(linear mapping)을 표현합니다. (m, n)크기의 행렬입니다. m개의 행과 n개의 열로 이루어져 있습니다. $R^{mxn}$ 공간에 있는 행렬의 열을 쌓으면 $R^{nm}$ 공간에 있는 긴 벡터로 표현할 수 있습니다. 2.2.1 Matrix Addition and Multiplication(행렬 덧셈과 곱셈) (mxn) 동일한 크기의 두 행렬 A, B의 덧셈은 element-wise sum으로 정의됩니다. 행렬 곱셈은 element-wise operat..

Mathematics for Machine Learning 원서를 번역한 포스팅입니다. 영어 독해가 많이 부족합니다. 공부 목적으로 번역을 한것이므로 정확한 번역이 아니라는 점을 말씀드리고 싶습니다. 2. Linear Algebra 직관적인 개념을 공식화할 때, 가장 흔한 접근법은 기호들과 이 기호들을 다루는 규칙을 만드는 것입니다. 이는 대수학(algebra)로 알려져 있습니다. 선형 대수학(Linear algebra)는 벡터와 벡터를 조작하는 방법에 대한 공부입니다. 이 책에서 벡터는 x, y 와 같이 굵은 글씨로 나타냅니다. 벡터는 더해지고 스칼라로 곱해져 또 다른 벡터를 만듭니다. 벡터 덧셈과 스칼라 곱, 두 성질을 만족하면 벡터로 고려됩니다. 벡터의 예시를 살펴보겠습니다. 1. 기하학적인 벡터(..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. Reduced SVD A 행렬을 SVD하면 다음과 같이 됩니다. 위 행렬은 대각 행렬인 D를 포함하는데, D 행렬은 대각 요소가 특이값(singular value)로 이루어진 rxr 크기의 행렬입니다. r행,열 까지는 특이값으로 이루어져있고, r+1 행과 r+1 열부터는 값이 0이 됩니다. U와 V가 r+1행, r+1열부터는 0과 곱해져 0이 되는 것입니다. 어차피 r을 초과하는 인덱스는 0과 곱해져 0이 되므로 U와 V행렬을 r까지만 표기한것이 Reduced SVD입니다. 유사역행렬(Pseudo inverse) 유사역행렬은 $A^+$를 정의해서 최소제곱법(leaset-squ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.4 특이값 분해(SVD, Singular Value Decomposition) 6.1 대칭행렬의 대각화에서 배웠던 대각화 이론은 많은 분야에서 적용할 수 있습니다. 하지만, 모든 행렬이 $A=PDP^{-1}$로 분해되지 않습니다. D가 대각행렬이기 때문에 A는 m x m 행렬이어야지 대각화를 할 수 있었습니다. 특이값 분해($A=QDP^{-1}$)는 행렬의 크기(m x n)와 상관없이 대각화가 가능합니다. m x n 행렬의 특이값(The Singular Values of an m x n Matrix) m x n 크기의 행렬 A의 특이값(singular values)은 $A..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.3 구속 최적화(Constrained Optimization) 구속 최적화는 이차 형식(Qudratic Form)에 제약 조건을 준것입니다. 이차 형식의 최대값과 최소값을 전체 영역에서 찾는 것이 아니라 제약조건 내에서 찾는 것입니다. 이차 형식에 다음과 같은 제약 조건을 줍니다. 이는 Q(x) = $x^TAx$에서 $x^Tx$=1 을 의미합니다. 예시 문제 이차 형식과 제약 조건이 주어지고 최대값과 최소값을 찾는 문제입니다. 이차 형식 제약 조건 $x^2_2$와 $x^2_3$은 nonnegative이므로 다음이 성립합니다. 따라서 다음과 같이 됩니다. $x^Tx$ = 1..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 오랜만에 올려보는 선형대수학 포스팅입니다. 이차 형식(Quadratic forms) 이차 형식(Quadratic form)은 다음과 같이 정의됩니다. A는 nxn 크기의 대칭 행렬(symmetric matrix)이고 이차 형식의 행렬(the matrix of the quadratic form)이라고 불립니다. 대칭 행렬의 특징은 이전 포스팅에서 공부했었습니다. 간단히 요약하면, 대칭 행렬을 P와 D로 분해하면 P의 column이 A의 eigen vector로 이루어져 있고, 각 vector는 서로 직교한다는 것이었습니다. 그리고 이를 직교 대각화 가능이라고 불렀습니다. 이차 ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 대칭 행렬의 대각화는 선형대수학의 꽃인 SVD를 유도하기 위해 필요합니다. 대칭 행렬이 무엇이고 대칭 행렬을 대각화할때 나타나는 새로운 특성을 알아보도록 하겠습니다. 대칭 행렬(Symetric Matrix) 대칭 행렬은 행렬 A가 정사각 행렬(square matrix)이고, $A^T = A$를 만족하는 행렬입니다. 1) A가 정사각 행렬(square matrix) 2) $A^T = A$ 위 두 가지 조건을 만족하면 대칭 행렬입니다. 대칭 행렬의 예시를 살펴보겠습니다. 대칭 행렬이 아닌 경우입니다. 대각화(Diagonalization) 대칭 행렬의 대각화를 살펴보기 전에 이전에..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 드디어 5장의 마지막 부분인 최소자승법(Least-Squares Problems)에 대해 공부해 보겠습니다! 선형대수학 공부를 처음 시작할 때 언제 다 할 수 있을까라는 막막했는데, 꾸준히 해나가니까 끝이 보이네요ㅎㅎ 항상 꾸준히 하는것이 중요한 것 같습니다. Ax=b 문제를 풀 때 해가 없는 경우가 대부분입니다. 현실의 문제에는 여러가지 오차가 포함되어 있기 때문입니다. 이런 경우 b와 제일 근접한 x를 찾게됩니다. 이때 이용하는 방법이 최소자승법 입니다. 1. 최소자승법의 해(Least-Squares Solution) b-Ax를 가장 작게하는 x가 $\hat{x}$이며, ..

이번 포스팅에서는 그람슈미트 과정(Gram-Schmidt process)와 QR 분해(QR factorization)에 대해 공부해보겠습니다. 그람슈미트 과정은 임의의 부분공간(subspace)이 있을 때 그 subspace를 이루는 직교 기저(orthogonal basis)를 찾는 것입니다. 1. 그람슈미트 과정의 기본 아이디어(Basis idea for the Gram-Schmidt process) 2차원 공간 W = Span{$x_1, x_2$}라고 가정할 때, W에 대한 직교 기저(orthogonal basis) {$v_1, v_2$} 를 찾아보겠습니다. $v_1$ = $x_1$로 둡니다. 그리고 $v_2$는 $x_2$에서 $x_2$를 $x_1$에 projection 한 것을 빼주면 다음과 같이 ..