딥러닝 공부방

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. Reduced SVD A 행렬을 SVD하면 다음과 같이 됩니다. 위 행렬은 대각 행렬인 D를 포함하는데, D 행렬은 대각 요소가 특이값(singular value)로 이루어진 rxr 크기의 행렬입니다. r행,열 까지는 특이값으로 이루어져있고, r+1 행과 r+1 열부터는 값이 0이 됩니다. U와 V가 r+1행, r+1열부터는 0과 곱해져 0이 되는 것입니다. 어차피 r을 초과하는 인덱스는 0과 곱해져 0이 되므로 U와 V행렬을 r까지만 표기한것이 Reduced SVD입니다. 유사역행렬(Pseudo inverse) 유사역행렬은 $A^+$를 정의해서 최소제곱법(leaset-squ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.4 특이값 분해(SVD, Singular Value Decomposition) 6.1 대칭행렬의 대각화에서 배웠던 대각화 이론은 많은 분야에서 적용할 수 있습니다. 하지만, 모든 행렬이 $A=PDP^{-1}$로 분해되지 않습니다. D가 대각행렬이기 때문에 A는 m x m 행렬이어야지 대각화를 할 수 있었습니다. 특이값 분해($A=QDP^{-1}$)는 행렬의 크기(m x n)와 상관없이 대각화가 가능합니다. m x n 행렬의 특이값(The Singular Values of an m x n Matrix) m x n 크기의 행렬 A의 특이값(singular values)은 $A..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.3 구속 최적화(Constrained Optimization) 구속 최적화는 이차 형식(Qudratic Form)에 제약 조건을 준것입니다. 이차 형식의 최대값과 최소값을 전체 영역에서 찾는 것이 아니라 제약조건 내에서 찾는 것입니다. 이차 형식에 다음과 같은 제약 조건을 줍니다. 이는 Q(x) = $x^TAx$에서 $x^Tx$=1 을 의미합니다. 예시 문제 이차 형식과 제약 조건이 주어지고 최대값과 최소값을 찾는 문제입니다. 이차 형식 제약 조건 $x^2_2$와 $x^2_3$은 nonnegative이므로 다음이 성립합니다. 따라서 다음과 같이 됩니다. $x^Tx$ = 1..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 오랜만에 올려보는 선형대수학 포스팅입니다. 이차 형식(Quadratic forms) 이차 형식(Quadratic form)은 다음과 같이 정의됩니다. A는 nxn 크기의 대칭 행렬(symmetric matrix)이고 이차 형식의 행렬(the matrix of the quadratic form)이라고 불립니다. 대칭 행렬의 특징은 이전 포스팅에서 공부했었습니다. 간단히 요약하면, 대칭 행렬을 P와 D로 분해하면 P의 column이 A의 eigen vector로 이루어져 있고, 각 vector는 서로 직교한다는 것이었습니다. 그리고 이를 직교 대각화 가능이라고 불렀습니다. 이차 ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 대칭 행렬의 대각화는 선형대수학의 꽃인 SVD를 유도하기 위해 필요합니다. 대칭 행렬이 무엇이고 대칭 행렬을 대각화할때 나타나는 새로운 특성을 알아보도록 하겠습니다. 대칭 행렬(Symetric Matrix) 대칭 행렬은 행렬 A가 정사각 행렬(square matrix)이고, $A^T = A$를 만족하는 행렬입니다. 1) A가 정사각 행렬(square matrix) 2) $A^T = A$ 위 두 가지 조건을 만족하면 대칭 행렬입니다. 대칭 행렬의 예시를 살펴보겠습니다. 대칭 행렬이 아닌 경우입니다. 대각화(Diagonalization) 대칭 행렬의 대각화를 살펴보기 전에 이전에..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 드디어 5장의 마지막 부분인 최소자승법(Least-Squares Problems)에 대해 공부해 보겠습니다! 선형대수학 공부를 처음 시작할 때 언제 다 할 수 있을까라는 막막했는데, 꾸준히 해나가니까 끝이 보이네요ㅎㅎ 항상 꾸준히 하는것이 중요한 것 같습니다. Ax=b 문제를 풀 때 해가 없는 경우가 대부분입니다. 현실의 문제에는 여러가지 오차가 포함되어 있기 때문입니다. 이런 경우 b와 제일 근접한 x를 찾게됩니다. 이때 이용하는 방법이 최소자승법 입니다. 1. 최소자승법의 해(Least-Squares Solution) b-Ax를 가장 작게하는 x가 $\hat{x}$이며, ..

이번 포스팅에서는 그람슈미트 과정(Gram-Schmidt process)와 QR 분해(QR factorization)에 대해 공부해보겠습니다. 그람슈미트 과정은 임의의 부분공간(subspace)이 있을 때 그 subspace를 이루는 직교 기저(orthogonal basis)를 찾는 것입니다. 1. 그람슈미트 과정의 기본 아이디어(Basis idea for the Gram-Schmidt process) 2차원 공간 W = Span{$x_1, x_2$}라고 가정할 때, W에 대한 직교 기저(orthogonal basis) {$v_1, v_2$} 를 찾아보겠습니다. $v_1$ = $x_1$로 둡니다. 그리고 $v_2$는 $x_2$에서 $x_2$를 $x_1$에 projection 한 것을 빼주면 다음과 같이 ..

저번 포스팅에서 정사영이 무엇인지 간략하게 알아보았습니다. 이번에는 정사영에 대해 자세히 배워보도록 하겠습니다. 저번 시간에 배운 내용을 복습해보겠습니다. 벡터 y와 부분공간 W가 주어졌을 때, y를 서로 직교하는 두 개의 벡터 합으로 분해할 수 있다고 배웠습니다. 여기서 $\hat{y}$는 W 부분공간 안에 있으며 다음과 같이 구할 수 있습니다. 1. 이론 8 직교 분해 이론(The Orthogonal Decomposition Theorem) 벡터 y를 두 개의 벡터로 분해(decomposition)할 수 있으며 $\hat{y}$는 W 부분 공간안에 존재하고 z는 $W^{\perp}$에 존재합니다. 만약 {$u_1, ... ,u_p$}가 W의 직교 기저(orthogonal basis) 이면 $\hat{..

1. 직교 집합(Orthogonal Sets) 벡터의 집합 {$u_1, ... ,u_p$}이 존재할 때, 집합의 모든 벡터 쌍이 직교(orthogonal)이면 직교 집합이라고 합니다. 즉 $u_i\cdot u_j$ = 0 입니다. 직교 집합 {$u_1,u_2,u_3$}이 주어졌을 때, 각각의 벡터를 내적해보겠습니다. 이처럼 각각의 벡터 쌍의 내적은 0이 됩니다. 2. 이론 4 S가 non-zero 벡터들의 직교 집합이면 S는 선형 독립(linearly independent)이고, 직교 집합은 S를 span하는 기저(basis)입니다. 증명 S의 직교 집합의 선형 결합(linear combination)이 0이라고 가정하겠습니다. 양변에 $u_1$을 곱하겠습니다. 서로 다른 벡터의 내적은 직교이므로 0이 ..

이번 포스팅에서 내적(inner product), 길이(length), 직교성(orthogonality)에 대해 알아보도록 하겠습니다. 지금까지 Ax = b 형태의 방정식을 푸는 법을 배웠습니다. 하지만 실험 데이터로 수식을 세워 풀어보면 수식과 일치하는 경우가 거의 없습니다. 실험 데이터는 오차가 있을 수 밖에 없기 때문입니다. 이 경우에 b와 제일 가까이 있는 x를 찾아야 합니다. 이것이 제일 합리적인 방법입니다. 1. 내적(Inner Product) 직교성을 알아보기전에 먼저, 내적에 대해 알아보겠습니다. 동일한 $R^n$ 공간에서 두 개의 벡터가 주어졌습니다. u와 v의 내적은 다음과 같이 정의됩니다. 이는 $u^T$v를 의미합니다. 또한 두 벡터의 순서가 바뀌어도 됩니다. 두 벡터의 내적을 $u..