딥러닝 공부방

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. Reduced SVD A 행렬을 SVD하면 다음과 같이 됩니다. 위 행렬은 대각 행렬인 D를 포함하는데, D 행렬은 대각 요소가 특이값(singular value)로 이루어진 rxr 크기의 행렬입니다. r행,열 까지는 특이값으로 이루어져있고, r+1 행과 r+1 열부터는 값이 0이 됩니다. U와 V가 r+1행, r+1열부터는 0과 곱해져 0이 되는 것입니다. 어차피 r을 초과하는 인덱스는 0과 곱해져 0이 되므로 U와 V행렬을 r까지만 표기한것이 Reduced SVD입니다. 유사역행렬(Pseudo inverse) 유사역행렬은 $A^+$를 정의해서 최소제곱법(leaset-squ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.4 특이값 분해(SVD, Singular Value Decomposition) 6.1 대칭행렬의 대각화에서 배웠던 대각화 이론은 많은 분야에서 적용할 수 있습니다. 하지만, 모든 행렬이 $A=PDP^{-1}$로 분해되지 않습니다. D가 대각행렬이기 때문에 A는 m x m 행렬이어야지 대각화를 할 수 있었습니다. 특이값 분해($A=QDP^{-1}$)는 행렬의 크기(m x n)와 상관없이 대각화가 가능합니다. m x n 행렬의 특이값(The Singular Values of an m x n Matrix) m x n 크기의 행렬 A의 특이값(singular values)은 $A..