딥러닝 공부방

Mathematics for Machine Learning를 공부하고 정리한 포스팅입니다. 2.3 연립 방정식의 해(Solving Systems of Linear Equations) 다음과 같은 연립 방정식이 있습니다. $a_{ij}$는 실수, $b_i$는 상수, $x_j$는 미지수 입니다. 위 연립 방정식은 Ax=b로 간단히 표현할 수 있습니다. 이제 행렬 곱셈, 덧셈 과 같은 행렬 연산을 정의하고 위와 같은 연립 방정식을 푸는 방법과 역행렬을 찾는 방법을 알아보겠습니다. 2.3.1 특수해와 일반해(Particular and General Solution) 아래와 같은 연립 방정식을 어떻게 푸는지 알아보겠습니다. 2개의 방정식과 4개의 미지수로 이루어진 연립 방정식입니다. 방정식의 개수보다 미지수의 개..

Mathematics for Machine Learning 원서를 정리한 포스팅입니다. 공부 목적으로 중요하다고 생각하는 부분만 요약했습니다. 2.2 Matrices(행렬) 행렬은 연립 방정식을 간단히 표현하기 위해 사용됩니다. 또한 선형 함수(linear mapping)을 표현합니다. (m, n)크기의 행렬입니다. m개의 행과 n개의 열로 이루어져 있습니다. $R^{mxn}$ 공간에 있는 행렬의 열을 쌓으면 $R^{nm}$ 공간에 있는 긴 벡터로 표현할 수 있습니다. 2.2.1 Matrix Addition and Multiplication(행렬 덧셈과 곱셈) (mxn) 동일한 크기의 두 행렬 A, B의 덧셈은 element-wise sum으로 정의됩니다. 행렬 곱셈은 element-wise operat..

Mathematics for Machine Learning 원서를 정리한 포스팅입니다. 공부 목적으로 중요하다고 생각하는 부분만 요약했으므로 많은 내용이 생략되었습니다. 2.1 연립 방정식(Systems of Linear Equations) 연립 방정식의 해는 no, exactly one, infinitely many solution을 갖습니다. 2차원 평면에서 연립 방정식의 해는 선, 점, empty를 얻습니다 3차원 평면에서 연립 방정식의 해는 평면(자유 변수가 3개), 직선(자유 변수 2개), 점(자유 변수 1개)를 갖습니다.

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 감마분포(Gamma Distribution) 감마분포는 지수분포의 일반화된 형태입니다. 두 개이상의 지수분포가 합쳐지면 감마분포가 됩니다. 확률 변수 X는 k개의 이벤트가 발생할 때까지 걸리는 시간으로 정의합니다. 그리고 시간과 관련되어 있으므로 항상 0보다 큰 값을 갖습니다. 감마분포의 확률밀도함수(pdf)는 다음과 같습니다. 모수(파라미터)는 람다와 알파를 지닙니다. 감마 확률밀도함수는 감마함수를 정의하여 사용합니다. 감마함수의 특성은 다음과 같습니다. 감마분포의 모수 모수는 확률분포의 모양을 결정하는 중요한 수..

Mathematics for Machine Learning 원서를 번역한 포스팅입니다. 영어 독해가 많이 부족합니다. 공부 목적으로 번역을 한것이므로 정확한 번역이 아니라는 점을 말씀드리고 싶습니다. 2. Linear Algebra 직관적인 개념을 공식화할 때, 가장 흔한 접근법은 기호들과 이 기호들을 다루는 규칙을 만드는 것입니다. 이는 대수학(algebra)로 알려져 있습니다. 선형 대수학(Linear algebra)는 벡터와 벡터를 조작하는 방법에 대한 공부입니다. 이 책에서 벡터는 x, y 와 같이 굵은 글씨로 나타냅니다. 벡터는 더해지고 스칼라로 곱해져 또 다른 벡터를 만듭니다. 벡터 덧셈과 스칼라 곱, 두 성질을 만족하면 벡터로 고려됩니다. 벡터의 예시를 살펴보겠습니다. 1. 기하학적인 벡터(..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 지수 분포(Exponential Distribution) 정규분포 다음으로 많이 쓰이는 지수분포입니다. 지수분포는 항상 시간을 떠올려야 합니다. 지수 분포는 이벤트 사이의 시간(이벤트 A와 이벤트 B 사이에 걸린 시간)을 모델링하는데 많이 이용합니다. 각 이벤트는 포아송분포에 의해서 생성됩니다. 지수 분포의 모수(parameter)는 람다($\lambda$) 입니다. 람다는 단위 시간동안 평균 이벤트 발생횟수를 의미합니다. 포아송 분포의 모수와 동일합니다. 포아송 분포와 지수 분포는 밀접한 관계가 존재합니다. 이 둘..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 정규 분포(Normal Distribution) 정규분포는 가우시안 분포(Gaussian Distribution)으로 부르기도 합니다. 확률 변수 X가 정규 확률 변수거나 정규 분포를 따를 때, 확률 밀도 함수(pdf)는 다음과 같습니다. 모수(parameter)는 $\mu$(평균), $\sigma^2$(분산) 입니다. 모수는 확률 분포의 모양을 결정하는 중요한 수입니다. $\mu$ = 0, $\sigma$ =1 일때, 정규 분포는 다음과 같습니다. 위 분포에서 모수가 바뀌게 되면 분포의 위치와 모양이 변경됩니다. ..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 일양 분포(Uniform Distribution) 일양 분포는 확률 변수 X가 구간 $\alpha, \beta$에서 균일한 확률을 지니고 있습니다. 확률 밀도 함수는 다음과 같이 정의합니다. 연속형 확률 분포의 총합(면적)은 1이 되어야 합니다. 구건 $\alpha, \beta$ 사이에 일정한 확률을 갖고, 면적이 1이 되야 하므로 확률은 1/($\beta - \alpha$가 됩니다. 일양 분포의 cdf는 세 가지 구간으로 나눠서 살펴볼 수 있습니다. 일양 분포의 기대값과 분산 기대값과 분산은 다음과 같이 정의합니다..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. Reduced SVD A 행렬을 SVD하면 다음과 같이 됩니다. 위 행렬은 대각 행렬인 D를 포함하는데, D 행렬은 대각 요소가 특이값(singular value)로 이루어진 rxr 크기의 행렬입니다. r행,열 까지는 특이값으로 이루어져있고, r+1 행과 r+1 열부터는 값이 0이 됩니다. U와 V가 r+1행, r+1열부터는 0과 곱해져 0이 되는 것입니다. 어차피 r을 초과하는 인덱스는 0과 곱해져 0이 되므로 U와 V행렬을 r까지만 표기한것이 Reduced SVD입니다. 유사역행렬(Pseudo inverse) 유사역행렬은 $A^+$를 정의해서 최소제곱법(leaset-squ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.4 특이값 분해(SVD, Singular Value Decomposition) 6.1 대칭행렬의 대각화에서 배웠던 대각화 이론은 많은 분야에서 적용할 수 있습니다. 하지만, 모든 행렬이 $A=PDP^{-1}$로 분해되지 않습니다. D가 대각행렬이기 때문에 A는 m x m 행렬이어야지 대각화를 할 수 있었습니다. 특이값 분해($A=QDP^{-1}$)는 행렬의 크기(m x n)와 상관없이 대각화가 가능합니다. m x n 행렬의 특이값(The Singular Values of an m x n Matrix) m x n 크기의 행렬 A의 특이값(singular values)은 $A..