[MML] ch 2.3 연립 방정식의 해(Solving Systems of Linear Equation) - 1

 

 Mathematics for Machine Learning를 공부하고 정리한 포스팅입니다. 

 

---

2.3 연립 방정식의 해(Solving Systems of Linear Equations)

 다음과 같은 연립 방정식이 있습니다.

 

 

 $a_{ij}$는 실수, $b_i$는 상수, $x_j$는 미지수 입니다. 위 연립 방정식은 Ax=b로 간단히 표현할 수 있습니다. 이제 행렬 곱셈, 덧셈 과 같은 행렬 연산을 정의하고 위와 같은 연립 방정식을 푸는 방법과 역행렬을 찾는 방법을 알아보겠습니다.

 

---

2.3.1 특수해와 일반해(Particular and General Solution)

 아래와 같은 연립 방정식을 어떻게 푸는지 알아보겠습니다.

 

 

 2개의 방정식과 4개의 미지수로 이루어진 연립 방정식입니다. 방정식의 개수보다 미지수의 개수가 많아 무수히 많은 해(infinitely many solution)를 예상할 수 있습니다. $\sum_{i=1}^{4} x_i c_i = b$를 만족하는 $x_1, ... ,x_4$를 찾아야 합니다. $c_i$는 행렬의 i번째 열입니다.

 

 행렬의 첫번째 열에 42를 곱하고 두 번째 열이 8을 곱하면 문제를 바로 풀 수 있습니다.

 

 

 해는 $[42, 8, 0, 0]^T$가 됩니다. 그리고 이 해를 특수해(particular solution)이라고 합니다.

 

 위 연립 방정식은 해가 하나만 있지 않습니다. 다른 모든 해를 구하기 위해 Ax=0 을 만족하는 x를 찾겠습니다. 아래와 같이 첫 번째, 두 번째 열을 사용하여 세 번째 열을 만들어 줄 수 있습니다.

 

 

 첫 번째 열에 8을 곱하고 두 번째 열에 2를 곱하면 세 번째 열이 됩니다. 그러면 다음과 같이 계산하면 0을 만족합니다.

 

 

 $c_1. ... c_4$는 각 열을 의미합니다. 그리고 Ax=0는을 만족하는 x는 다음과 같습니다.

 

 

 이 x에 스칼라$\lambda$를 곱해도 Ax=0을 만족합니다.

 

 

 위와 같은 방법으로 4번째 열을 첫 번째 열과 두 번째 열을 사용하여 표현할 수 있습니다. 그리고 Ax=0을 만족하는 x를 찾을 수 있습니다.

 

 

 Ax=0을 만족하는 두 x 집합을 구했습니다.

 

 두 x 집합과 특수해를 활용하여 Ax=b를 만족하는 x를 구할 수 있습니다.

 

 

 이를 일반해(general solution)이라고 합니다.

 

정리

 위 과정을 정리하면 3단계로 구성할 수 있습니다.

 

step 1. Ax=b의 특수해 찾기

step 2. Ax=0의 모든 해 찾기

step 3. step 1과 2의 해를 결합하여 일반해 만들기 

 

 위 예제는 행렬이 풀기 쉽게 주어져서 손쉽게 일반해를 구할 수 있었습니다. 하지만 일반적으로 일반해를 구하는 것은 쉽지 않습니다. 다음에 배울 것은 일반해를 구하기 위해 행렬을 간단한 형태로 바꿔주는 가우시안 소거법(Gaussian eliminateion)과 연립방정식의 기초적인 변환을 배우겠습니다.