이번 포스팅에서는 고유벡터와 고유값에 대해 알아보겠습니다.
고유값 - eigenvalue
고유벡터 - eigenvector
고유공간 - eigenspace
1. 고유값과 고유벡터의 기본 아이디어
행렬 A, u, v가 다음과 같이 주어졌을 때 곱셈 결과를 시각적으로 표현해 보겠습니다.
Av의 결과는 동일한 line에 solution이 존재하도록 결과가 나왔습니다.
이것이 Eigenvalue와 Eigenvector의 기본 idea입니다.
2. 고유벡터 - Eigenvector
고유벡터를 정의하면 다음과 같습니다.
Ax = $\lambda$x를 만족하는 nonzero vector x가 eigenvector입니다.
또한, Ax = $\lambda$x에서 x가 nontrivial solution이 존재할 때 scalar $\lambda$가 eigenvalue가 됩니다.
여기서 x를 $\lambda$에 상응하는 eigenvector이라고 합니다.
예시 문제 1
행렬 u와 v가 A의 eigenvector인지 판단하는 문제입니다.
Ax = $\lambda$x를 만족하는지 확인하면 됩니다.
u는 A의 eigenvector, -4는 A의 eigenvalue가 됩니다.
v는 A의 eigenvector가 아닙니다.
예시 문제 2
7이 A의 eigenvalue인지 파악하고 그에 해당하는 eigenvector을 찾는 문제입니다.
A는 위 예시 문제와 동일한 행렬로 주어졌습니다.
이 식을 만족해야 7이 eigenvalue가 성립합니다.
여기서 x는 nonzero vector가 되어야 합니다.
이 식이 nontrivial solution이 존재하는지 파악하면 됩니다.
nontrivial solution을 파악하기 위해 zero vector를 포함한 augmented matrix를 row reduction 후에 free variable이 존재하는지 파악하면 됩니다.
$x_2$가 free variable입니다.
$x_2$로 표현한 general solution은 다음과 같습니다.
nontrivial solution이 존재하므로 7은 A의 eigenvalue가 성립됩니다.
3. 고유공간 - Eigenspace
$\lambda$가 A의 eigenvalue이면 (A-$\lambda$I)x=0은 nontrivial solution을 갖습니다.
$\lambda$에 해당하는 A의 eigenspace는 A-$\lambda$I 행렬의 null space입니다.
eigenspace는 zero vector와 $\lambda$에 해당하는 eigenvectors 두 가지를 포함합니다.
zero vector는 eigenvector에 포함되진 않지만 eigen space에 포함됩니다.
예시 문제
행렬 A가 다음과 같이 주어졌을 때 $\lambda$ = 2에 해당하는 eigenspace를 찾고 basis를 찾는 문제입니다.
homogeneous equation에서 nontrivial solution이 존재하는지 판단하기 위해 augmented matrix를 만들고 row reduction을 통해 free variable이 존재하는지 파악해보겠습니다.
$x_2, x_3$이 free variable입니다.
free variable을 이용해서 general solution을 표현하면 다음과 같이 됩니다.
두 개의 vector는 independent vector이며 eigenvector입니다.
두 vector가 independent set이므로 basis는 다음과 같습니다.
4. 행렬 A에 의한 곱셈 - Multiplication by A
3차원 공간에 $\lambda$=2에 대한 eigenspace가 주어졌다고 가정하겠습니다.
eigenspace는 zero vector와 eigenvectors를 포함합니다.
eigenspace에 존재하는 임의의 vector 4개를 선택해서 행렬 A 곱을 하면
크기가 2배씩 늘어나게 됩니다.
5. 이론 1 - Theorem 1
triangular matrix의 eigenvalues는 diagonal term입니다.
증명
(1) A가 upper triangular matrix인 경우
A-$\lambda$I는 다음과 같습니다.
위 방정식에서 nontrivial solution이 존재해야 합니다.
이는 free variavle이 존재한다는 것을 의미하므로 pivot position이 0이 되어야합니다.
따라서 $\lambda$는 $a_{11}, a_{22}, a_{33}$이 될 수 있습니다.
$\lambda$의 개수는 n개 이하가 되야하므로 3개 이하가 되어야 합니다.
(2) A가 lower triangular matrix인 경우
A와 $A^T$가 동일한 eigen value를 갖고 있다는 것을 증명하면 됩니다.
$\lambda$I가 digonal term만 존재하므로 다음의 식이 성립합니다.
$(A-\lambda I)^T$ = $A^T$ - $(\lambda I)^T$
A-$\lambda$I는 free variable이 존재하고 lower triangular matrix이므로 det = 0이 되어 not invertible이 됩니다.
역행렬의 성질에 의해 $(A-\lambda I)^T$도 not invertible이 됩니다.
따라서 $(A^T - \lambda I)$도 not invertible이 됩니다.
A 행렬을 transpose하여도 diagonal term은 변하지 않으므로 A와 $A^T$는 동일한 eigenvalue를 갖게 됩니다.
6. 고유값이 0
A의 eigenvalue가 0이면 A는 not invertible입니다.
eigenvector는 nonzero vector이어야합니다.
eigenvalue는 0이 되어도 됩니다.
Ax=$\lambda$에서 $\lambda$ = 0 이면 Ax=0인 homogeneous equation이 됩니다.
이 homogeneous equation이 nontrivial solution이 존재하면 eigenvector가 존재합니다.
따라서 $\lambda$ = 0인 경우에도 eigenvector는 존재하게 됩니다.
7. 이론 2 - Theorem 2
nxn 행렬 A의 별개의 eigenvalue에 해당하는 eigenvector는 linearly independent set입니다.
증명
{$v_1, ... , v_r$}이 linearly dependent이고, $v_1$이 nonzero라고 가정하겠습니다.
1장에서 배운 linearly dependent sets의 성질에 의해 $v_{p+1}$는 다음과 같이 표현할 수 있습니다.
여기서 A를 곱하면 다음과 같습니다.
Av = $\lambda$v이므로 아래와 동일하게 표현할 수 있습니다.
이 두식을 빼면 다음과 같습니다.
$\lambda$는 distinct이므로 $\lambda_1 - \lambda_{p+1}$는 nonzero가 됩니다.
따라서 $c_1, ... , c_p$가 무조건 0이 되어야 합니다.
이는 trivial solution밖에 존재하지 않다는 말과 동일합니다.
따라서 처음에 linearly dependent로 가정했던 것과 모순이 됩니다.
즉, distinct eigenvalue가 주어지고 그에 해당하는 eigenvector set은 무조건 linearly independent set이 됩니다.
David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다.
