CH6 - Eigenvalues and Eigenvectors

1 Introduction to Eigenvalues §

앞의 챕터가 $Ax=b$의 문제를 해결하는 거라면, 여기서는 변화에 대한 이야기임. Eigenvector로 해결하려는 것은 문제를 단순하게 푸는 것임. 가령 어떤 벡터에 대한 답이 그 벡터에 단순히 크기만 곱하게 된다면 문제를 쉽게 풀 수 있게 됨.

가령 벡터의 제곱을 구한다면, 제곱을 계속하면 eigenvector에 가까워짐

$$\begin{array}{c}\begin{array}{r}A,A^2,A^3=\left[\begin{array}{cc}.8& .3\\ .2& .7\end{array}\right]\left[\begin{array}{cc}.70& .45\\ .30& .55\end{array}\right]\left[\begin{array}{cc}.650& .525\\ .350& .475\end{array}\right]A^{100}\approx \left[\begin{array}{cc}.6000& .6000\\ .4000& .4000\end{array}\right]\end{array}\end{array}$$

eigenvalue를 이용하면 100제곱을 하는게 아니라 한방에 찾을수 있다.

아직은 무슨소리인지 제대로 감이 안오지만 일단 알아보자

eigenvector의 정의

어떤 matrix $A$를 벡터 $x$에 곱해도 그 방향이 변하지 않는 벡터.

$Ax=\lambda x$

$\text{where }\lambda \text{ is an eigenvalue of A}$

일반적으로 2by2 메트릭스의 경우 두개의 eigenvalue를 가짐. 하지만 eigenvalue가 0 이나 1이 될 수도 있음. 그러면 아래와 같은 경우가 발생함

unusual case of $\lambda$

1. $\lambda =1->Ax=x$
2. $\lambda =0->Ax=0(nullspace)$

nullspace는 뭔지 아직 모르니 일단 넘어가자

unusual한 경우는 일단 제끼고 이 챕터에서는 $det(A-\lambda I)=0$ 인 내용을 주로 다룬다. $det(A-\lambda I)=0$ 이 성립하는 이유는 나중에 유도한다. 우선 예시를 통해 $\lambda$를 구해본다

예시1. 메트릭스  A의 eigenvalue 구하기. $det(A-\lambda I)=0$

$$A=\left[\begin{array}{cc}.8& .3\\ .2& .7\end{array}\right]det\left[\begin{array}{cc}.8-\lambda & .3\\ .2& .7-\lambda \end{array}\right]={\lambda }^2-\frac{3}{2}\lambda +\frac{1}{2}=\left(\lambda -1\right)\left(\lambda -\frac{1}{2}\right)$$

위 식을 풀면 $\lambda =1$,$\lambda =\frac{1}{2}$를 구할 수 있다. 이를 Eigen vector의 정의에 대입해보면 $A-\lambda I$는 Singular가 된다. 그러면 $x_1,x_2$는 각각 $A-I,A-\frac{1}{2}I$의 nullspace에 놓이게 된다.

• $(A-I)x_1=0$ -> $A{x}_1=x_1$이 되서 첫번째 Eigenvector는 $(.6,.4)$
• $(A-\frac{1}{2}I)x_2=0$ -> $A{x}_2=\frac{1}{2}{x}_2$이 되서 첫번째 Eigenvector는 $(1,-1)$
• 이 내용을 Eigen vector의 정의에 대입하면
• $x_1=\left[\begin{array}{c}.6\\ .4\end{array}\right]$ -> $A{x}_1=\left[\begin{array}{cc}.8& .3\\ .2& .7\end{array}\right]\left[\begin{array}{c}.6\\ .4\end{array}\right]=x_1$
• $x_2=\left[\begin{array}{c}1\\ -1\end{array}\right]$ -> $A{x}_2=\left[\begin{array}{cc}.8& .3\\ .2& .7\end{array}\right]\left[\begin{array}{c}1\\ -1\end{array}\right]=\left[\begin{array}{c}.5\\ -.5\end{array}\right]$

Question $x_1$이 꼭 $(.6,.4)$ 이여야 하나. 식을 풀이해보면 큰값도 가능해 보이는데. 일단 제낀다

크기가 다른(평행한) eigenvector를 써도 상관없음. Resonable하면 됨. 현재 챕터에서 $\left[\begin{array}{c}.6\\ .4\end{array}\right]$외 다른걸 고르면 수렴하는 모습을 보여 줄 수 없음

¹

그래서 위 식이 의미하는게 무엇인가. Eigen vector의 정의에다가 양변에 $A$를 곱하면 유도되는 성질이기도 하지만 적어보면 아래와 같다

1. $A^n$을 해도 eigenvector는 변하지 않는다. 다시말하면 방향은 그대로다
2. $A^n$을 하면 eigenvalue는 ${\lambda }^n$이 된다. 원문에는 그림으로 설명되어 있지만 저작권 문제가 있을거 같아 캡쳐는 하지 않는다.

A의 첫번째 column을 두 eigenvector의 linear combination으로 표현해서 곱하기를 계속해보면(방향이 변하지 않을때 계산이 편리함을 보여주고 싶은 듯)

$$\left[\begin{array}{c}.8\\ .2\end{array}\right]=x_1+(.2)x_2=\left[\begin{array}{c}.6\\ .4\end{array}\right]+\left[\begin{array}{c}.2\\ -.2\end{array}\right]$$

그렇다면 아래와 같은 식이 성립함

$$A\left[\begin{array}{c}.8\\ .2\end{array}\right]=A{x}_1+.2A{x}_2=x_1+.2\frac{1}{2}{x}_2=\left[\begin{array}{c}.6\\ .4\end{array}\right]+\left[\begin{array}{c}.1\\ -.1\end{array}\right]=\left[\begin{array}{c}.7\\ .3\end{array}\right]$$

이 과정을 반복하면 아래와 같아짐. 다시 쓰면 두 칼럼중 왼쪽 칼럼이 결국 eigenvector로 수렴함을 보여주고 싶었던 것으로 보임. 하지만 오른쪽 칼럼도 마찬가지로 수렴하게 될 것임

$$A^{99}\left[\begin{array}{c}.8\\ .2\end{array}\right]=A{x}_1+.2A{x}_2=x_1+.2{\left(\frac{1}{2}\right)}^{99}{x}_2=\left[\begin{array}{c}.6\\ .4\end{array}\right]+\left[\begin{array}{c}very\\ small\\ vector\end{array}\right]$$

굉장히 유용한 방식으로 보임.

$x_1$은 안정적인 상태($\lambda =1$)이고 $x_2$는 점차 줄어드는(decay($\lambda =0.5$)) 상태임.

위 $x_1$과 같이 안정적인 상태의 eigenvalu와 eigenvector를 가질 때 $\text{matrix }A$를 Markov matrix라고 하며 이 내용은 나중에 다룬다

Projection matrix를 $P$라 하면 $P=\left[\begin{array}{cc}.5& .5\\ .5& .5\end{array}\right]$ eigenvalue는 $\lambda =1,\lambda =0$

그렇다면 위 조건을 통해 eigenvectors 를 구해보면 $x_1=(1,1)$ ,$x_2=(-1.1)$이 된다. 이 경우를 통해 Markov matrices, singular matrices, symmetric matrices를 알 수 있다. 그러니까 $P$가 이 세 속성을 가지는 친구라는 얘기래. $P$를 기준으로 이 세가지를 설명하면 이렇다:

1. Markov matrix : $P$의 각 column의 값을 더하면 1이 된다. 그래서 $\lambda =1$이 된다
2. $P$는 singular하다. 그래서 $\lambda =0$이 된다
3. $P$는 Symmetric하다. 그렇기 때문에 $x_1=(1,1)$, $x_2=(-1.1)$이 직교한다

위에서 Markov matrix부분이 잘 이해가 안가서 직접 풀어보면 아래와 같다.

$$\begin{array}{rlrl}P=& \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\text{where a+c=b+d=1}& & \\ & \text{by definition of getting eigenvector and eigenvalue}& & \\ Px& =\lambda x& & \\ (P-\lambda I)x& =0& & \\ \left[\begin{array}{cc}a-\lambda & b\\ c& d-\lambda \end{array}\right]x& =0& & \\ \text{as }det(A)& =0& & \\ & =(a-\lambda )(d-\lambda )-bc& & \\ & ={\lambda }^2-(a+d)\lambda +ad-bc& & \\ & \text{By Solution of quadratic equation}& & \\ \lambda & =\frac{a+d\pm \sqrt{(a+d{)}^2-4(ad-bc)}}{2}& & \\ & =\frac{a+d\pm \sqrt{(a-d{)}^2+4bc}}{2}& & \\ & =\frac{a+d\pm \sqrt{(b-c{)}^2+4bc}}{2}& & \\ & =\frac{a+d\pm (b+c)}{2}& & \\ & =1,\frac{a-b-c+d}{2}& & \\ & \therefore \lambda =1,\frac{a-b-c+d}{2}& & \end{array}$$

#eigenvalue#eigenvalue#linearalgebra

Footnotes §

1. 21. Eigenvalues and Eigenvectors_, (2019). Accessed: Oct. 29, 2023. [Online Video]. Available: https://www.youtube.com/watch?v=cdZnhQjJu4I
   ↩