Similar matrices and Jordan form

1. 닮음 행렬(Similar Matrix)

■ \( n \times n \) 행렬 \( A \)와 \( B \)가 있다고 하자. 그리고 역행렬이 가능한 행렬 \( M \)이 있다고 했을 때,

■ '\( A \)와 \( B \)가 유사하다'의 의미는 '\( B = M^{-1} A M \)와 같다'라는 것이다.

■ 예를 들어, 어떤 행렬 \( A \)가 완전한 고유벡터 집합을 가지고 있다고 가정해 보자. 이 고유벡터들로 구성된 고유벡터 행렬 \( S \)를 이용하면 대각 원소가 고윳값인 행렬 \( \Lambda \)를 만들 수 있었다. \( S^{-1} A S = \Lambda \). 이것은 행렬 \( A \)와 행렬 \( \Lambda \)가 유사하다는 것을 말한다.

■ 이 예에서 \( A \)가 \( \Lambda \)와 유사한 이유는 고유벡터 행렬 \( S \)가 존재하기 때문이다.  

■ 하지만, \( B = M^{-1} A M \)에서 결과로 대각행렬이 나오지 않으며, 행렬 \( A \)와 유사한 행렬 \( B \)가 나올 것이다.

■ \( B = M^{-1} A M \)의 작업은 행렬 \( A \)와 \( B \)를 하나의 패밀리로 놓고 있는 것이다. 하나의 패밀리 내에 있는 모드 행렬은 서로 유사하다.

■ 즉, \( B = M^{-1} A M \)처럼 패밀리 내에 있는 각각의 행렬들은 어떤 행렬 \( M \)으로 연결되어 있다. 그리고 어떤 행렬 \( M \)으로 연결된 패밀리 내에 있는 행렬들 중 가장 간단하고 깔끔한 행렬은 \( \Lambda \) 행렬이다. 

■ 예를 들어 행렬 \( A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \)가 있다고 하자. 이 행렬의 고윳값은 \( \lambda = 3, 1 \)이다. 

- '행렬식값 = 3 = 두 고윳값의 곱' 그리고 '대각합 = 4 = 두 고윳값의 합'이므로 고윳값은 1과 3

- 그러므로 \( \Lambda \) 행렬은 \( \Lambda = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \)

■ 그리고 행렬 \( M \)을 임의로 \( M = \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix} \)라고 하자.

■ 그렇다면 \( M^{-1} A M = \begin{bmatrix} 1 & -4 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} = B \)

■ 여기서 \( 2 \times 2 \)라는 점 외에, 행렬 \( A \)와 \( M^{-1} A M \)으로 만들어진 행렬 \( B \)의 공통점은 모두 같은 값의 고윳값을 가지고 있다는 점이다. 더 정확하게는 두 행렬 \( A \)와 \( B \)는 같은 고윳값을 가지고 있다.

- \( A \)의 고윳값은 1과 3이었다.

- \( B \)의 행렬식값은 3이고, 대각합은 4이므로 \( B \)의 고윳값도 1과 3이다.

■ 즉, 닮음 행렬은 같은 고윳값을 가지고 있다. 

■ 그러므로 '닮음 행렬은 같은 고윳값을 가지고 있다.'를 이용하면, 행렬 \( A \)와 서로 닮은(similar) 행렬들을 찾을 수 있다. 고윳값으로 3과 1을 갖는 \( 2 \times 2 \)행렬들이 행렬 \( A \)와 서로 닮은 행렬이다.

- 예를 들어 \( A \)와 서로 닮은 행렬로 고윳값이 3과 1인 \( \begin{bmatrix} 3 & 7 \\ 0 & 1 \end{bmatrix}, \begin{bmatrix} 1 & 7 \\ 0 & 3 \end{bmatrix} \)등이 있고 이 행렬들을 \( A \)와 연결하는 어떤 행렬 \( M \)이 있을 것이다.

- 물론 \( A \)와 서로 닮은 행렬 중 가장 중요한 행렬은 대각행렬 \( \Lambda \)이다. 

■ 서로 닮은 행렬들은 왜 모두 동일한 고윳값을 공유할까? 이것은 \( A \mathbf{x} = \lambda \mathbf{x} \)에서 시작한다. \( A \)가 고윳값 \( \lambda \)를 가졌다고 가정해 보자.

■ 여기서 확인할 것은 \( B = M^{-1} A M \)의 고윳값을 확인하는 것이다. 

■ \( A \mathbf{x} = \lambda \mathbf{x} \)의 좌변에서 \( A \)와 \( \mathbf{x} \)사이에 \( I = M^{-1} M \)을 넣을 수 있다. 그러면 \( A \mathbf{x} = \lambda \mathbf{x} \Leftrightarrow AMM^{-1} \mathbf{x} = \lambda \mathbf{x} \)

■ 그다음, 양변의 좌측에 \( M^{-1} \)을 곱하면 \( M^{-1}AMM^{-1} \mathbf{x} = \lambda M^{-1} \mathbf{x} \). 그리고 \( M^{-1}AMM^{-1} \mathbf{x} = \lambda M^{-1} \mathbf{x} \Leftrightarrow B M^{-1} \mathbf{x} = \lambda M^{-1} \mathbf{x} \)로 나타낼 수 있다.

■ \( B M^{-1} \mathbf{x} = \lambda M^{-1} \mathbf{x} \)는 \( B \) 곱하기 어떤 벡터 \( M^{-1} \mathbf{x} \)가 \( \lambda \) 곱하기 어떤 벡터 \( M^{-1} \mathbf{x} \)와 같다.로 볼 수 있다. 그렇다면, 여기서의 \( \lambda \)는 \( B \)의 고윳값이다. 

■ 여기까지의 과정은 \( A \)가 고윳값 \( \lambda \)를 가졌다. 즉, \( A \mathbf{x} = \lambda \mathbf{x} \)에서 시작했으며, 위와 같이 좌변을 \( B M^{-1} \mathbf{x} \)로 만들면, \( B \)의 고윳값 \( \lambda \)가 \( A \)의 고윳값 \( \lambda \)임을 확인했다.

■ 그리고 \( A \)의 고윳값에 대응되는 고유벡터는 \( \mathbf{x} \)이고, \( B \)의 고윳값에 대응되는 고유벡터는 \( M^{-1} \)과 \( A \)의 고유벡터 \( \mathbf{x} \)의 곱임을 알 수 있다.

- 즉, \( M^{-1} \mathbf{x} \)가 \( B \)의 고윳값 \( \lambda \)에 대응되는 고유벡터

■ 이러한 점에서도 가장 중요한 닮은 행렬은 대각 행렬 \( \Lambda \)이다. \( A \)의 고윳값이 3과 1인 예시에서 \( \Lambda = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \). \( \Lambda \) 행렬의 고윳값은 3과 1이고, \( \Lambda \) 행렬의 고유벡터는 \( [1 \; 0] \)과 \( [0 \; 1] \)이다. 이렇게 대각화는 고유벡터를 깔끔하게 만들고 고윳값은 변하지 않게 하는 것을 확인할 수 있다. 

■ 정리하면, 행렬 \( A \)에서 \( M^{-1} A M \)을 적용해 만든 행렬 \( B \)가 있다면, 행렬 \( A \)와 행렬 \( B \)를 서로 닮은 행렬이라고 한다. 이때, \( A \)에서 \( B \)를 만들었을 때, 변하지 않는 것은 고윳값이다. 고윳값이 동일하다는 것은 '대각합 = 고윳값들의 합'과 '행렬식 값 = 고윳값들의 곱'이 동일하다는 것이므로, 고윳값이 변하지 않는다는 것은 대각합과 행렬식 값이 변하지 않는다는 것이다. 그리고 \( A \)와 \( B \)의 선형 독립인 고유벡터의 개수는 동일하며, 같은 계수(rank) 값을 갖는다.

달라지는 점은 고유벡터이다. 고유벡터의 개수는 동일하지만, 고유벡터는 달라진다. 그리고 \( A \)와 \( B \)의 열공간과 행공간이 다르다. 영공간과 행공간이 달라지므로 영공간과 left null space도 달라진다.

 

2. Jordan form

■ \( 2 \times 2 \)행렬에서 서로 다른 고윳값 3과 1을 가진 이 예시는 좋은 예시이다. 고윳값이 중근을 갖는다면, 고윳값이 동일하다면 조금 더 까다롭다. 왜냐하면 \( 2 \times 2 \) 행렬에서 두 고윳값이 같을 때, 나쁜 경우는 대각화를 할 수 없기 때문이다.

- 대각화하기 위해서는 서로 다른 고유벡터가 필요하다. 그 이유는 고유벡터 행렬 \( S \)는 가역행렬이어야 하는데, 이 \( S \)를 구성하는 벡터는 \( A \)의 고유벡터이므로, \( S \)가 가역이기 위해서는 서로 다른 고유벡터가 필요하다.

■ \( \lambda_1 = \lambda_2 = 4 \)라고 가정해 보자. 서로 닮은 행렬의 패밀리에 있는 행렬에 \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix}, \; \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)가 있다. 

■ 대각행렬 \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬에 대해서 유일하게 닮은 행렬은 그 자신 밖에 없다. 

- \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬은 단위행렬에 4배를 한 행렬이다.,

- \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬의 오른쪽에 어떤 행렬 \( M \)을 곱하고 왼쪽에 \( M^{-1} \)을 곱했을 때, 

- \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬에서 4를 빼면 단위행렬만 남게 되므로 \( 4 M I M^{-1} = I \)으로 \( M^{-1} \)과 \( M \)은 없어진다. 즉,  \( M^{-1} \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} M \) 결과로 다시 자기 자신인  \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬을 얻게 된다.

- 즉, \( M \)이 어떤 원소를 갖든, \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬의 패밀리의 다른 멤버를 더 이상 얻을 수 없다.

- 패밀리 내에서 행렬들은 서로 similar인데, 이 경우 패밀리 내에 오직 자기 자신만, 유일하게 similar한 행렬은 자기 자신 밖에 없다는 것이다. 

- 하지만, \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)은 그렇지 않다. 어떤 \( M \)을 이용해서 좌측과 우측에 \( M^{-1} \)과 \( M \)을 곱했을 때, \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \)처럼 자기 자신이 되지 않기 때문이다.

■ 그러므로 고윳값 \( \lambda = 4, 4 \)를 가진 행렬들의 패밀리는 두 개의 패밀리이다. 

■ 단, \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \) 행렬을 대각행렬 \( \Lambda \)로 만들 수 없다. 만약, 대각화가 가능하다면  \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \) 행렬은 \( \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} \) 행렬이 될 것이다.

■ \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \) 행렬이 대각화할 수 없는 행렬인 이유는 단 하나의 고유벡터만 존재하기 때문이다. 

■ \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)같은 행렬은 대각행렬은 아니지만 대각행렬에 가장 가까운 행렬이다. 그리고 고윳값이 동일하여 단 하나의 고윳값을 가지므로, 단 하나의 고유벡터만 존재하기 때문에 대각화할 수 없는 행렬이다. 이와 같이 완전한 대각행렬이 아니고 주대각선의 원소에는 하나의 동일한 고윳값을 가지며 주대각선 위에 원소 1이 위치한 행렬을 Jordan Matrix 또는 Jordan form이라고 부른다.

■ \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)와 같은 패밀리 내에 있는 행렬. 즉, \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)와 유사한 행렬은 \( \begin{bmatrix} 5 & 1 \\ -1 & 3 \end{bmatrix} \)이나  \( \begin{bmatrix} 4 & 0 \\ 17 & 4 \end{bmatrix} \)와 같은 대각합이 8이고 행렬식 값이 16이 되는 행렬들이다. 이 행렬들은 \( \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} \)처럼 하나의 고유벡터만 갖게 된다.

■ 즉, 서로 닮은 행렬들은 동일한 고윳값을 가지고, 동일한 개수의 고유벡터를 갖게 된다. 

■ 다른 예로 \( 4 \times 4 \)행렬 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)이 있다고 하자. 이 행렬의 고윳값은 \( \lambda = 0, 0, 0, 0 \)이다. 

■ 그리고 고윳값이 0이 되기 때문에 고유벡터는 영공간에 있다. 즉, 고유벡터는 \( A \mathbf{x} = 0 \mathbf{x} \)여야 한다. 

■ 이때, 영공간의 차원은 2이다. 이 \( 4 \times 4 \)행렬은 독립적인 행의 수는 2이고, 독립적인 열의 수는 2이다. 즉, 계수(rank)가 2이므로 영공간의 차원은 \( n - \text{rank} = 4 - 2 = 2 \)이다. 그래서 이 행렬은 2개의 서로 독립인 고유벡터를 가지고 있다. 

■ 이 예시 행렬의 1행 3열을 7로 바꾼다고 해보자. \( \begin{bmatrix} 0 & 1 & 7 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \). 이 행렬의 고윳값은 여전히 0이다. 그리고 행렬의 계수도 여전히 2이다. 그러므로 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)과 \( \begin{bmatrix} 0 & 1 & 7 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)은 서로 닮은 행렬이다.

■ 그러나 jordan matrix는 \( \begin{bmatrix} 0 & 1 & 7 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)이 아닌 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)와 같은 형태이다. jordan matrix는 대각선 위에 누락된 고유벡터마다 1을 넣었다. 

■ \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \) 예시에서도 \(4 \times 4 \)인데 두 개의 고유벡터를 가지고 있다. 즉, 두 개의 고유벡터가 누락된 상황이다.

■ 이번에는 3열의 1을 옮겨서 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix} \) 행렬이 있다고 하자. 이 행렬의 고윳값도 마찬가지로 \( \lambda = 0, 0, 0, 0 \). 4개의 0이다. 그리고 계수도 2이다. 그러므로, 이 행렬은 2개의 고유벡터와 2개의 누락된 고유벡터를 가지고 있다. 

■ 그러나 문제는 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)행렬이 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \)과 서로 닮은 행렬이 아니다. 고유벡터의 수는 이 두 행렬이 서로 달은 행렬인 것처럼 보이지만, 그렇지 않다.

■ jordan은 \( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \) 행렬은 \( \begin{bmatrix} 0 & 1 & 0 & | \;0 \\ 0 & 0 & 1 & | \; 0 \\ 0 & 0 & 0 & | \;0 \\ \hline  0 & 0 & 0 & | \; 0\end{bmatrix} \)으로 \( 3 \times 3 \)의 block과 \( 1 \times 1 \) block으로,

\( \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix} \) 행렬은 \( \begin{bmatrix} 0 & 1 & | \; 0 & 0 \\ 0 & 0 & | \; 0 & 0 \\ \hline 0 & 0 & | \; 0 & 1 \\ 0 & 0 & | \; 0 & 0 \end{bmatrix} \)으로 \( 2 \times 2 \) block과 \( 2 \times 2 \) block으로 보았다. 이 블록들을 jordan block이라고 한다.

■ jordan block은 다음과 같이 대각선에 고윳값 \( \lambda_i \)가 반복되고. 대각선 바로 위의 원소는 1이 있으며, 나머지 원소는 모두 0인 형태이다. 즉, jordan block은 단 하나의 고유벡터만 존재한다. 

\( \begin{equation*}
J_i = \begin{bmatrix}
    \lambda_i & 1 & 0 & \cdots & 0 \\
    0 & \lambda_i & 1 & \cdots & 0 \\
    0 & 0 & \lambda_i & \cdots & 0 \\
    \vdots & \vdots & \vdots & \ddots & 1 \\
    0 & 0 & 0 & \cdots & \lambda_i
\end{bmatrix}
\end{equation*} \)

■ \( \begin{bmatrix} 0 & 1 & | \; 0 & 0 \\ 0 & 0 & | \; 0 & 0 \\ \hline 0 & 0 & | \; 0 & 1 \\ 0 & 0 & | \; 0 & 0 \end{bmatrix} \)은 왼쪽 상단의 \( 2 \times 2 \) block에서 고유벡터 한 개, 우측 하단의 \( 2 \times 2 \) block에서 고유벡터 한 개를 가져 총 두 개의 고유벡터를 가진다.

\( \begin{bmatrix} 0 & 1 & 0 & | \;0 \\ 0 & 0 & 1 & | \; 0 \\ 0 & 0 & 0 & | \;0 \\ \hline  0 & 0 & 0 & | \; 0\end{bmatrix} \)은 왼쪽 상단의 \( 3 \times 3 \) block에서 고유벡터 한개, 우측 하단의 \( 1 \times 1 \) block에서 고유벡터 한 개를 가져 총 두 개의 고유벡터를 가진다. jordan from은 이렇게 jordan block으로 나눠지는 것을 말한다.

■ 이 예시에서  두 행렬의 block들은 서로 다른 크기를 가지고 있다. 

■ jordan은 이렇게 두 행렬의 block들은 서로 다른 크기를 가지면, 두 행렬은 서로 닮은 행렬이 아니다라고 밝혀냈다. 

■ jordan's theorem은 '모든 정사각형 행렬 \( A \)는 jordan matrix \( J \)와 similar하다.'이다.

jordan matrix는 \(
J =
\begin{bmatrix}
J_1 & 0 & \cdots & 0 \\
0 & J_2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & J_d
\end{bmatrix}
\) 이렇게 jordan block1, jordan block2, ... , jordan block d 등으로 이루어진 행렬이다.

- \( J_1 \)이 jordan blcok1, \( J_2 \)는 jordan block2, \( J_d \)는 jordan blcok d

■ jordan block의 형태는 대각선에 고윳값들이 위치하며 대각선 위에 원소로 몇 개의 1들이 있다. 

■ 그리고 jordan block의 수는 고유벡터의 개수와 같다. 왜냐하면 각 block마다 하나의 고유벡터를 얻기 때문이다. 

■ jordan의 아이디어를 요약하면, 어떤 행렬 \( A \)의 고윳값들이 모두 중복되지 않는 값을 가진다면, 이 행렬은 대각화 가능한 행렬이 된다. 이 경우에 jordan matrix는 대각행렬이 된다. 즉, 좋은 경우는 jordan matrix \( J \)가 \( \Lambda \) 행렬이 되는 경우이다. \( J = \Lambda \)

■ jordan은 위의 좋은 경우와 나쁜 경우인 반복되는 고윳값과 누락된 고유벡터의 경우를 포함하여 모든 경우를 다룬다.

보통 jordan form은 대각화 불가능한 행렬 \( A \)에 대해 jordan form \( J \)를 이용해서 \( A = M J M^{-1} \)로 대각화와 가까운 꼴로 분해하는데 사용한다.