Independence, basis, and dimension

1. 선형 독립(Linear Independence)

■ 어떤 행렬이 \( m \times n \) 크기를 가지며, 행의 개수 < 열의 개수 \( m < n \)이라고 하자.

- \( m < n \)이면 미지수의 개수(\( n \))가 방정식의 개수(\(m \))보다 많은 경우

■ 이런 경우, 행렬 \( A \)에 대해 \( A \mathbf{x} = 0 \)에 대한 '0이 아닌 해가 존재'한다. 즉, 영공간(nullspace)가 존재한다.

■ 왜냐하면, \( m times n \) 행렬 \( A \)가 \( m < n \)인 경우, 소거법을 진행해 보면, 반드시 1개 이상의 free variable이 존재하며(정확히는 rank가 \( r \)이라면, \( n - r \)개의 free variable), free variable이므로 0이 아닌 값도 할당할 수 있다. 

■ 이러한 free variable에 0이 아닌 값을 설정하고 pivot variable에 대해 방정식을 풀면, \( A \mathbf{x} = 0 \)에 대해 0이 아닌 해가 존재. 즉, 영공간이 존재하는 것이다.

■ 사실, 이 결과는 \( A \mathbf{x} = 0 \)의 해가 자명해인 \( \mathbf{x} = 0 \) 말고도 존재한다는 것으로 이는 \( A \)의 열벡터와 \( \mathbf{x} \)의 선형 결합 결과가 0을 만들 수 있다는 것이며, \( A \)의 열벡터들이 선형 종속(dependent)임을 의미한다. 

- 즉,  \( A \mathbf{x} = 0 \)가 비자명해를 가진다는 것은 free variable이 존재하기 때문이며, 이는 \( A \)의 열벡터들이 선형 종속인 관계에 놓여 있기 때문이다. 

- 선형 종속이라는 것은 선형 결합 형태가 \( A \mathbf{x} \) \( c_1 x_1 + c_2 x_2 + \cdots + c_n x_n = 0 \)이 된다는 의미로 볼 수 있다.

■ 반면, \( c \)가 0인 경우를 제외하고, 선형 결합 \( c_1 x_1 + c_2 x_2 + \cdots + c_n x_n = 0 \Leftrightarrow A \mathbf{x} = 0 \)을 만들 수 없다면, 이는 열벡터들이 선형 독립 관계에 놓여 있기 때문이다.

- 이는 열벡터들이 모두 다른 방향을 가리키는 상황(= free variable이 존재하지 않는 상황)이므로, \( A \mathbf{x} = 0 \)을 풀기 위한 해가 자명해 \( \mathbf{x} = 0 \)밖에, 즉, 모든 \( c \)가 0이어야 하는 경우밖에 없다.

- \( A \mathbf{x} \)를 계수와 벡터의 내적 혹은 행렬곱으로 보면 \( c_1, c_2, \cdots, c_n \)

■ 정리하면, 벡터 \( x_1, x_2, \cdots, x_n \)이 있을 때, 모든 계수(coefficient) \( c \)가 0인 경우를 제외하고, 어떠한 선형 결합으로도 0을 만들어 낼 수 없다면 벡터들은 독립 관계이다. 

■ 반대로 임의의 \( c_1, c_2, \cdots, c_n \)을 사용해서 선형 결합을 했을 때, 결과 값이 0이라면 벡터들은 종속 관계이다.

■ 예를 들어, 2차원 평면에 두 개의 벡터 \( v_1, v_2 \)가 있고 \( v_2 = 2 v_1 \)일 때, 두 벡터는 스칼라배 관계에 있으므로 종속이다.

- 벡터 뺄셈 관점으로 보면, 두 번째 벡터 \( v_2 \)에서 첫 번째 벡터 \( v_1 \) 2개를 빼면 0이 된다. 

- 즉, \(  v_2 + (-2) v_1 = 2v_1 - 2v_1 = 0 \). 선형 결합 결과 0이 되므로 두 벡터 \( v_1, v_2 \)는 종속 관계이다.

■ 이번에는 다음 그림과 같이 \( v_2 = 0 \)인 경우

 

이 경우도 \( 0 \cdot v_1 + v_2 = 0 \)이므로 \( v_1, v_2 \)는 종속 관계이다. 

■ 이번에는 독립인 경우이다. 예를 들어 \( A \)가 \( 2 \times 2 \)이고 pivot column이 2개. 즉, free column이 존재하지 않는다고 가정해 보자.

■ 그렇다면, \( A \)의 pivot variable은 2개이며 이는 \( A \)의 rank = 2라는 것이고 두 열벡터가 다음 그림과 같이 서로 다른 방향을 가리키고 있는 상황이다.

이렇게 벡터가 서로 다른 방향을 가리키면 계수가 0인 경우를 제외하고 어떠한 선형 결합을 통해서도 0을 만들 수 없다.

■ 이번에는 \( 2 \times 3 \) 크기를 가지는 행렬 \( A \)과 다음과 같을 때

열 관점에서 보면, 3개의 벡터 \( v_1, v_2, v_3 \)는 원소가 2개이므로 2차원 공간에 존재한다.

2개의 방정식과 3개의 미지수를 가지므로 \( m < n \)인 상황. 즉, free variable이 존재하는 경우이다.

■ 0이 아닌 임의의 계수를 \( c_1, c_2, c_3 \)이라고 했을 때, 선형 결합 \( c_1 v_1 + c_2 v_2 + c_3 v_3 \)의 결과가 0이 된다면, 행렬 \( A \)의 열벡터는 종속. 결과가 \( \neq 0 \)이라면 \( A \)의 열벡터는 독립

- 실제로 이 예시의 경우 \( c_1 = -0.7428, c_2 = 0.5571, c_3 = 0.3714 \)인 경우 \( c_1 v_1 + c_2 v_2 + c_3 v_3 = 0 \)이므로 종속이다.

■ 정리하면, 열의 개수가 \( n \)인 행렬 \( A \)에 대해

- ① 행렬의 랭크가 \( \text{rank} = n \)이라면,

- free variable이 존재하지 않으며 영공간은 \( N(A) = \left\{ 0 \right\} \). 즉, 자명해를 갖는다. 

- \( N(A) = \left\{ 0 \right\} \)이라는 것은 어떠한 선형 결합을 통해서도 0을 만들 수 없음을 의미하며, 이런 상황에 있는 벡터들을 선형 독립 관계에 있다.고 한다.

- ② 행렬의 랭크가 \( \text{rank} < n \)이라면,

- 적어도 1개의 free variable이 존재하며 \( A \mathbf{x} = 0 \)에서 비자명해를 갖는다.

- 비자명해를 갖는다는 것은 어떠한 선형 결합을 통해서도 0을 만들 수 있음을 의미하며, 이런 상황에 있는 벡터들을 선형 종속 관계에 있다.고 한다.

 

2. 생성(Span)

■ 벡터 \( v_1, v_2, \cdots, v_n \)이 어떤 공간을 생성(sapn)한다의 의미는 벡터 \( v_1, v_2, \cdots, v_n \)의 가능한 모든 선형 결합으로 공간을 형성하는 것을 의미한다. 

[개념] 벡터 공간

[개념] 벡터 공간

 

3. 기저(Basis)

■ 기저 벡터는 선형 독립 관계에 있으며, 공간을 생성(span)하는 벡터이다.

■ 예를 들어 3차원 공간 \( \mathbb{R}^3 \)의 기저 중, 가장 간단한 기저는 \( [1 0 0]^T, [0 1 0]^T, [0 0 1]^T \)이다. \( v_1 = [1 0 0]^T, v_2 = [0 1 0]^T, v_3 = [0 0 1]^T \)이라 한다면

이 3개의 벡터는 서로 다른 방향을 가리킨다. 즉, 어떠한 실수배를 통해서 서로를 만들어 낼 수 없으므로 독립 관계이다. 그러므로 이 3개 벡터의 선형 결합으로 전체 공간인 3차원 \( \mathbb{R}^3 \)을 포함하여, 3차원 공간상의 어떠한 벡터도 만들어 낼 수 있다. 그리고 이 기저가 3차원 공간의 유일한 기저는 아니며, 다른 기저들도 존재한다.

■ \( N \)차원 공간 \( \mathbb{R}^N \)에 대해 \( n \)개의 벡터가 존재할 때, 이 벡터들이 기저 벡터가 되기 위해서는 \( n \times n \) 정방행렬의 역행렬이 존재해야 한다.

- \( n \times n \) 정방행렬에서 역행렬이 존재한다는 것은 행렬식값이 \( \neq 0 \)이라는 것이며, 행렬식값이 \( \neq 0 \)이라는 것은 \( n \)개의 벡터들이 선형 독립인 관계에 놓여 있기 때문이다.

- 벡터가 선형 독립인 관계라면, 서로 다른 방향을 가리키므로 벡터들의 선형 결합을 통해 \( \mathbb{R}^N \) 공간상의 어떠한 벡터도 생성할 수 있다.

- 이렇게 벡터들이 선형 독립인 관계를 가지며 공간을 생성할 수 있으면, 이를 기저 벡터라 부른다. 

- 그러므로 \( n \times n \) 정방행렬이 가역행렬이라면, 기저 벡터의 개수는 \( n \)개가 된다. 즉, 수많은 기저가 존재한다. (정확히는 \( \mathbb{R}^N \)에서 \( n \)개의 기저 벡터를 갖는다.)

- 참고로 위의 3차원 예시에서 \( [1 0 0]^T, [0 1 0]^T, [0 0 1]^T \)같은 기저를 '표준 기저'라고 부른다. 표준기저는 기저 벡터 중에서도 원소의 값이 하나만 1이고 다른 원소는 0으로 이뤄진 기저 벡터를 의미한다.

■ 예를 들어 다음과 같은 행렬이 있을 때,

■ \( A \)의 각 열은 독립적일 수 없다. 왜냐하면 \( A \)의 행을 보면, 첫 번째 행과 두 번째 행이 동일하기 때문에(종속 관계이기 때문에)  \( A \)가 비가역행렬이기 때문이다. 

■ 이 행들은 명백히 종속적이며, 이는 열들을 종속적으로 만든다. 

4. 차원(Dimension)

■ 어떤 공간에 존재하는 모든 기저들은 같은 수의 벡터를 가진다. 이 벡터의 수가 바로 공간의 차원을 의미한다.

- 예를 들어 2차원이면 하나의 기저에는 2개의 벡터가, 3차원이면 하나의 기저에는 3개의 벡터가 존재한다.

cf) 벡터의 차원은 벡터를 이루는 원소의 개수를 의미한다.

4.1 열공간의 차원

■ 예를 들어, 다음과 같은 행렬 \( A \)가 있을 때

\( A = \begin{bmatrix} 
1 & 2 & 3 & 1 \\ 
1 & 1 & 2 & 1 \\ 
1 & 2 & 3 & 1 
\end{bmatrix} \)

■ col3은 co1과 col2의 선형 결합으로 col4는 col1로 만들 수 있으므로 첫 번째와 두 번째 열은 pivot column이고 나머지 열은 free column이다. 

■ 열벡터가 열공간 \( C(A) \)를 만든다는 것을 생각했을 때, 이 예시에서 열공간 \( C(A) \)의 기저는 독립 관계를 갖는 첫 번째 열과 두 번째 열이다. 

- col1과 col2는 열공간을 생성하고 독립이므로 열공간의 기저라고 할 수 있다.

■ 이 예에서 pivot columns의 수가 2이다. 

2 = # of pivot columns = rank(A) = dimension of C(A)가 성립한다.

■ 즉, 어떤 행렬 \( A \)의 랭크는 행렬 \( A \)의 열공간 \( C(A) \)의 차원이다. \( \text{dim}(C(A)) = \text{rank} (A) \)

- 그리고 열공간의 기저는 독립인 열벡터가 어떤 것이냐에 따라 열공간의 기저는 달라질 수 있다.

- 이 예에서도 [col1, col2]가 아닌 [col1, col3]이나 [col2, col3]의 조합이 열공간의 기저가 될 수 있다.

4.2 영공간의 차원

■ 이 예시에서 free column(세 번째 열과 네 번째 열)에 대응되는 free variable 두 개를 1과 0으로 번갈아 설정하면 다음과 같이 두 개의 특수해를 구할 수 있다.

\( N(A) =
\left\{
\begin{bmatrix} -1 \\ -1 \\ 1 \\ 0 \end{bmatrix}, 
\begin{bmatrix} -1 \\ 0 \\ 0 \\ 1 \end{bmatrix}
\right\} \)

■ 이 예에서 위와 같이 영공간은 2차원이며, 영공간의 차원은 free variable의 수이다. 

■ \( A \)의 랭크가 \( \text{rank} = r \)이라고 했을 때, free variable의 수는 \( n - r \)이다.

■ 즉, \( \text{dim}(N(A)) = n - r\)

영공간(해공간)과 차원 정리 [개념] 행렬의 기본 공간과 차원 정리 

[개념] 행렬의 기본 공간과 차원 정리