본문 바로가기

분류 전체보기

 (176)
Projections onto subspaces ■ 투영행렬(projection matrix)을 알기 위해선 먼저 해가 존재하지 않는 선형연립방정식의 해를 구하는 방법을 알아야 한다. 정확히는 애초에 해가 없으므로 정확한 해를 구한다기 보다는 가장 근사한 해를 구하는 방법이다.- 이렇게 정확한 해가 없는 상태에서 가장 근사한 해를 구하는 것은 최소자승법(least square method), 투영행렬과 관련이 있다.1. Solving \( Ax = b \) when there is no solutin ■ \( A \mathbf{x} = b \)에서 행렬 \( A \)의 열공간에 우변 \( b \)가 존재하면 가해 조건을 만족하므로 해를 구할 수 있다. ■ 반면, \( A \mathbf{x} = b \)에서 행렬 \( A \)의 열공간에 우변 \( b ..
Orthogonal vectors and subspaces ■ 행공간(row space)는 어떤 행렬 \( A \)의 행벡터들의 선형 결합으로 만들 수 있는 모든 벡터들의 집합, 열공간(column space)는 열벡터들의 선형 결합으로 만들 수 있는 모든 벡터들의 집합을 의미한다.■ 영공간은 \( A \mathbf{x} = 0 \)을 만족시키는 모든 해집합 \( \mathbf{x} \)로 이뤄진 공간을, left nullspace는 \( A^T \)에 대한 영공간이며 \( A^T \mathbf{y} = 0 \)을 만족시키는 해집합 \( \mathbf{y} \)로 이뤄진 공간을 의미한다. ■ 이 4가지 부분공간들은 다음과 같은 수직 관계를 갖으며, 두 공간이 수직 관계를 갖는 것을 직교(orthogonal)한다.라고 표현한다. 행공간은 열공간과 직교하며, 열공간..
확률변수의 기댓값과 분산, 공분산, 상관계수 1. 확률변수의 기댓값1.1 기댓값의 개념■ 확률변수의 기댓값은 '확률변수의 결과 값을 그 확률변수의 확률뷴포를 가중치로 평균한 값'으로 이산형 확률변수 \( X \)의 기댓값은 \(\mu_X = E(X) = \sum\limits_{x} x f(x) \), 연속형 확률변수 \( X \)의 기댓값은 \(\mu_X = E(X) = \int_{-\infty}^{\infty} x \cdot f(x) \,dx \)로 계산한다.■ 기댓값은 '어떤 확률실험을 무한히 반복'했을 때, 얻을 수 있는 '확률변수 값들의 평균으로서 기대할 수 있는 값'을 의미한다. ■ 예를 들어 동전을 3번 던졌을 때, 뒷면이 나오는 횟수가 확률변수 \( X \)라고 하자. 이 확률변수의 기댓값은 - 앞면을 H, 뒷면을 T라고 하면 S = ..
Matrix spaces; rank 1 1. 행렬 공간(Matrix spaces)■ 행렬 공간은 모든 \( 3 \times 3 \) 크기의 (정방)행렬의 공간을 의미한다. ■ 행렬 공간은 벡터 공간에 대한 조건을 만족하므로 행렬 공간은 벡터 공간이다. 그 이유는 행렬들끼리 선형 결합을 한 결과도 같은 차원의 공간에 위치하기 때문이다.■ 예를 들어 다음과 같은 \( 3 \times 3 \)행렬 \( M_1, M_2 \)와 임의의 상수 \( c_1, c_2 \)가 존재할 때, \( M_1 \)과 \( M_2 \)의 선형 결합은 다음과 같다.\(c_1 M_1 + c_2 M_2 = c_1  \begin{bmatrix}  a_{11} & a_{12} & a_{13} \\  a_{21} & a_{22} & a_{23} \\  a_{31} & a_{32..
The four fundamental subspaces 1. Four fundamental subspaces1.1 row space■ 행공간에는 행벡터의 모든 선형 결합 결과가 담겨 있다. 즉, 행벡터가 행공간을 생성한다. 그렇다고 해서 행벡터들이 모두 행공간의 기저는 아니다. 정확히는 기저일 수도 있고, 아닐 수도 있다.■ 행들이 독립적이라면 행공간의 기저가 되지만, 종속적일 때는 기저가 될 수 없다.■ 그리고 행렬에는 '전치'가 있기 때문에 행렬을 회전하면, 행에서 열로 관점을 바꿀 수 있다. 즉 \( A \)의 행벡터들이 \( A^T \)의 열벡터가 되는 것이다.■ 그러므로 행공간을 \( A^T \)의 열벡터들의 모든 선형 결합 결과가 담겨 있다고 할 수 있다. 즉 \( A \)의 행벡터들이 생성하는 공간과 \( A^T \)의 열벡터들이 생성하는 공간은..
Independence, basis, and dimension 1. 선형 독립(Linear Independence)■ 어떤 행렬이 \( m \times n \) 크기를 가지며, 행의 개수 - \( m ■ 이런 경우, 행렬 \( A \)에 대해 \( A \mathbf{x} = 0 \)에 대한 '0이 아닌 해가 존재'한다. 즉, 영공간(nullspace)가 존재한다.■ 왜냐하면, \( m times n \) 행렬 \( A \)가 \( m ■ 이러한 free variable에 0이 아닌 값을 설정하고 pivot variable에 대해 방정식을 풀면, \( A \mathbf{x} = 0 \)에 대해 0이 아닌 해가 존재. 즉, 영공간이 존재하는 것이다.■ 사실, 이 결과는 \( A \mathbf{x} = 0 \)의 해가 자명해인 \( \mathbf{x} = 0 \) 말고도..
Solving Ax = b: row reduced form R 1. Complete solution of \( A \mathbf{x} = b \)1.1 \( A \mathbf{x} = b \)의 해■ \( A \mathbf{x} = b \)에서 해가 존재할 수도, 존재하지 않을 수도 있다. 해의 존재 여부는 소거법을 통해 확인해야 한다.■ 그리고 해가 존재한다면, 유일한 해인지 아니면 여러 해가 존재하는지 확인해야 한다. ■ 예를 들어 방정식이 다음과 같을 때,\( \begin{aligned}     x_1 + 2x_2 + 2x_3 + 2x_4 &= b_1 \\     2x_1 + 4x_2 + 6x_3 + 8x_4 &= b_2 \\     3x_1 + 6x_2 + 8x_3 + 10x_4 &= b_3 \end{aligned} \) ■ 이 방정식을 행렬로 바꿔 소거법을..
Solving Ax = 0: pivot variables, special solutions 1. The algorithm for solving \( A \mathbf{x} = 0 \)■ 예를 들어 다음과 같이 정방행렬이 아닌 직사각 행렬 \( A \)가 있을 때,\(A = \begin{bmatrix}  1 & 2 & 2 & 2 \\  2 & 4 & 6 & 8 \\  3 & 6 & 8 & 10  \end{bmatrix} \)■ \( A \)의 열을 보면, 첫 번째 열에 \( \times 2 \)를 하면 두 번째 열을 만들 수 있다. 이는 첫 번째 열과 두 번째 열이 서로 같은 방향을 가리키는 (열)벡터이므로 종속 관계를 갖는다고 할 수 있다.■ \( A \)의 행에서도 첫 번째 행벡터와 두 번째 행벡터를 더하면 세 번째 행벡터가 되는 것을 볼 수 있다. 이는 행공간을 생성함에 있어 세 번째 행벡..

티스토리툴바