본문 바로가기

분류 전체보기

 (177)
Solving Ax = 0: pivot variables, special solutions 1. The algorithm for solving \( A \mathbf{x} = 0 \)■ 예를 들어 다음과 같이 정방행렬이 아닌 직사각 행렬 \( A \)가 있을 때,\(A = \begin{bmatrix}  1 & 2 & 2 & 2 \\  2 & 4 & 6 & 8 \\  3 & 6 & 8 & 10  \end{bmatrix} \)■ \( A \)의 열을 보면, 첫 번째 열에 \( \times 2 \)를 하면 두 번째 열을 만들 수 있다. 이는 첫 번째 열과 두 번째 열이 서로 같은 방향을 가리키는 (열)벡터이므로 종속 관계를 갖는다고 할 수 있다.■ \( A \)의 행에서도 첫 번째 행벡터와 두 번째 행벡터를 더하면 세 번째 행벡터가 되는 것을 볼 수 있다. 이는 행공간을 생성함에 있어 세 번째 행벡..
최소제곱법 1. 최소제곱법(least squares solution)■ 시각 \( t \)에 대해 얻어진 데이터를 \( f(t) \)라고 할 때, 좌표평면에 유한 개의 데이터를 유한 개의 점 \( (t, f(t)) \)로 나타낸 것이 다음과 같다고 하자.■ 데이터(유한 개의 점 \( (t, f(t)) \))의 분포를 오차가 최소가 되도록 일차함수 \( y = g(x) \)의 그래프로 근사시키는 방법 중에 '잔차(실제 값과 예측 값의 차)에 대한 제곱'으로 최소가 되도록 하는 방법을 '최소제곱법'이라 한다.\( \displaystyle \sum_{k=1}^{10} \left[ f(k) - g(k) \right]^2 = \displaystyle \sum_{k=1}^{10} \left[ f(k) - ax - b \rig..
[개념] 정규직교집합과 Gram-Schmidt 직교화 1. 정규직교집합, 정규직교기저■ 어떤 공간의 부분집합을 \( S \)라고 하자. \( S \)가 영벡터가 아닌 벡터들로 이루어져 있고, 임의의 두 벡터 \( v, w \in S \)에 대해 \( v \neq w \)이면서 \( = 0 \)이면 집합 \( S \) 내의 모든 벡터 쌍이 직교(orthogonal)한다는 것이다. ■ 이러한 조건을 만족하는 집합 \( S \)를 '직교집합'이라고 부른다. ■ 그리고 직교집합 \( S \)에 속하는 각 벡터의 크기가 1이면, \( S \)를 '정규직교집합'이라고 한다.■ 즉, \( S = \left\{ v_1, v_2, \cdots, v_n \right\} \)이 정규직교집합이라면 \( v_i \)와 \( v_j \)의 내적이 (\( = a_{ij} \)라고..
[개념] 행렬의 기본 공간과 차원 정리 1. 행렬의 기본 공간1.1 행공간 및 열공간■ \( n \times m \) 행렬 \( A \)에 대해 - \( A \)의 행벡터가 생성하는 \( \mathbb{R}^n \)의 부분 공간을 \( A \)의 행공간(row space)이라 하고, - 열벡터가 생성하는 \( \mathbb{R}^m \)의 부분 공간을 \( A \)의 열공간(column space)라고 한다.■ 행공간과 열공간의 기저를 찾는 방법은 행렬을 기약 행사다리꼴로 만들면 된다. 기본 행연산은 행렬의 행공간을 변화시키지 않는다. 하지만, 열공간은 변화시킨다. ■ 그러므로 열공간의 기저는 행렬 \( A \)를 전치시킨 \( A^T \)에서 행공간의 기저를 구하고, 이를 열벡터로 바꾸면 된다. 이렇게 찾은 행공간의 기저로 행공간을 만들고..
Spaces of Vectors - (2) Column Space and Nullspace 1. The Column Space of A■ 예를 들어 다음과 같은 행렬 \( A \)가 있다고 할 때■ 행렬 \( A \)는 3개의 열을 가지고 있다. 이 열들은 벡터이므로 3개의 열벡터를 가지고 있는 것으로 볼 수 있다.■ 이 예에서 행렬 \( A \)의 열공간은 \( \mathbb{R}^4 \)의 부분공간이다. 왜냐하면 \( A \)는 \( 4 \times 3 \)행렬이기 때문이다.■ 이는 행의 개수, 즉 열의 구성 요소 수가 4개이기 때문이다.■ 일반화하면, 행렬 \( A \)의 크기가 \( m \times n \)일 때, \( A \)의 열들은 \( m \)개의 성분을 가진다. 즉, \( \mathbb{R}^m \)에 속한다. 그리고 \( A \)의 열 공간은 \( \mathbb{R}^m \)..
임베딩(Embedding) 순환신경망(Recurrent Neural Network, RNN) 1. 임베딩■ 컴퓨터는 사람이 사용하는 자연어(한글, 영어 등)를 그대로 이해하지 못한다. 그러므로 컴퓨터가 이해할 수 있는 벡터로 변경해야 한다. 이런 변경을 임베딩이라고 말한다. 그러므로 임베딩이 잘 될수록 높은 모델 성능을 기대할 수 있다.■ 임베딩과 관련된 다양한 방법들이 있는데, 크게는 '단어 수준'의 임베딩(Word2Vec, FastText)과 '문장 수준'의 임베딩(Elmo, Bert, GPT 등)으로 구분한다.- 단어 수준의 임베딩은 동음이의어(글자의 소리는 같지만 뜻이 다른 단어 - 눈, 차, 배 등)를 구별할 수 없지만,- 문장 수준의 임베딩은 사람처럼 문장의 '앞뒤'를 보고 의미를 파악할 수 있다. ■ 단어 수준의 임베딩을 위해 단어, 음절, 형태소 등으로 나누고 이를 수치로 변환한다..
텐서(Tensor) ■ 컴퓨터는 문장 혹은 단어를 그 자체로 잘 이해하지 못한다. 그러므로 컴퓨터가 이해할 수 있도록 단어를 밀집 벡터(dense vector) 형태로 바꾸는 작업이 필요하다. ■ 이렇게 단어를 밀집 벡터 형태로 표현하는 방법을 '워드 임베딩(word embedding)'이라고 한다. ■ 예를 들어, 다음과 같이 4개의 문장으로 구성된 데이터를 입력으로 사용하기 위해 다음과 같이 단어별로 나누어 주었다고 하자.[['나는', '사과를', '좋아해'], ['나는', '바나나를', '좋아해'], ['나는', '사과를', '싫어해'], ['나는', '바나나를', '싫어해']]data = np.array([['나는', '사과를', '좋아해'], ['나는', '바나나를', '좋아해'], ['나는', '..
[개념] 벡터 공간 1. 벡터 공간(vector space)1.1 공간 (space)■ 집합 \( V \)의 임의의 원소 \( u, v \)와 임의의 스칼라 \( k \)에 대해, \( k \in \mathbb{R} \) 다음을 만족할 때, 집합(set) \( V \)를 공간(sapce) \( V \)라 한다. \( ① u + v \in V \quad ② k \cdot u \in V \)■ 다시 말해, 집합 \( V \)에 위의 조건 ①, ②를 모두 만족하면 집합 \( V \)를 공간 \( V \)라고 한다. - 여기서 조건  ①이 의미하는 것은 \( V \)라는 집합 안에서 원소 \( u, v \)를 임의로 꺼냈을 때, 두 원소를 더한 값이 다시 집합 \( V \)에 속해야 한다는 의미이며 (즉 , \( V \)의 원소가..

티스토리툴바