Processing math: 100%

본문 바로가기

전체 글

(176)

최소제곱법 1. 최소제곱법(least squares solution)■ 시각

$t$ 에 대해 얻어진 데이터를

$f(t)$ 라고 할 때, 좌표평면에 유한 개의 데이터를 유한 개의 점

$(t, f(t))$ 로 나타낸 것이 다음과 같다고 하자.■ 데이터(유한 개의 점

$(t, f(t))$ )의 분포를 오차가 최소가 되도록 일차함수

$y = g(x)$ 의 그래프로 근사시키는 방법 중에 '잔차(실제 값과 예측 값의 차)에 대한 제곱'으로 최소가 되도록 하는 방법을 '최소제곱법'이라 한다.\( \displaystyle \sum_{k=1}^{10} \left[ f(k) - g(k) \right]^2 = \displaystyle \sum_{k=1}^{10} \left[ f(k) - ax - b \rig..

[개념] 정규직교집합과 Gram-Schmidt 직교화 1. 정규직교집합, 정규직교기저■ 어떤 공간의 부분집합을

$S$ 라고 하자.

$S$ 가 영벡터가 아닌 벡터들로 이루어져 있고, 임의의 두 벡터

$v, w \in S$ 에 대해

$v \neq w$ 이면서

$= 0$ 이면 집합

$S$ 내의 모든 벡터 쌍이 직교(orthogonal)한다는 것이다. ■ 이러한 조건을 만족하는 집합

$S$ 를 '직교집합'이라고 부른다. ■ 그리고 직교집합

$S$ 에 속하는 각 벡터의 크기가 1이면,

$S$ 를 '정규직교집합'이라고 한다.■ 즉,

$S = \left\{ v_1, v_2, \cdots, v_n \right\}$ 이 정규직교집합이라면

$v_i$ 와

$v_j$ 의 내적이 (

$= a_{ij}$ 라고..

[개념] 행렬의 기본 공간과 차원 정리 1. 행렬의 기본 공간1.1 행공간 및 열공간■

$n \times m$ 행렬

$A$ 에 대해 -

$A$ 의 행벡터가 생성하는

$\mathbb{R}^n$ 의 부분 공간을

$A$ 의 행공간(row space)이라 하고, - 열벡터가 생성하는

$\mathbb{R}^m$ 의 부분 공간을

$A$ 의 열공간(column space)라고 한다.■ 행공간과 열공간의 기저를 찾는 방법은 행렬을 기약 행사다리꼴로 만들면 된다. 기본 행연산은 행렬의 행공간을 변화시키지 않는다. 하지만, 열공간은 변화시킨다. ■ 그러므로 열공간의 기저는 행렬

$A$ 를 전치시킨

$A^T$ 에서 행공간의 기저를 구하고, 이를 열벡터로 바꾸면 된다. 이렇게 찾은 행공간의 기저로 행공간을 만들고..

Spaces of Vectors - (2) Column Space and Nullspace 1. The Column Space of A■ 예를 들어 다음과 같은 행렬

$A$ 가 있다고 할 때■ 행렬

$A$ 는 3개의 열을 가지고 있다. 이 열들은 벡터이므로 3개의 열벡터를 가지고 있는 것으로 볼 수 있다.■ 이 예에서 행렬

$A$ 의 열공간은

$\mathbb{R}^4$ 의 부분공간이다. 왜냐하면

$A$ 는

$4 \times 3$ 행렬이기 때문이다.■ 이는 행의 개수, 즉 열의 구성 요소 수가 4개이기 때문이다.■ 일반화하면, 행렬

$A$ 의 크기가

$m \times n$ 일 때,

$A$ 의 열들은

$m$ 개의 성분을 가진다. 즉,

$\mathbb{R}^m$ 에 속한다. 그리고

$A$ 의 열 공간은

$\mathbb{R}^m$ ..

임베딩(Embedding) 순환신경망(Recurrent Neural Network, RNN) 1. 임베딩■ 컴퓨터는 사람이 사용하는 자연어(한글, 영어 등)를 그대로 이해하지 못한다. 그러므로 컴퓨터가 이해할 수 있는 벡터로 변경해야 한다. 이런 변경을 임베딩이라고 말한다. 그러므로 임베딩이 잘 될수록 높은 모델 성능을 기대할 수 있다.■ 임베딩과 관련된 다양한 방법들이 있는데, 크게는 '단어 수준'의 임베딩(Word2Vec, FastText)과 '문장 수준'의 임베딩(Elmo, Bert, GPT 등)으로 구분한다.- 단어 수준의 임베딩은 동음이의어(글자의 소리는 같지만 뜻이 다른 단어 - 눈, 차, 배 등)를 구별할 수 없지만,- 문장 수준의 임베딩은 사람처럼 문장의 '앞뒤'를 보고 의미를 파악할 수 있다. ■ 단어 수준의 임베딩을 위해 단어, 음절, 형태소 등으로 나누고 이를 수치로 변환한다..

텐서(Tensor) ■ 컴퓨터는 문장 혹은 단어를 그 자체로 잘 이해하지 못한다. 그러므로 컴퓨터가 이해할 수 있도록 단어를 밀집 벡터(dense vector) 형태로 바꾸는 작업이 필요하다. ■ 이렇게 단어를 밀집 벡터 형태로 표현하는 방법을 '워드 임베딩(word embedding)'이라고 한다. ■ 예를 들어, 다음과 같이 4개의 문장으로 구성된 데이터를 입력으로 사용하기 위해 다음과 같이 단어별로 나누어 주었다고 하자.[['나는', '사과를', '좋아해'], ['나는', '바나나를', '좋아해'], ['나는', '사과를', '싫어해'], ['나는', '바나나를', '싫어해']]data = np.array([['나는', '사과를', '좋아해'], ['나는', '바나나를', '좋아해'], ['나는', '..

[개념] 벡터 공간 1. 벡터 공간(vector space)1.1 공간 (space)■ 집합

$V$ 의 임의의 원소

$u, v$ 와 임의의 스칼라

$k$ 에 대해,

$k \in \mathbb{R}$ 다음을 만족할 때, 집합(set)

$V$ 를 공간(sapce)

$V$ 라 한다.

$① u + v \in V \quad ② k \cdot u \in V$ ■ 다시 말해, 집합

$V$ 에 위의 조건 ①, ②를 모두 만족하면 집합

$V$ 라고 한다. - 여기서 조건 ①이 의미하는 것은

$V$ 라는 집합 안에서 원소

$u, v$ 를 임의로 꺼냈을 때, 두 원소를 더한 값이 다시 집합

$V$ 에 속해야 한다는 의미이며 (즉 ,

$V$ 의 원소가..

Spaces of Vectors - (1) Vector Spaces and Subspaces 1. Spaces of Vectors■ 선형 결합(linear combination)을 간단하게 말하면, 임의의 스칼라가 곱해진 벡터들의 덧셈이다. ■ 여기서 벡터에 곱해지는 스칼라는 벡터의 길이를 늘리는 역할을 한다. 벡터에 어떤 스칼라를 곱하더라도 벡터의 차원은 변경되지 않는다. 중요한 것은 벡터들의 덧셈이다. ■ 벡터 덧셈은 항상 크기(차원)이 같은 두 벡터에 대해서만 가능하다. 즉, 선형 결합이 '같은 공간 상에 존재하는 벡터들' 사이에 가능하다는 의미이다. 여기서 공간은 벡터 공간을 말한다. ■ 벡터 공간은

$\mathbb{R}^1, \mathbb{R}^2, \mathbb{R}^3, \cdots$ 등으로 표기한다. - 예를 들어 벡터 공간

$\mathbb{R}^5$ 는 원소(성분)..

목록 더보기

티스토리툴바