분류 전체보기

(177)

언어 모델(Language Model) ■ 문장은 단어 시퀀스 순서로 나열되는 특성을 가진다. 언어 모델은 이 특성을 모델링하고자 문장을 구성하고 있는 순서대로 나열된 단어 시퀀스에 확률을 부여해서, 확률적으로 가장 자연스러운 단어 시퀀스를 찾아내는 모델이다. ■ 언어 모델을 만드는 방법은 크게 통계를 이용한 방법과 인공 신경망을 이용(RNN, LSTM 등)한 방법으로 구분할 수 있다.1. 언어 모델■ 언어 모델은 단어 시퀀스에 확률을 부여해서 가장 자연스러운 단어 시퀀스를 찾아내는 작업을 하는 모델이다. ■ 단어 시퀀스에 확률을 부여하는 일반적인 방법은 이전 시점의 단어들이 주어졌을 때, 언어 모델이 다음 단어를 예측하도록 하는 것이다.- 예를 들어, '나는 버스를'이라는 단어 시퀀스들이 순서대로 언어 모델에 들어왔고, 다음 시점에 등장할 ..

[개념] 대칭행렬의 직교 대각화, 스펙트럼 분해, 2차형식 ■ 여기서 나오는 행렬은 모두 대칭행렬이다.1. 대칭행렬의 직교 대각화(Orthogonal Diagonalization)■

$P^{-1}AP = D$ 를 만족시키는 가역행렬

$P$ 가 행렬

$A$ 의 고유벡터로 이루어진 행렬일 때,

$P^{-1}AP = D$ 에서

$P^TAP = D$ 가 성립하면

$n \times n$ 행렬

$A$ 는 직교 대각화가 가능하다.( 또는

$A = PDP^{-1}$ 에서

$A = PDP^{-1} = PDP^T$ 가 성립하면

$n \times n$ 행렬

$A$ 는 직교 대각화가 가능하다.)■ 여기서

$P$ 는 정규직교벡터로 이루어진 직교행렬(orthogonal matrix)이다. 그러므로

$A$ 를 대각화하는 ..

Diagonalization and powers of A 1. 행렬의 대각화(Diagonalization)1.1

$AS = S \Lambda, \; S^{-1} A S = \Lambda$ ■ 고유방정식

$A \mathbf{x} = \lambda \mathbf{x}$ 에서

$\lambda$ 는 고윳값,

$\mathbf{x}$ 는 고유벡터이다. ■ 고유방정식은 행렬

$A$ 에 의해 선형변환된

$A \mathbf{x}$ 가 방향은 유지하면서 길이(크기)만 달라지는(즉, 스칼라배가 되는) 특수한 벡터인 고유벡터와 그때 적용되는 스칼라인(길이(크기)의 변화량을 나타내는) 고윳값

$\lambda$ 을 나타낸다. ■ 선형변환은 선형변환의 행렬표현인

$A$ 가

$\mathbf{x}$ 에 적용될 때, 대부분의 벡터는 크기와 방..

텍스트 표준화, 토큰화, 어휘 사전(단어 집합) 인덱싱 ■ 말뭉치(corpuis)라고 부르는 텍스트 데이터는 원시 텍스트(ASCII, UTF-8 등)와 원시 텍스트와 연관된 메타데이터를 포함하고 있다. ■ 컴퓨터는 텍스트와 같은 비수치적 데이터를 직접 처리할 수 없다. 텍스드 데이터를 수치 데이터로 변환하는 과정이 필요하다. ■ 또한, 딥러닝 모델은 행렬 연산, 미분 등 수학적 계산을 통해 학습을 수행하기 때문에 입력 데이터로 원시 텍스트를 사용할 수 없다. 숫자 데이터(수치 텐서)로 처리해야 한다. ■ 텍스트를 숫자 데이터(수치 텐서)로 바꾸는 과정을 텍스트 벡터화(vectorization)이라고 한다.■ 텍스트 벡터화 과정은 다양하고, 그 결과도 다양(원-핫 인코딩, 워드 임베딩 등)하지만, 모두 다음 그림과 같은 동일한 양식을 따른다.- (1) 텍스트 ..

[개념] 행렬의 대각화(Diagonalization) 1. 행렬의 대각화1.1 닮은행렬■ 행렬

$A$ 와

$B$ 가 같은 크기의

$n \times n$ 정사각행렬일 때,

$B = P^{-1}AP$ 를 만족시키는 가역행렬

$P$ 가 존재하면,

$A$ 와

$B$ 는 서로 닮은(similar)행렬이라고 한다. -

$P$ 가 가역행렬이라면,

$P$ 는

$n$ 개의 독립 벡터를 가진다.■

$A$ 와

$B$ 가 닮은행렬이라는 것은, 두 행렬이 같은 선형변환의 서로 다른 기저에 대한 행렬 표현임을 의미한다. 그러므로 다음과 같은 성질들을 공유한다.- (1) 행렬식이 같다.

$\det{(A)} = \det{(B)}$ - (2) 계수(rank)가 같다. \( \text{rank} (A) = \text{..

[개념] 고유치, 고윳값(eigenvalue), 고유벡터(eigenvector) 1. 고윳값과 고유벡터1.1 고윳값과 고유벡터란?■

$A$ 가

$n \times n$ 행렬이고,

$\mathbf{v}$ 가

$\mathbb{R}^n$ 의 벡터일 때,

$\mathbf{v}$ 와

$A \mathbf{v}$ 가 서로의 스칼라배로 관계되는 0이 아닌 어떤 벡터

$v$ 가 존재한다. 이와 같은 벡터

$\mathbf{v}$ 는 선형변환의 해석에서 중요한 역할을 한다.■ 예를 들어

$T(x, y) = \dfrac{1}{2} (3x + y, x + 3y)$ 로 정의된 선형변환

$T: \mathbb{R}^2 \rightarrow \mathbb{R}^2$ 가 있다고 하자. 그리고 정의역에

$\mathbb{R}^2$ 의 기저벡터 \( v_1 = (..

연속형 확률분포(3) - 정규분포와 관련분포(2) 1. 통계량과 추정량1.1 모집단과 표본■ 모집단은 관심 대상이 되는 전체 데이터의 집합이다. 연구대상이 되는 모든 가능한 관측치나 측정치의 집합을 모집단 또는 통계적 모집단이라고 한다. ■ 모집단이 유한개의 추출 다누이를 가질 때 유한 모집단(finite population), 무한개의 추출단위를 가질 때 무한 모집단(infinite population)이라 한다. ■ 이 모집단의 특성을 나타내는 수치가 바로 모수(parameter)이다.■ 모집단의 특성은 매우 다양하므로 모든 특성을 모두 표현하기는 어렵고, 툭별히 관심을 갖는 특성만을 선별하여 데이터 분석을 통해 추측하게 된다.■ 대표적인 모수로는 평균(mean), 표준편차(standard deviation), 분산(variance), 왜도(skew..

[개념] 선형 변환(사상)과 표준행렬 1. 선형 변환(선형 사상)■ 벡터공간

$U, V$ 가 있을 때,

$U$ 로부터

$V$ 로의 변환

$T$ 를

$T: U \rightarrow V$ 로 나타낸다. ■

$T: U \rightarrow V$ 는 다음과 같이 벡터공간

$U$ 의 모든 벡터

$\mathbf{u}$ 에 대해 각각 유일한 벡터공간

$V$ 의 모든 벡터

$\mathbf{v}$ 를 대응하는 규칙을 의미한다.■

$T: U \rightarrow V$ 가 임의의 벡터

$u_1, u_2 \in U$ 와 임의의 상수

$k$ 에 대해 다음 조건을 만족하면,

$T$ 를

$U$ 에서

$V$ 로 가는 선형사상 또는 선형변환이라고 한다.- ① \( T(u_1+u_2) =..

목록 더보기

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

Hyun_Jae

분류 전체보기

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역