본문 바로가기

분류 전체보기

 (158)
유사도 ■ 단어를 수치 벡터로 표현했다면, 단어 벡터 사이의 유사도를 계산할 수 있다. 1. 코사인 유사도(Cosine Similarity)■ 코사인 유사도는 두 벡터의 코사인 각도를 이용하여 계산할 수 있다.- 두 벡터의 방향이 완전히 동일하면, 두 벡터의 각도는 \( 0^\circ \)이므로 \( \cos 0 = 1 \)- 두 벡터가 서로 직교하면, 두 벡터의 각도는 \( 90^\circ \)이므로 \( \cos 90^\circ = 0 \)- 두 벡터의 방향이 완전히 반대 방향이면, 두 벡터의 각도는 \( 180^\circ \)이므로 \( \cos 180^\circ = -1 \)■ 즉, 코사인 유사도는 -1 이상 1 이하의 값을 가지며, 값이 1에 가까울수록 유사도고 높다고 판단할 수 있다. ■ 두 벡터가 ..
Bag of Words, DTM, TF-IDF 1. 단어 표현 방법 대분류 - 국소 표현, 분산 표현■ 단어 표현 방법은 크게 국소 표현(local representation)과 분산 표현(distributed representation)으로 나뉜다. ■ 분산 표현 방법은 어떤 단어를 표현할 때, 그 단어의 주변 단어를 고려하는 방법이고, 국소 표현 방법은 해당 단어 그 자체만 보고, 해당 단어와 특정값을 매핑하여 단어를 표현하는 방법이다.■ 예를 들어 puppy(강아지), cute(귀여운), lovely(사랑스러운)라는 단어가 있을 때, - 분산 표현은 puppy라는 단어가 cute, lovely라는 단어와 함께 자주 등장하면, puppy라는 단어는 cute, lovely한 느낌의 단어로 정의한다. 즉, 분산 표현은 '맥락'을 고려해서 단어의 뉘앙..
Markov matrices 1. Markov matrix와 Markov chain■ 마르코프 행렬은 마르코프 과정(Markov Process) 또는 마르코프 연쇄(Markov Chain)을 나타내기 위한 것으로 확률적 방법을 기반으로 하는 확률 행렬이며 고윳값의 응용이다.■ 마르크포 프로세스/체인은 상태(State)와 시간(Time)으로 구성된다.- 상태는 예를 들어, 동전 던지기에서 '앞면'과 '뒷면'이 상태가 될 수 있다.- 시간은 이산 시간 또는 연속 시간에서 정의될 수 있다.- 보통 시간이 이산형(=일정한 시간 간격으로 상태가 변화하는 현상을 표현할 때)이면 마르코프 체인- 시간이 연속형으로 나타나면(=시간이 연속적으로 흐르면서 상태가 변화하는 현상을 표현할 때) 마르코프 과정으로 정의한다.■ 마르코프 체인은 무기억성(me..
[개념] 회전변환, 직교 대각화를 이용한 회전변환 1. 회전변환1.1 \( \mathbb{R}^2 \)일 때 회전변환■ 평면(2차원) 위에서 원점을 중심으로 각 \( \theta \)만큼 반시계 방향으로 회전변환을 나타내는 회전행렬(rotation matrix)은 다음과 같다.이러한 회전행렬을 '회전변환의 행렬표현'이라 부르기도 한다. 이는 \( \mathbb{R}^2 \)에서 원점을 중심으로 회전시키는 선형변환(선형사상)과 그 행렬표현으로 볼 수 있기 때문이다.회전시키기 전의 점 \( p \)를 정의역 \( \mathbb{R}^2 \)의 벡터로 생각하고 회전이동된 점 \( p' \)을 공역 \( \mathbb{R}^2 \)의 벡터로 생각하면, 회전이동시키는 변환이 선형변환이라는 것을 알 수 있다. 그래서 이 선형변환(선형사상)을 회전변환이라고 부를 수..
Differential equations 1. 미분의 정의1.1 변화율(증분)■ 다음과 같이 종속변수가 \( y \)이고 독립변수가 \( x \)인 \( y = f(x) \)가 있다고 했을 때, 독립변수 \( x \)의 변화량을 \( x \)의 증분이라 하고 델타 기호를 붙여 \( \Delta x \)로 나타낸다. 그리고 독립변수 \( x \)의 변화량에 따른 종속변수 \( y \)의 변화량을 \( y \)의 증분이라 하고 \( \Delta y \)로 나타낸다. ■ 예를 들어 \( y = f(x) = x^2 \)이라고 할 때, 독립변수 \( x \)의 값이 1에서 3으로 변한다고 하면 \( x \)의 변화량은 2이다. 이 변화량이 \( x \)의 증분 \( \Delta x \)이다. 그리고 \( x \)가 1에서 3으로 변하면 \( y \)의 ..
언어 모델(Language Model) ■ 문장은 단어 시퀀스 순서로 나열되는 특성을 가진다. 언어 모델은 이 특성을 모델링하고자 문장을 구성하고 있는 순서대로 나열된 단어 시퀀스에 확률을 부여해서, 확률적으로 가장 자연스러운 단어 시퀀스를 찾아내는 모델이다. ■ 언어 모델을 만드는 방법은 크게 통계를 이용한 방법과 인공 신경망을 이용(RNN, LSTM 등)한 방법으로 구분할 수 있다.1. 언어 모델■ 언어 모델은 단어 시퀀스에 확률을 부여해서 가장 자연스러운 단어 시퀀스를 찾아내는 작업을 하는 모델이다. ■ 단어 시퀀스에 확률을 부여하는 일반적인 방법은 이전 시점의 단어들이 주어졌을 때, 언어 모델이 다음 단어를 예측하도록 하는 것이다.- 예를 들어, '나는 버스를'이라는 단어 시퀀스들이 순서대로 언어 모델에 들어왔고, 다음 시점에 등장할 ..
[개념] 대칭행렬의 직교 대각화, 스펙트럼 분해, 2차형식 ■ 여기서 나오는 행렬은 모두 대칭행렬이다.1. 대칭행렬의 직교 대각화(Orthogonal Diagonalization)■ \( P^{-1}AP = D \)를 만족시키는 가역행렬 \( P \)가 행렬 \( A \)의 고유벡터로 이루어진 행렬일 때,\( P^{-1}AP = D \)에서 \( P^TAP = D \)가 성립하면 \( n \times n \)행렬 \( A \)는 직교 대각화가 가능하다.( 또는 \( A = PDP^{-1} \)에서 \( A = PDP^{-1} = PDP^T \)가 성립하면 \( n \times n \)행렬 \( A \)는 직교 대각화가 가능하다.)■ 여기서 \( P \)는 정규직교벡터로 이루어진 직교행렬(orthogonal matrix)이다. 그러므로 \( A \)를 대각화하는 ..
Diagonalization and powers of A 1. 행렬의 대각화(Diagonalization)1.1 \( AS = S \Lambda, \;  S^{-1} A S = \Lambda \)■ 고유방정식 \( A \mathbf{x} = \lambda \mathbf{x} \)에서 \( \lambda \)는 고윳값, \( \mathbf{x} \)는 고유벡터이다. ■ 고유방정식은 행렬 \( A \)에 의해 선형변환된 \( A \mathbf{x} \)가 방향은 유지하면서 길이(크기)만 달라지는(즉, 스칼라배가 되는) 특수한 벡터인 고유벡터와 그때 적용되는 스칼라인(길이(크기)의 변화량을 나타내는) 고윳값 \( \lambda \)을 나타낸다. ■ 선형변환은 선형변환의 행렬표현인 \( A \)가 \( \mathbf{x} \)에 적용될 때, 대부분의 벡터는 크기와 방..

티스토리툴바