선형대수 (40) 썸네일형 리스트형 상관행렬, 공분산행렬을 이용한 주성분분석 ■ Singular value decomposition (2) - 특이값 분해 응용 (2) 에서 사용한 예시 데이터를 이용하여 공분산행렬을 기반으로 계산된 주성분분석과 상관행렬을 기반으로 계산된 주성분분석을 비교하고자 한다.1. (표본) 공분산행렬에 기초한 분석■ PCA 수행 단계는 다음과 같다. 공분산행렬을 기준으로 설명하면,- ① 데이터의 공분산 행렬을 계산- 여기서 얻게 되는 공분산 행렬은 변수(feature) 사이의 공분산 행렬이다.- 공분산을 계산하기 전에 데이터는 평균 중심화가 적용되어 있어야 한다.- ② ①에서 얻은 공분산 행렬의 고윳값 분해를 구한다.- ③ 고윳값 분해를 통해 얻은 고윳값의 크기에 따라 내림차순으로 정렬하고, 그에 따라 고유벡터를 정렬한다.- 일반적으로 고윳값(eigen v.. Singular value decomposition (2) - 특이값 분해 응용 (2) 3. 통계학에서의 특이값 분해 응용3.1 주성분 분석(PCA)■ 다변량 자료분석 방법론 중 차원 축소는 여러 변수들에 담긴 복잡한 정보를 1차원이나 소수 몇 개의 차원으로 축소하여, 복잡한 다차원 구조를 단순화하고 보다 쉽게 이해할 수 있도록 만들기 위해 사용한다.■ 이러한 차원 축소 기법의 대표적인 방법으로 주성분분석(Principal Component Analysis, PCA)이 있다. - PCA를 통한 차원 축소의 결과로부터 얻어지는 주성분점수들은 군집분석, 회귀분석, 인자(factor)분석 등을 위한 입력자료로 이용되어, PCA는 어떤 일련의 분석 과정에서 하나의 중간단계 역할을 하기도 한다.■ 주성분분석(PCA)은 서로 상관되어 있는(종속적인) \( n \)개의 변수들 간의 구조를 분석하기 위해.. Linear transformations and their matrices 1. Linear transformation1.1 Example 1. Projection■ 선형변환의 첫 번째 예는 투영(projection)이다. ■ 예를 들어, 다음과 같은 투영이 있다. 이 투영은 \( \mathbb{R}^2 \)의 모든 벡터. 즉, 평면의 모든 벡터를 평면의 벡터로 변환하는 변환 \( T \)이다. - \( T : \mathbb{R}^2 \rightarrow \mathbb{R}^2 \)처럼 되는 것을 매핑(mapping)이라고 부른다.■ 이 변환은 모든 \( \mathbb{R]^2 \)의 모든 벡터를 사용하고, 변환된 벡터들은 다음과 같은 선 위에 떨어진다고 할 때,■ 먄약, 벡터 \( \mathbf{v} \)를 투영하면, 즉 변환은 벡터 \( \mathbf{v} \)를 \( .. Singular value decomposition (2) - 특이값 분해 응용 (1) 1. 디지털 이미지 처리기법에서의 특이값 분해 응용 ■ 디지털 이미지는 픽셀이라는 격자에 색을 칠하여 어떤 문자나 그림을 표현하는 것으로 생각할 수 있다. ■ 컬러 이미지는 Red, Green, Blue. 총 3개의 채널로 표현되며, 각 채널은 0~255 사이의 값으로 빨강, 초록, 파랑의 정도를 나타낸다. ■ 흑백 이미지(그레이 스케일 이미지)는 1개의 채널로 표현되며, 각 픽셀의 밝기 값을 0~255 사이의 값으로 표현한다.■ 흑백 이미지는 회색 음영을 검은색부터 흰색까지 총 256단계로 나누어 표현한다. 즉, 256가지 정보를 표현하기 위해서는 \( 256 = 2^8 \)이므로 흑백 이미지는 한 픽셀마다 8 bit = 1 byte가 필요하다.- 컬러 이미지는 채널이 3개이며, 각 채널마다 256개.. Singular value decomposition (1) 1. 특이값 분해(Singular value decomposition, SVD)■ 행렬 \( A \)가 대각화 가능하지 않은 \( m \times m \) 정방행렬이거나, 심지어는 \( m \times n \) 비정방행렬인 경우에도 다음과 같이 크기가 다른 두 개의 직교행렬 \( U \)와 \( V^T \) 그리고 대각행렬 \( \Sigma \)로 분해하는 것을 특이값 분해라고 부른다. \( A = U \Sigma V^T \)- 이렇게 특이값 분해를 하기 위한 행렬 \( A \)는 어떤 행렬이든 될 수 있다. - 고윳값 분해(EVD)는 정방행렬에서만 가능한 행렬 대각화 방법이다. ■ SVD는 고윳값 분해와 비슷하게 보일 수 있다. (실제로 고윳값 분해에 대한 내용은 특이값 분해(SVD)에도 대부분 적용 .. Similar matrices and Jordan form 1. 닮음 행렬(Similar Matrix)■ \( n \times n \) 행렬 \( A \)와 \( B \)가 있다고 하자. 그리고 역행렬이 가능한 행렬 \( M \)이 있다고 했을 때,■ '\( A \)와 \( B \)가 유사하다'의 의미는 '\( B = M^{-1} A M \)와 같다'라는 것이다.■ 예를 들어, 어떤 행렬 \( A \)가 완전한 고유벡터 집합을 가지고 있다고 가정해 보자. 이 고유벡터들로 구성된 고유벡터 행렬 \( S \)를 이용하면 대각 원소가 고윳값인 행렬 \( \Lambda \)를 만들 수 있었다. \( S^{-1} A S = \Lambda \). 이것은 행렬 \( A \)와 행렬 \( \Lambda \)가 유사하다는 것을 말한다.■ 이 예에서 \( A \)가 \( \Lam.. Positive definite matrices and minima 1. 양정치 행렬 또는 양의 정부호 행렬(Positive definite matrices)■ 양정치행렬(양의 정부호 행렬)은 대칭행렬에서만 적용된다. ■ \( 2 \times 2 \) 대칭행렬 \( A = \begin{bmatrix} a & b \\ b & c \end{bmatrix} \)라고 할 때, 양정치행렬인지 테스트하는 방법은 다음과 같다.- (1) 첫 번째 테스트는 고윳값 테스트이다. \( 2 \times 2 \) 대칭행렬에서 나올 수 있는 고윳값은 2개이다. 이 고윳값이 모두 양수여야 한다. ① \( \lambda_1 > 0, \; \lambda_2 > 0 \)- (2) 두 번째 테스트는 행렬식 테스트이다. 주부분행렬의 행렬식 값이 모두 0보다 커야 한다.- \( 2 \times 2 \)이므로.. Symmetric matrices and positive definiteness 1. Symmetric matrix, Diagonalization of symmetric matrix■ \( n \times n \) 정방행렬의 전치가 자기 자신일 때. 즉, 정방행렬의 원소가 \( a_{ij} = a_{ji} \)을 만족하는 경우 대칭행렬이라고 한다. ■ 그리고 대칭행렬은 고윳값이 전부 실수(real number)이며, 서로 다른 고유공간에 있는 고유벡터는 서로 직교한다. 고유벡터들이 서로 직교한다는 것은 고유벡터들이 서로 다른 1차원의 고유공간을 형성한다고 할 수 있다. - 서로 다른 고윳값 \( \lambda_1, \lambda_2 \)에 대응하는 고유벡터 \( v_1, v_2 \)가 있다고 했을 때, \( Av_1 = \lambda_1 v_1, \; A v_2 = \lambda_2.. 이전 1 2 3 4 5 다음
