적률생성함수

1. 적률(Moment)

■ 기댓값, 분산은 확률변수에 대한 의미있는 정보를 제공하지만, 이 정보만으로 분포를 결정할 수는 없다.

■ 추가로 $E(X^3)$ 왜도(skewness), $E(X^4)$ 첨도(kurtosis)를 얻을 수 있다면, 확률변수 $X$에 대해 더 잘 파악할 수 있다.

■ 확률변수 $X$에 대하여 $E(X^k)$를 $k$차 적률이라고 하며, $\mu_k'$으로 표기한다. 그리고 $E((X-E[X])^k)$를 $X$의 $k$차 중심 적률(central moment) 또는 $k$차 중심 모멘트라고 한다.

■ $k$차 적률은 다음과 같이 확률변수 $X^k$의 평균으로 정의하며, 이산형인지 연속형인지에 따라 더하거나 적분을 계산한다. 

■ 이러한 적률(moment)은 확률이 어떻게 분포하는지 설명해준다.

■ 이 적률을 계산하기 위해 사용하는 것이 '적률생성함수(moment generating function, mgf)이다.

 

2. 적률생성함수

■ 확률변수 $X$의 적률생성함수 $m(t)$는 $m(t) = E[e^{tX}]$이다. 

■ 적률생성함수도 마찬가지로 이산형인지 연속형인지에 따라 다음과 같이 더하거나 적분을 계산한다.

- $m(t) = E[e^{tX}]$는 $t$에 대한 함수이다.

$m(t) = E(e^{tX}) =  \begin{cases} \displaystyle \sum_{x} e^{t x} p(x), & \text{if } X \text{ is discrete with mass } p(x) \\[10pt] \displaystyle \int_{-\infty}^{\infty} e^{t x} f(x) \,dx, & \text{if } X \text{ is continuous with density } f(x) \end{cases}$

■ 급수 전개한 적률생성함수를 '미분'하여 모든 차수의 적률을 얻을 수 있다.

■ 테일러 전개에 의해 $e^{tx} = 1 + tx + \dfrac{t x^2}{2!} + \dfrac{t x^3}{3!} + \cdots + \dfrac{t x^n}{n!} + \cdots$

■ 양변에 기댓값을 씌우면

$E \left[ e^{tX} \right] = E \left[ 1 + tX + \dfrac{(tX)^2}{2!} + \dfrac{(tX)^3}{3!} + \cdots + \dfrac{(tX)^n}{n!} + \cdots \right]$
$= 1 + t E(X) + \dfrac{t^2}{2!} E(X^2) + \dfrac{t^3}{3!} E(X^3) + \cdots + \dfrac{t^n}{n!} E(X^n) + \cdots$
$= 1 + t \mu'_1 + \dfrac{t^2}{2!} \mu'_2 + \dfrac{t^3}{3!} \mu'_3 + \cdots + \dfrac{t^n}{n!} \mu'_n + \cdots = m(t)$

■ 급수로 전개한 적률생성함수 $m(t)$에 대해 1차 미분을 하면 $m'(t) = \mu'_1 + \mu'_2 t + \mu'_3 \dfrac{t^2}{2} + \cdots$

■ 급수로 전개한 적률생성함수 $m(t)$에 대해 2차 미분을 하면 $m'(t) = \mu'_2 + \mu'_3 t + \mu'_4 \dfrac{t^4}{2!} + \cdots$

■ 이렇게 적률생성함수 $m(t)$를 $k$번 미분한 후 $t = 0$을 대입하면, $k$차 적률 $\mu_k'$를 얻는다.

- $m'(0) = \mu'_1 = E(X)$는 1차 모멘트(적률)

- $m''(0) = \mu'_2 = E(X^2)$는 2차 모멘트(적률)

- $m^{(k)}(0) = \mu'_k = E(X^k)$는 $k$차 모멘트(적률)

2.1 평균, 분산, 왜도, 첨도

■ 지금까지의 적률은 원점에 대한 적률이다. 원점에 대한 $k$차 적률 $\mu_k'$는 다음과 같이 정의된다.

$\mu'_k = E\left[ (X - 0)^k \right]$

■ 0 대신 평균 $\mu$를 넣은 것을 $k$차 중심적률 $\mu_k$라고 한다.

$\mu_k = E \left( (X - E[X])^k \right)$

■ 그리고 $k$차 중심적률을 표준펀차의 $k$제곱으로 나눈 것을 $k$차 표준화 적률 $\tilde{\mu}_k$라고 한다.

$\widetilde{\mu}_k = \dfrac{\mu_k}{\sigma^k} = E \left[ \left( \dfrac{X - E[X]}{\sigma} \right)^k \right]$, 여기서 $\sigma$는 상수이므로
$E \left[ \left( \dfrac{X - E[X]}{\sigma} \right)^k \right] = \dfrac{E \left[ (X - E[X])^k \right]}{\sigma^k}$

■ 적률생성함수를 $t = 0$에서 한 번 미분한 것을 1차 적률이라고 한다.

■ 1차 적률 $\mu_1$이 의미하는 것은 확률변수의 평균(기댓값) $E(X)$이다.

■ 2차 적률은 확률변수의 분산과 관계가 있다. $E(X^2)$이기 때문이다. 분산 $Var(X) = E(X^2) - E(X)^2$ = '2차적률 - 1차 적률의 제곱'으로 구할 수 있다.

■ 분산은 2차 중심적률을 사용하여 간단히 구할 수도 있다. $\mu_2 = E \left[ (X - E[X])^2 \right] = Var(X)$

■ 3차 적률은 확률분포의 왜도(비대칭도)를 측정한다. 3차 표준화 적률 $\widetilde{\mu_3} = \dfrac{E[(X - E[X])^3]}{\sigma^3}$이 왜도이다.

■ 왜도는 다음과 같이 비대칭의 정도를 나타내는 지표이다. 비대칭은 분포의 기울어짐으로 인해 생기는 것이기 때문에, 데이터가 '어느 쪽으로 몰려있는지' 판단할 수 있다.

[출처] https://commons.wikimedia.org/wiki/File:Relationship_between_mean_and_median_under_different_skewness.png

- 정규분포처럼 평균을 중심으로 완전 대칭이면, 왜도가 없는 것이기 때문에 왜도 = 0 이된다.

- 왼쪽 그림처럼 데이터 분포의 꼬리가 오른쪽으로 긴 꼬리를 갖는 형태가 되면, 이때의 왜도는 '양수'이며 '오른쪽 치우침(positive skewness)'이라고 한다.

- 오른족 그림처럼 데이터 분포의 꼬리가 왼쪽으로 긴 꼬리를 갖는 형태가 되면, 이때의 왜도는 '음수'이며 '완쪽으로 치우침(negative skewness)'이라고 한다.

■ 4차 적률은 확률분포의 첨도(뾰족함)를 측정한다. 4차 표준화 적률 $\widetilde{\mu_4} = \dfrac{E[(X - E[X])^4]}{\sigma^4}$이 첨도이다.

■ 첨도를 통해 다음 그림과 같이 데이터가 '얼마나 몰려있는지' 판단할 수 있다.

[출처] https://analystprep.com/cfa-level-1-exam/quantitative-methods/kurtosis-and-skewness-types-of-distributions/

- 정규분포의 경우 첨도 = 3

- 양의 첨도를 가지며 첨도가 3을 넘어가는 경우 leptokurtic라고 하며, 분포의 형태가 뾰족하다.

- 반대로 첨도가 3보다 낮으면 platykurtic이라고 하며, 분포의 형태가 완만한다.

■ 첨도 값이 클수록 분포의 중심 근처가 더 뾰족해지며, 이는 중심에 데이터가 더 집중되어 있다는 것을, 첨도 값이 낮을수록 분포의 중심 근처가 더 완만해지며, 이는 중심에 데이터가 덜 집중되어 있다는 것. 즉, 데이터가 흩어져 있다는 것을 의미한다.

2.2 적률생성함수와 확률분포

■ 적률생성함수의 중요한 특성은 각각의 분포는 고유한 적률생성함수를 가진다는 것이다. 즉, 적률생성함수가 있고 확률분포를 출력하는 확률 함수가 있다면, 적률생성함수와 확률 함수는 일대일 대응이 된다. 간단히 말해, 하나의 적률생성함수가 하나의 확률분포로 대응된다.

■ 만약, 두 개의 확률변수가 같은 적률생성함수를 가지고 있다면, 두 개의 확률변수는 같은 확률분포를 가지고 있는 상태이다.

■ 확률분포로 확률 함수를 표현할 수 있지만, 적률생성함수로 확률 함수를 표현할 수도 있다.

■ 그러므로, 어떤 확률변수에 대한 적률생성함수를 찾으면 확률분포를 결정할 수 있다.

■ 예를 들어 베르누이 분포, 이항분포, 포아송분포 등 각 분포는 자기만의 고유한 적률생성함수를 가지게 된다.

■ 만약, 서로 독립적인 $X, Y$라는 확률변수가 있다면, $X$의 적률생성함수와 $Y$의 적률생성함수를 구해서 서로 곱해주면 $X + Y$의 적률생성함수를 구할 수 있다.(= $X + Y$의 확률분포를 결정할 수 있다.) 이것으로 $E(X+Y), Var(X+Y)$도 구할 수 있다.

■ $X$와 $Y$가 독립이라면, $X + Y$의 적률생성함수는 $M_{X+Y}(t) = E \left[ e^{t(X+Y)} \right] = E \left[ e^{tX} \cdot e^{tY} \right] = E \left[ e^{tX} \right] \cdot E \left[ e^{tY} \right] = M_X(t) \cdot M_Y(t)$가 된다.

이렇게 서로 독립적인 확률변수 $X$와 $Y$의 mgf를 곱하면 $X + Y$의 mgf가 되는 것이다. 

■ 정리하면, 하나의 확률분포는 하나의 유일한 적률생성함수를 가진다. 즉, 서로 다른 두 확률분포가 같은 적률생성함수를 가질 수 없다.

■ 적률생성함수는 확률분포의 모든 모멘트(평균, 분산, 왜도, 첨도 등)를 생성하고, 이 모멘트들이 어떠한 확률분포의 특징을 완전히 특정지어 결정한다.

■ 그러므로 두 확률분포가 동일한 적률생성함수를 갖는다면, 두 확률분포는 동일한 확률분포를 갖는다고 할 수 있다.

■ 예를 들어, 이항분포의 확률질량함수는 $f(x) = \displaystyle\binom{n}{x} p^x (1-p)^{(n-x)}, x = 0, 1, \cdots, n$이다. 이 확률함수를 이용해 적률생성함수를 만들면 다음과 같다.

이항분포의 적률생성함수 $m(t) = E \left[ e^{tX} \right] = \displaystyle\sum_{x=0}^{n} e^{tx} \cdot f(x) = \sum_{x=0}^{n} e^{tx} \displaystyle\binom{n}{x} p^x (1 - p)^{(n-x)} = \displaystyle\sum_{x=0}^{n} \displaystyle\binom{n}{x} (p e^t)^x (1 - p)^{(n-x)} = (p e^t + 1 - p)^n$

- $\displaystyle\sum_{x=0}^{n} \displaystyle\binom{n}{x} (p e^t)^x (1 - p)^{(n-x)} = (p e^t + 1 - p)^n$는 이항 정리 $(a + b)^n = \displaystyle\sum_{r=0}^{n} \displaystyle\binom{n}{r} a^{n-r} b^r$에 의해

- 이항분포의 적률생성함수를 다음과 같이 미분하면

- $m'(t) = n p e^t (1 - p + p e^t)^{n-1}$

- $m''(t) = n p e^t (1 - p + p e^t)^{n-1} + n (n-1) (p e^t)^2 (1 - p + p e^t)^{n-2}$

- $E(X) = m'(0) = n p, \quad Var(X) = m''(0) - \left[ m'(0) \right]^2 = n p (1 - p)$

■ 예를 들어, 기하분포의 확률질량함수는 $f(x) = (1-p)^{x-1} p, x = 1, 2, 3 \cdots$

■ 기하분포의 적률생성함수는 $m(t) = E \left[ e^{tX} \right] = \displaystyle\sum_{x=1}^{\infty} e^{tx} (1 - p)^{x-1} \cdot p = p e^t \sum_{x=1}^{\infty} e^{t(x-1)} (1 - p)^{x-1} = p e^t \sum_{x=1}^{\infty} \left( (1 - p) e^t \right)^{x-1} = \dfrac{p e^t}{1 - (1 - p) e^t}$

- $m'(t) = \dfrac{p e^t}{(1 - (1 - p) e^t)^2}$

- $m''(t) = \dfrac{p e^t \left( 1 + (1 - p) e^t \right)}{(1 - (1 - p) e^t)^3}$

- $E[X] = m'(0) = \dfrac{1}{p}, \quad Var(X) = m''(0) - \left[ m'(0) \right]^2 = \dfrac{2 - p}{p^2} - \left( \dfrac{1}{p} \right)^2 = \dfrac{1 - p}{p^2}$