动差生成函数

简介

动差生成函数,又称矩母函数. 动差又被称为矩。随机变数X的动差生成函数或矩母函数（moment-generating function）定义为：

$M_{X}(t)=E\left(e^{tX}\right),\quad t\in \mathbb {R}$

前提是这个期望值存在。

问题的引入

这段时间在复习概率的问题. 看了台大叶丙成老师的概率课,其中就讲到矩母函数. 先讲一个小问题,假设两个工人生产玩具. 每天的产量为$x, y$,为简单起见,假设两者产量分别独立且服从$p_X(x), p_Y(y)$, 问两个工人产量之和的概率分布. 令变量z为x+y, 则y=z-x, 由于两者独立所以有$P_{X,Y}(x,y) = p_X(x)p_Y(y) = p_X(x)p_Y(z-x)$, 于是关于变量Z的分布即有

$p_Z(z) = \sum p_{X,Y}(x,z-x) = \sum_{x=-\infty}^\infty p_X(x)p_Y(z-x)$

如果x,y为连续随机变量,则有

$p_Z(z) = \int_{-\infty}^{+\infty} p_X(x) p_Y(z-x) dx$

推广到n个独立随机变量时有

$x = x_1 + x_2 + x_3 + ... + x_n$ $p_X(x) = p_{X_1}(x) * p_{X_2}(x) * p_{X_3}(x) ... p_{X_n}(x)$

上面的式子实际上也是一个卷积的定义,记为$p_x(z) * p_y(z)$, 卷积的计算量很大. 如何方便的计算呢? 本人是学通信的,在信号处理时用到的傅立叶变换就可以把信号从时域变换到频域,而频域乘积就等于时域的卷积. 所以问题的解决方法之一是将两个相互独立的分布函数转换到另一个域,在另一个域上做相乘后再用逆变换转换回来即可.

那么这个转换函数是什么呢？矩母函数就可以对于n个变量的情形$x=x_1+x_2+…+x_n$ 其中

$p_{x_i}(x)$

被转换为

$\phi_{x_i}(t_i) = E(e^{t_ix_i})$

而变量$x=x_1+x_2+…+x_n$的矩母函数为

$\phi_{x}(t) = \phi_{x_1}(t_1) \phi_{x_2}(t_2) ... \phi_{x_n}(t_n)$

定义

矩

在实数域上的实函数相对于值c的n阶矩为:

$\mu_{n}^\prime = \int_{-\infty }^{\infty} (x-c)^{n} f(x) dx$

如果f(x)是概率密度函数，则容易看出相对于值0的1阶矩是连续随机变量的数学期望
而方差则为二阶中心矩即c为E(X)
随机变量的偏态定义为其3阶中心矩
随机变量的峰态定义为其4阶中心矩

从矩母函数导出矩

对矩母函数做泰勒展开有

$e^{sx} = 1+sx+\frac{s^2x^2}{2!}+\frac{s^3x^3}{3!}+...$ $M_{X}(s) = E(e^{sx} = 1 + sE(X) + \frac{s^2E(X^2)}{2!} + \frac{s^3E(X^3)}{3!} + ...$

只要动差生成函数在t = 0周围的开区间存在，第n个原点矩为

$\frac{d^n M_X(s)}{ds} = \frac{n! E(X^n)}{n!} = E(X^n)$

也就是说对矩母函数做n次求导,可以得到随机变量的n阶原点矩.

矩母函数的域

对于有限个不同取值的离散随机变量, 例如离散随机变量X可以取值1,2,3,相应的概率为1/2, 1/3, 1/6那么相应的矩母函数为

$M_X(s) = \frac{1}{2} e^s + \frac{1}{3} e^{2s} + \frac{1}{3} e^{3s}$

对于$s \in \Re$都有$M_x(s) < \infty$

而对于柯西分布Cauchy distribution,$f_X(x) = \frac{1}{\pi(1 + x^2)}$ 可以看出对于所有$s \neq 0$有$M_X(s) = \infty$

矩母函数的逆

回到前面的问题,计算多个独立随机变量的和所服从的概率分布,直接计算会涉及到卷积.而取巧的方法是用矩母函数进行变换,然后多变量的矩母函数相乘得到独立随机变量的和的矩母函数.最后还需要再用矩母函数的逆变换才能得到多个独立随机变量的和所服从的概率分布.

矩母函数逆变换的推导比较复杂,涉及到曲线积分(contour integral).而一般的做法是直接查表.

MGF table

参考

https://en.wikipedia.org/wiki/Moment-generating_function