矩母函数推导与说明
矩母函数的推导与说明 – 潘登同学的概率论笔记文章目录矩母函数的推导与说明 -- 潘登同学的概率论笔记矩母函数的由来矩母函数n阶导是n阶距的证明经典分布的矩母函数伯努利分布二项分布泊松分布指数分布正态分布独立随机变量和矩母函数的由来考虑一个有样本空间SSS的随机变量XXX,一阶距表示随机变量XXX的期望E[X]E[X]E[X]，二阶矩表示随机变量X2X^2X2的期望E[X2]E[X^2]E[X2]
矩母函数的推导与说明 – 潘登同学的概率论笔记
矩母函数的由来
考虑一个有样本空间 S S S的随机变量 X X X,一阶距表示随机变量 X X X的期望 E [ X ] E[X] E[X]，二阶矩表示随机变量 X 2 X^2 X2的期望 E [ X 2 ] E[X^2] E[X2]，那么n阶距表示 X n X^n Xn的期望 E [ X n ] E[X^n] E[Xn]
回想概率密度函数与概率分布函数:
- 随机变量 X X X发生概率为 P ( x ) P(x) P(x),概率分布函数 F ( x ) = P { X ≤ x } = ∫ − ∞ x f ( t ) d t F(x) = P\{X \leq x\} = \int_{-\infty}^x f(t)dt F(x)=P{X≤x}=∫−∞xf(t)dt,而对概率分布函数求导，就可以得到概率密度函数 f ( x ) f(x) f(x)
- 类似地，矩母函数 Φ ( t ) = E ( e t X ) = ∫ − ∞ + ∞ e t x d F ( x ) \Phi(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}e^{tx}dF(x) Φ(t)=E(etX)=∫−∞+∞etxdF(x),对矩母函数求 n n n阶导就可以得到 n n n阶距
矩母函数n阶导是n阶距的证明
给出矩母函数的准确定义，设
X
X
X为随机变量，若存在某正实数
h
h
h,对于区间
(
−
h
,
h
)
(-h,h)
(−h,h)中任一实数
t
t
t，数学期望
E
(
e
t
X
)
E(e^{tX})
E(etX)均存在
M
X
(
t
)
=
E
(
e
t
X
)
=
{
∑
e
t
x
p
(
x
)
,
if
X
is Discrete
∫
e
t
x
p
(
x
)
d
x
,
if
X
is Continuous
M_X(t) = E(e^{tX}) = \begin{cases} \sum e^{tx}p(x), & \text{if }X\text{ is Discrete} \\ \int e^{tx}p(x)dx, & \text{if }X\text{ is Continuous} \end{cases}
MX(t)=E(etX)={∑etxp(x),∫etxp(x)dx,if X is Discreteif X is Continuous
对
e
t
x
e^{tx}
etx进行泰勒展开
e
t
x
=
1
+
t
x
+
(
t
x
)
2
2
!
+
⋯
+
(
t
x
)
n
n
!
+
⋯
e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots
etx=1+tx+2!(tx)2+⋯+n!(tx)n+⋯
这里以连续型为例，把 M X ( t ) M_X(t) MX(t)中的 e t x e^{tx} etx用展开式替换
M X ( t ) = E ( e t X ) = ∫ − ∞ + ∞ [ 1 + t x + ( t x ) 2 2 ! + ⋯ + ( t x ) n n ! + ⋯ ] f ( x ) d x M_X(t) = E(e^{tX}) = \int_{-\infty}^{+\infty}[1 + tx + \frac{(tx)^2}{2!} + \cdots + \frac{(tx)^n}{n!} + \cdots]f(x)dx MX(t)=E(etX)=∫−∞+∞[1+tx+2!(tx)2+⋯+n!(tx)n+⋯]f(x)dx
抽出其中一项看一下,其实就是n阶距前面乘上了一个系数
∫ − ∞ + ∞ ( t x ) 2 2 ! f ( x ) d x = t 2 2 ! ∫ − ∞ + ∞ x 2 f ( x ) d x = t 2 2 ! E ( X 2 ) \begin{aligned} &\int_{-\infty}^{+\infty} \frac{(tx)^2}{2!} f(x)dx \\ =&\frac{t^2}{2!}\int_{-\infty}^{+\infty} x^2 f(x)dx \\ =&\frac{t^2}{2!} E(X^2) \end{aligned} ==∫−∞+∞2!(tx)2f(x)dx2!t2∫−∞+∞x2f(x)dx2!t2E(X2)
所以上式可以改写为
M
X
(
t
)
=
1
+
t
m
1
+
t
2
2
!
m
2
+
⋯
+
t
n
n
!
m
n
+
⋯
M_X(t) = 1 + tm_1 + \frac{t^2}{2!}m_2 + \cdots + \frac{t^n}{n!}m_n + \cdots
MX(t)=1+tm1+2!t2m2+⋯+n!tnmn+⋯
其中,
m
k
m_k
mk表示k阶距
对上式在
t
=
0
t=0
t=0处求k阶导
M
X
(
k
)
(
0
)
=
d
k
M
X
(
t
)
d
t
k
∣
t
=
0
=
m
k
M_X^{(k)}(0) = \frac{d^kM_X(t)}{dt^k}|_{t=0} = m_k
MX(k)(0)=dtkdkMX(t)∣t=0=mk
经典分布的矩母函数
伯努利分布
-
用随机变量 X X X表示伯努利试验的结果,则 X X X服从伯努利分布
f ( x ) = { p x ( 1 − p ) x , x = 0 , 1 0 , else f(x) = \begin{cases} p^x(1-p)^x, & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases} f(x)={px(1−p)x,0, x=0,1else -
根据上面的定义写出矩母函数
M X ( t ) = ∑ x = 0 , 1 e t x f ( x ) = ( 1 − p ) + p e t \begin{aligned} M_X(t) &= \sum_{x=0,1} e^{tx}f(x) \\ &= (1-p) + pe^t \end{aligned} MX(t)=x=0,1∑etxf(x)=(1−p)+pet
二项分布
-
用随机变量 X X X表示n重伯努利试验中成功的次数,则其概率密度函数为
f ( x ) = { C x n p x ( 1 − p ) ( n − x ) , x = 0 , 1 0 , else f(x) = \begin{cases} C_x^n p^x(1-p)^(n-x), & \text{ }x = 0,1\text{} \\ 0, & \text{else }\text{ } \end{cases} f(x)={Cxnpx(1−p)(n−x),0, x=0,1else -
写出矩母函数
M X ( t ) = ∑ x = 0 n e t x f ( x ) = [ ( 1 − p ) + p e t ] n \begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= [(1-p) + pe^t]^n \end{aligned} MX(t)=x=0∑netxf(x)=[(1−p)+pet]n
注意 上面的过程是基于二项分布的系数就是n次多项式展开的系数，所以可以反着用一次将展开的多项式还原
泊松分布
-
用随机变量 X X X表示某个商店一天中卖出某件商品的数量,假设 X X X服从参数为 λ \lambda λ的泊松分布
f ( x ) = e − λ λ x x ! f(x) = \frac{e^{-\lambda}\lambda^x}{x!} f(x)=x!e−λλx -
写出矩母函数
M X ( t ) = ∑ x = 0 n e t x f ( x ) = e t x e − λ λ x x ! \begin{aligned} M_X(t) &= \sum_{x=0}^n e^{tx}f(x) \\ &= e^{tx} \frac{e^{-\lambda}\lambda^x}{x!} \end{aligned} MX(t)=x=0∑netxf(x)=etxx!e−λλx -
令 a = λ e t a = \lambda e^t a=λet，
M X ( t ) = e − λ ∑ x = 0 n a x x ! = e − λ e a = e λ ( e t − 1 ) \begin{aligned} M_X(t) &= e^{-\lambda}\sum_{x=0}^n \frac{a^x}{x!} \\ &= e^{-\lambda} e^a = e^{\lambda(e^t-1)} \end{aligned} MX(t)=e−λx=0∑nx!ax=e−λea=eλ(et−1) -
对矩母函数求一阶导, 验证是否等于均值
d e λ ( e t − 1 ) d t ∣ t = 0 = λ ( e t ) e λ ( e t − 1 ) ∣ t = 0 = λ \frac{de^{\lambda(e^t-1)}}{dt}|_{t=0} = \lambda(e^t) e^{\lambda(e^t-1)}|_{t=0} = \lambda dtdeλ(et−1)∣t=0=λ(et)eλ(et−1)∣t=0=λ
指数分布
-
设随机变量 X X X表示某个灯泡的寿命，假设 X X X服从参数为 λ \lambda λ的指数分布
f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx -
写出矩母函数
M X ( t ) = ∫ 0 + ∞ e t x f ( x ) d x = ∫ 0 + ∞ e t x λ e − λ x d x = λ ∫ 0 + ∞ e ( t − λ ) x d x = t < λ λ λ − t \begin{aligned} M_X(t) &= \int_{0}^{+\infty} e^{tx}f(x)dx \\ &= \int_{0}^{+\infty} e^{tx}\lambda e^{-\lambda x}dx \\ &= \lambda \int_{0}^{+\infty} e^{(t-\lambda) x}dx \\ &\overset{t<\lambda}{=} \frac{\lambda}{\lambda - t} \\ \end{aligned} MX(t)=∫0+∞etxf(x)dx=∫0+∞etxλe−λxdx=λ∫0+∞e(t−λ)xdx=t<λλ−tλ
重要的是要认识到矩母函数不是一个数而是一个参数为 t 的函数
- 对矩母函数求一阶导, 验证是否等于均值
d λ λ − t d t ∣ t = 0 = λ ( λ − t ) 2 ∣ t = 0 = 1 λ \frac{d\frac{\lambda}{\lambda - t}}{dt}|_{t=0} = \frac{\lambda}{(\lambda - t)^2}|_{t=0} = \frac{1}{\lambda} dtdλ−tλ∣t=0=(λ−t)2λ∣t=0=λ1
正态分布
-
设随机变量 X X X为随机抽样得到的某一个人的身高, 假设 X X X服从均值为 μ \mu μ，方差为 σ 2 \sigma^2 σ2的正态分布;先考虑其标准正态随机变量 Y Y Y的概率密度与矩母函数
Y = X − μ σ f ( y ) = 1 2 π e − y 2 2 Y = \frac{X-\mu}{\sigma} \\ f(y) = \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}} Y=σX−μf(y)=2π1e−2y2 -
计算矩母函数
M Y ( t ) = ∫ − ∞ + ∞ 1 2 π e − y 2 2 e t y d y = 1 2 π ∫ − ∞ + ∞ e − y 2 2 + t y d y = e t 2 2 2 1 2 π ∫ − ∞ + ∞ e − ( y − t ) 2 2 d y = e t 2 2 \begin{aligned} M_Y(t) &= \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}} e^{ty}dy \\ &= \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{y^2}{2}+ty}dy \\ &= e^{\frac{t^2}{2}}{2}\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{-\frac{(y-t)^2}{2}}dy \\ &= e^{\frac{t^2}{2}} \end{aligned} \\ MY(t)=∫−∞+∞2π1e−2y2etydy=2π1∫−∞+∞e−2y2+tydy=e2t222π1∫−∞+∞e−2(y−t)2dy=e2t2
注意 上面是构造了一个均值为t，方差为1的正态分布概率密度，利用积分为1的性质得到的
-
利用 X X X与 Y Y Y的线性关系，计算 X X X的矩母函数
M X ( t ) = e t μ M Y ( t σ ) = e t μ + ( t σ ) 2 2 M_X(t) = e^{t\mu}M_Y(t\sigma) = e^{t\mu + \frac{(t\sigma)^2}{2}} MX(t)=etμMY(tσ)=etμ+2(tσ)2 -
给出上式证明
M Y ( t ) = E [ e t Y ] = E [ e t ( σ X + μ ) ] = e t μ E [ e ( t σ ) X ] = e t μ M X ( t σ ) \begin{aligned} M_Y(t) &= E[e^{tY}] \\ &= E[e^{t(\sigma X + \mu)}] \\ &= e^{t\mu}E[e^{(t\sigma)X}]\\ &= e^{t\mu}M_X(t\sigma) \end{aligned} \\ MY(t)=E[etY]=E[et(σX+μ)]=etμE[e(tσ)X]=etμMX(tσ)
独立随机变量和
独立随机变量的和的矩母函数是各个随机变量的矩母函数的乘积
- 设
X
X
X和
Y
Y
Y为独立的随机变量，并记
Z
=
X
+
Y
Z=X+Y
Z=X+Y
M Z ( t ) = E [ e t Z ] = E [ e t ( X + Y ) ] = E [ e t X + t Y ] = M X ( t ) + M Y ( t ) M_Z(t) = E[e^{tZ}] = E[e^{t(X+Y)}] = E[e^{tX+tY}] = M_X(t) + M_Y(t) MZ(t)=E[etZ]=E[et(X+Y)]=E[etX+tY]=MX(t)+MY(t)
所以我们上面那个二项分布的矩母函数也可以根据这个性质得到
- 设
X
1
,
X
2
,
…
,
X
n
X_1,X_2,\ldots,X_n
X1,X2,…,Xn为独立的伯努利实验，
Z
=
X
1
+
X
2
+
…
+
X
n
Z=X_1+X_2+\ldots+X_n
Z=X1+X2+…+Xn为n重伯努利实验
M Z ( t ) = [ M X ( t ) ] n = [ ( 1 − p ) + p e t ] n M_Z(t) = [M_X(t)]^n = [(1-p) + pe^t]^n MZ(t)=[MX(t)]n=[(1−p)+pet]n
E[e^{t(X+Y)}] = E[e^{tX+tY}] = M_X(t) + M_Y(t)
$$
所以我们上面那个二项分布的矩母函数也可以根据这个性质得到
- 设
X
1
,
X
2
,
…
,
X
n
X_1,X_2,\ldots,X_n
X1,X2,…,Xn为独立的伯努利实验，
Z
=
X
1
+
X
2
+
…
+
X
n
Z=X_1+X_2+\ldots+X_n
Z=X1+X2+…+Xn为n重伯努利实验
M Z ( t ) = [ M X ( t ) ] n = [ ( 1 − p ) + p e t ] n M_Z(t) = [M_X(t)]^n = [(1-p) + pe^t]^n MZ(t)=[MX(t)]n=[(1−p)+pet]n
开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！
更多推荐
2
0- 0
已为社区贡献12条内容
所有评论(0)