两个独立的正态分布的乘积公式

正态分布的密度函数：
$$\begin{array}{r}f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\end{array}$$

在进行理论推导之前，我们先通过Matlab数值计算看看两独立正态分布的乘积情况：

如图所示绿色和红色分别代表两个独立的正态分布函数，蓝色为两个分布的乘积。

从蓝色形状可以粗略的看出乘积结果可能为一个幅值被压缩的正态分布，其期望在$[{\mu }_1,{\mu }_2]$之间，但是还需严格的理论推导。

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-[\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}]}\end{array}$$

先单独分析指数部分：
$$\begin{array}{rl}令\beta & =\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}\\ & =\frac{({\sigma }_1^2+{\sigma }_2^2)x^2-2({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2)x+({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)}{2{\sigma }_1^2{\sigma }_2^2}\\ & =\frac{x^2-2\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}x+\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\end{array}$$
构造：
$$\begin{array}{r}\beta =\underset{\gamma }{\underbrace{\frac{(x-\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}}+\underset{\lambda }{\underbrace{\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}}\end{array}$$
则 $\beta =\gamma +\lambda$

记：
$$\begin{array}{rl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}\\ {\sigma }^2& =\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$
则：
$$\begin{array}{r}\gamma =\frac{(x-\mu {)}^2}{2{\sigma }^2}\end{array}$$
继续化简 $\lambda$：

$$\begin{array}{rl}\lambda & =\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\\ & =\frac{({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)({\sigma }_1^2+{\sigma }_2^2)-({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2{)}^2}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\mu }_1^2{\sigma }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2{\sigma }_2^2+{\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4-({\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4+2{\mu }_1{\mu }_2{\sigma }_1^2{\sigma }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\sigma }_1^2{\sigma }_2^2({\mu }_1^2-2{\mu }_1{\mu }_2+{\mu }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}\end{array}$$

可得两个高斯分布相乘为：
$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\beta }=\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-(\gamma +\lambda )}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\gamma }\cdot e^{-\lambda }\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

其中
$$\begin{array}{rlrl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}& & {\sigma }^2=\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$

把常数项综合为 $S_g$， 可得其直观表达式：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

到此，两个正态分布相乘的分布函数即推导出来，即相乘后的分布函数为一个被压缩或者放大的正态分布，$S_g$ 为缩放因子，$f_1(x)f_2(x)$ 的积分等于$S_g$，它不一定等于1，但$f_1(x)f_2(x)$的方差和均值性质不变。

有关 $S_g$ 对该乘积的影响，请参阅文章 两个高斯分布乘积的理论推导 的后半部分。

两个独立的正态分布的和的直觉错误

直觉中，两个正态随机变量的和似乎应该是两个概率密度函数的和，如下图所示，其结果就近似为两个概率密度的包络线，这其实是大错特错的。

卷积公式

已知两个相互独立的随机变量$X$ 和 $Y$，他们的概率密度函数分别为$f_X(x)(-\infty <x<+\infty )$ 和 $f_Y(y)(-\infty <y<+\infty )$。则它们的联合随机变量$(X,Y)$的概率密度$f(x,y)=f_X(x)f_Y(y)$（这是两个连续型随机变量相互独立的充要条件）。

$Z=X+Y$ 的分布函数：
F Z ( z ) = P { X + Y ≤ z } = ∬ x + y ≤ z f ( x , y ) d x d y = ∫ − ∞ + ∞ d x ∫ − ∞ z − x f ( x , y ) d y ( 或 ∫ − ∞ + ∞ d y ∫ − ∞ z − y f ( x , y ) d x ) = ∫ − ∞ z − x d y ∫ − ∞ + ∞ f ( x , y ) d x ( 或 ∫ − ∞ z − y d x ∫ − ∞ + ∞ f ( x , y ) d y ) \begin{align*} F_Z(z) &= P\{X+Y \leq z\} \\ &= \iint_{x+y\leq z} f(x, y) dx dy \\ &= \int_{-\infty}^{+\infty}dx \int_{-\infty}^{z-x}f(x,y) dy (或\int_{-\infty}^{+\infty}dy \int_{-\infty}^{z-y}f(x,y) dx ) \\ & = \int_{-\infty}^{z-x} dy \int_{-\infty}^{+\infty} f(x,y) dx (或 \int_{-\infty}^{z-y} dx \int_{-\infty}^{+\infty} f(x,y) dy) \end{align*} FZ​(z)​=P{X+Y≤z}=∬x+y≤z​f(x,y)dxdy=∫−∞+∞​dx∫−∞z−x​f(x,y)dy(或∫−∞+∞​dy∫−∞z−y​f(x,y)dx)=∫−∞z−x​dy∫−∞+∞​f(x,y)dx(或∫−∞z−y​dx∫−∞+∞​f(x,y)dy)​
$Z=X+Y$的概率密度函数：
$$\begin{array}{rl}{f}_Z(z)=F_Z^{\prime }(z)& ={\int }_{-\infty }^{+\infty }f(x,z-x)dx(或{\int }_{-\infty }^{+\infty }f(z-y,y)dy)\end{array}$$
当$X$和$Y$相互独立时，$f(x,y)=f_X(x)f_Y(y)$，则

$$\begin{array}{rl}{f}_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx\\ 或f_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy\end{array}$$
以上两个公式称为卷积公式，记为 $f_Z=f_X\ast f_Y$。

根据卷积公式和乘积公式计算两个独立正态分布的和

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则根据卷积公式， $N=N_1+N_2$ 的概率密度 $f(z=x+y)$为：
$$\begin{array}{rl}f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)f_2(z-x)dx\\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}dx\end{array}$$
记：
$$\begin{array}{rl}{f}_2^{\prime }(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{[x-(z-{\mu }_2){]}^2}{2{\sigma }_2^2}}\end{array}$$
不难看出 $f_2^{\prime }(x)$对应的随机变量$N_2^{\prime }\sim (z-{\mu }_2,{\sigma }_2^2)$（这里的$f_2^{\prime }(x)$和$N_2^{\prime }$不需要追问它的实际意义，只是为了帮助理解运用正态分布乘积公式）

$$\begin{array}{rl}{f}_1(x)\cdot f_2^{\prime }(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ 其中S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\\ 则f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)\cdot f_2^{\prime }(x)dx\\ & ={\int }_{-\infty }^{+\infty }{S}_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\cdot {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\\ & =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$
也就是 $N=N_1+N_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$。