http://blog.csdn.net/pipisorry/article/details/39076957

概率分布（列表）
离散单变量	有限支集 本福特定律 伯努利分布 Β-二项式分布 二项式分布 categorical 超几何分布 negative Poisson binomial Rademacher 孤子分布 离散型均匀分布 齐夫定律 Zipf–Mandelbrot 无限支集 beta negative binomial Borel Conway–Maxwell–Poisson discrete phase-type Delaporte extended negative binomial Flory–Schulz Gauss–Kuzmin 几何分布 对数分布 mixed Poisson 负二项分布 Panjer parabolic fractal 泊松分布 Skellam Yule–Simon zeta
连续单变量	紧支集 arcsine ARGUS Balding–Nichols Bates Β分布 beta rectangular continuous Bernoulli 欧文–贺尔分布 Kumaraswamy logit-normal noncentral beta PERT raised cosine reciprocal 三角形分布 U-quadratic 连续型均匀分布 维格纳半圆分布 半无限区间支集 Benini Benktander 1st kind Benktander 2nd kind beta prime Burr chi 卡方分布 noncentral inverse scaled Dagum Davis 爱尔朗分布 hyper 指数分布 亚指数分布 logarithmic F-分布 noncentral folded normal Fréchet 伽玛分布 generalized inverse gamma/Gompertz Gompertz shifted half-logistic half-normal Hotelling's T-squared 逆高斯分布 广义逆高斯分布 柯尔莫哥洛夫-斯米尔诺夫检验 Lévy log-Cauchy log-Laplace log-logistic 对数正态分布 log-t Lomax matrix-exponential 麦克斯韦-玻尔兹曼分布 Maxwell–Jüttner Mittag-Leffler Nakagami 帕累托分布 phase-type Poly-Weibull 瑞利分布 relativistic Breit–Wigner 莱斯分布 truncated normal type-2 Gumbel 韦伯分布 discrete Wilks's lambda 无限区间支集 柯西分布 exponential power 费希尔z分布 Kaniadakis κ-Gaussian Gaussian q generalized normal generalized hyperbolic geometric stable 耿贝尔分布 Holtsmark hyperbolic secant Johnson's SU 朗道分布 拉普拉斯分布  asymmetric logistic noncentral t 正态分布 normal-inverse Gaussian skew normal slash 稳定分布 司徒顿t分布 Tracy–Widom variance-gamma 福格特函数 可变类型支集 generalized chi-squared generalized extreme value generalized Pareto Marchenko–Pastur Kaniadakis κ-exponential Kaniadakis κ-Gamma Kaniadakis κ-Weibull Kaniadakis κ-Logistic Kaniadakis κ-Erlangl q-exponential q-Gaussian q-Weibull shifted log-logistic Tukey lambda
混合单变量	连续离散 修正高斯分布
联合分布	Discrete:  Ewens multinomial Dirichlet negative Continuous:  狄利克雷分布 generalized multivariate Laplace 多元正态分布 multivariate stable multivariate t normal-gamma inverse 随机矩阵 LKJ 矩阵正态分布 matrix t matrix gamma inverse matrix gamma 威沙特分布 normal 逆威沙特分布 normal-inverse
定向统计	循环单变量定向统计 圆均匀分布 univariate von Mises wrapped normal wrapped Cauchy wrapped exponential wrapped asymmetric Laplace wrapped Lévy 球形双变量 Kent 环形双变量 bivariate von Mises 多变量 von Mises–Fisher Bingham
退化分布和奇异分布	退化 狄拉克δ函数 奇异 康托尔分布
其它	Circular 复合泊松分布 elliptical exponential natural exponential location–scale Maximum entropy Mixture Pearson Tweedie Wrapped

[概率分布（列表）]

常见离散概率分布

Bernoulli、Binomial、Poisson

伯努利分布

对单次抛硬币的建模，X~Bernoulli(p)的PDF为

随机变量X只能取{0, 1}。

对于所有的pdf，都要归一化！而对于伯努利分布，已经天然归一化了，因此归一化参数就是1。

现在我们假设我们有一个 x 的观测值的数据集 D = {x 1 , . . . , x N } 。假设每次观测都是独立地从 p(x | μ) 中抽取的,因此我们可以构造关于 μ 的似然函数如下

mle得出 μ = m/N。

二项分布

很多次抛硬币的建模就是二项分布了。二项分布是n次独立的伯努利试验的和（故根据中心极限定理可知，二项分布的极限分布为高斯分布）。它的期望值和方差分别等于每次单独试验的期望值和方差的和。

注意二项分布有两个参数，n和p，要考虑抛的次数。

二项分布的取值X一般是出现正面的次数，其PDF为：

2.10就是二项分布pdf的归一化参数。

mle式2.9亦得出μ = m/N，故式 2.5和式2.9是等价的。lz：二项分布相当于是通过伯努利分布直接构造出的似然函数（没有归一化）的归一化分布。

beta分布

如果是beta分布，把归一化项换成beta函数分之一即可，这样可以从整数情况推广为实数情况。所以beta分布是二项分布的实数推广！

多项式分布Multinomial

多项分布则更进一层，抛硬币时X只能有两种取值，当X有多种取值时，就应该用多项分布建模。

二元变量可以用来描述只能取两种可能值中的某一种这样的量。然而,我们经常会遇到可以取 K 个互斥状态中的某一种的离散变量。虽然有多种方式来表达这种变量,但是我们稍后会看到,一种比较方便的表示方法是“1- of - K ”表示法。这种表示方法中,变量被表示成一个 K 维向量 x ,向量中的一个元素 x k 等于1,剩余的元素等于0。例如,如果我们有一个能够取 K = 6 种状态的变量,这个变量的某次特定的观测恰好对应于 x 3 = 1 的状态,那么 x 就可以表示为x = (0, 0, 1, 0, 0, 0) T。注意,这样的向量满足∑ xk=1

我们可以考虑 m 1 , . . . , m K 在参数 μ 和观测总数 N 条件下的联合分布。

根据似然函数,这个分布的形式为

归 一 化 系 数 是 把 N 个 物 体 分 成 大 小为 m 1 , . . . , m K 的 K 组的方案总数,定义为

注意, m k 满足下面的限制

或者通过概率直接推出

几何分布

得到第一次成功之前所经历的失败次数Y。Y的值域是{ 0, 1, 2, 3, ... }

如果每次试验的成功概率是p，第一次成功之前所失败的次数，可以写为

其中k=0,1,2,3,…

比如，假设不停地掷​骰子​，直到得到1。投掷次数是随机分布的，取值范围是无穷集合{ 1, 2, 3, ... }，并且是一个p=1/6的几何分布

概率密度函数                                                  累积分布函数 

皮皮blog

常见连续概率分布

均匀分布

指数分布

正态分布与卡方分布

[概率论：高斯分布]

Beta分布

拉普拉斯分布 Laplace Dist

在概率论与统计学中，拉普拉斯分布是以皮埃尔-西蒙·拉普拉斯的名字命名的一种连续概率分布。由于它可以看作是两个不同位置的指数分布背靠背拼接在一起，所以它也叫作双指数分布。当数据分布的波峰比正态分布更尖锐时使用 Laplace 分布。例如，Laplace 分布用于生物、金融和经济学方面的建模。

两个相互独立同概率分布指数随机变量之间的差别是按照指数分布的随机时间布朗运动，所以它遵循拉普拉斯分布。

[wikipedia 拉普拉斯分布]

Gaussian-Exponential Mixture

laplace分布可以看成是高斯分布和指数分布的混合体。

[【机器学习中的数学】比例混合分布]

from: http://blog.csdn.net/pipisorry/article/details/3907695

ref: [PRML]