由于课程需要，这段时间主要在学习《高等数理统计》（茆诗松等）的无信息先验部分的知识，这部分内容主要还是书中讲解的内容，但是会结合网上的一些资料以及自己的一些理解进行阐述。

---

贝叶斯统计

贝叶斯统计缘起于托马斯.贝叶斯（1702-1761），一位英国长老会牧师和业余数学家。在他去世后发表的论文“论有关机遇问题的求解”中， 贝叶斯定理的现代形式实际上归因于拉普拉斯（1812）。拉普拉斯重新发现了贝叶斯定理，并把它用来解决天体力学、医学甚至法学的问题。但自19世纪中叶起，随着频率学派（在下文有时也称作经典统计）的兴起，概率的贝叶斯解释逐渐被统计学主流所拒绝。

现代贝叶斯统计学的复兴肇始于Jeffreys(1939),在1950年代，经过Wald(1950),Savage(1954),Raiffic&Schlaifer(1961),Lindley(1972),De Finetti(1974)等人的努力，贝叶斯统计学逐渐发展壮大，并发展出了贝叶斯统计决策理论这个新分支。特别是到1990年代以后，随着计算方法MCMC在贝叶斯统计领域的广泛应用，解决了贝叶斯统计学长期存在的计算困难的问题，从而推动了贝叶斯统计在理论和应用领域的长足发展。（以上部分节选自网络）

---

无信息先验分布

通常在贝叶斯分析中，我们需要指定一个先验，但事实在很多前提下，我们是不知道其先验的，这时我们就可以采用无信息先验分布来进行分析计算。

首先我们来考虑：没有信息的场合如何确定先验分布？

• 无信息先验分布
• 与其它“主观”的先验相比更接近“客观”

后面我们将会介绍几种无信息先验分布：

• Bayes 假设
• 位置参数的无信息先验分布
• 尺度参数的无信息先验分布
• Jeffreys 先验分布

---

Bayes 假设

有以下几点：

• “没有$\theta$的任何信息” $\Rightarrow$ 将$\theta$取值范围上的均匀分布作为$\theta$的先验分布。
• “Bayes 假设”：均匀分布
• 例如：如果参数空间$\Theta =(a,b)$，则可用$U(a,b)$作为先验分布

由此我们引出一些问题：

• 当$\Theta$为无限区间，无法定义一个正常的先验分布
• Bayes 假设不满足变换下的不变性

这里我们由一个例子来引出广义先验分布的概念：

设总体$X\sim N(\theta ,1)$，其中$\theta \in (-\infty ,\infty )=\Theta$，若对$\theta$既无任何信息，也无偏爱，则应取如下均匀分布：
$$\pi (\theta )=c,-\infty <\theta <\infty$$
不是一个正常的概率密度函数。按Bayes公式计算：
$$\begin{array}{rl}\pi (\theta |x)& =\frac{h(x,\theta )}{m(x)}=\frac{p(x|\theta )\pi (\theta )}{{\int }_{-\infty }^{\infty }p(x|\theta )\pi (\theta )d\theta }\\ & =\frac{1}{\sqrt{2\pi }}exp\left\{-\frac{1}{2}(\theta -x{)}^2\right\}\end{array}$$

此时，给定$x$下，$\theta$的后验分布为$N(x,1)$。

下面我们给出广义先验分布的具体定义：

设总体$X\sim p(x|\theta ),\theta \in \Theta$，若满足下列条件

• $\pi (\theta )>0$且${\int }_{\Theta }\pi (\theta )d\theta$
• 由此决定的后验密度$\pi (\theta |x)$是正常的密度函数。
  则称$\pi (\theta )$为$\theta$的广义先验密度。

前面例子中给出的$\pi (\theta )=c$就是正态均值$\theta$的一个广义先验分布。常选用$\pi (\theta )=1$。

但这样做会有一些问题，比如：很多时候Bayes假设都不满足变换下的不变性。

• 正态总体$N(0,{\sigma }^2)$：方差${\sigma }^2$，标准差$\sigma$，均在$(0,\infty )$上取值
• $\sigma$的先验分布为$\pi (\sigma )$
• 则$\eta ={\sigma }^2$的分布为：

$$\pi (\sqrt{\eta })\left|\frac{d\sigma }{d\eta }\right|=\pi (\sqrt{\eta })/(2\sqrt{\eta })$$

若$\sigma$的无信息先验分布为常数，那么$\eta ={\sigma }^2$的无信息先验密度应与${\eta }^{-1/2}$成比例。与Bayes假设矛盾。

---

位置参数的无信息先验分布

设总体$X$的密度函数具有形式$p(x-\theta )$，$\theta$称为位置参数，参数空间与样本空间均为$\mathbb{R}$。

• $Y=X+c$
• $\eta =\theta +c$

$Y$的密度为$p(y-\eta )$，同样是位置参数族成员。$\eta$ 与 $\theta$应具有相同分布。（位置变换下保持不变）所以应该有相同的无信息先验分布：
$$\pi (\tau )={\pi }^{\ast }(\tau )$$
另一方面，由$\eta =\theta +c$，可计算$\eta$的无信息先验密度为：
$${\pi }^{\ast }(\eta )=\left|\frac{d\theta }{d\eta }\right|\pi (\eta -c)=\pi (\eta -c)$$
$$\Rightarrow \pi (\eta )=\pi (\eta -c)$$
由于$\eta$与$c$的任意性，$\theta$的无信息先验分布$\pi (\theta )$为一个常数，取其为1。位置参数在位移变换保持不变的无信息先验分布是$\pi (\theta )=1$，即Bayes假设。

---

尺度参数的无信息先验分布

设总体$X$的密度函数具有形式$\frac{1}{\sigma }p(\frac{x}{\sigma })$，$\sigma$称为尺度参数，参数空间为${\mathbb{R}}^{+}$。

• $Y=cX(c>0)$
• $\eta =c\theta$

$Y$的密度函数为$\frac{1}{\eta }p(\frac{y}{\eta })$，同样是尺度参数族成员。同样也应该有相同的无信息先验分布：
$$\pi (\tau )={\pi }^{\ast }(\tau )$$

另一方面，由$\eta =c\theta$，可计算$\eta$的无信息先验密度为：
$${\pi }^{\ast }(\eta )=\left|\frac{d\theta }{d\eta }\right|\pi (\frac{\eta }{c})=\frac{1}{c}\pi (\frac{\eta }{c})$$
$$\Rightarrow \pi (\eta )=\frac{1}{c}\pi (\frac{\eta }{c})$$
取$\eta =c$，则有$\pi (c)=\frac{1}{c}\pi (1)$，为方便记，令$\pi (1)=1$，则$\sigma$的无信息先验分布为
$$\pi (\sigma )=\frac{1}{\sigma },\sigma >0$$

尺度参数在比例变换保持不变的无信息先验分布是$\pi (\theta )=\frac{1}{\sigma }$。与参数为$\frac{1}{\sigma }$的指数分布 $p(x|\sigma )=\frac{1}{\sigma }\exp \left\{-\frac{x}{\sigma }\right\}$ 相结合，其后验密度为：
$$\begin{array}{rl}\pi (\sigma |x)& =\frac{h(x,\sigma )}{m(x)}=\frac{p(x|\sigma )\pi (\sigma )}{{\int }_0^{\infty }p(x|\sigma )\pi (\sigma )d\sigma }\\ & =\frac{x}{{\sigma }^2}exp\left\{-\frac{x}{\sigma }\right\}\end{array}$$
倒Gamma分布的概率密度函数：
$$p(x;\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{-\alpha -1}\exp \left(-\frac{\beta }{x}\right),\alpha >0,\beta >0$$
即后验密度为正常概率密度函数，故上述无信息先验分布是尺度参数$\sigma$的广义先验分布。

---

Jeffreys 先验分布

• 1961年，Jeffreys在他的书里提出了Jeffreys 先验，其最主要性质就是不变性（invariant），即先验的形式不随着参数形式变化而变化。
• 较好地解决了无信息先验中的一个矛盾：若对参数$\theta$选用均匀分布，则其函数$g(\theta )$往往不是均匀分布。
• 采用Fisher信息阵的平方根作为$\theta$的无信息先验分布。

其具体的计算过程如下：
设$x=(x_1,\cdots ,x_n)$是来自密度函数$p(x|\theta )$的一个样本，其中$\theta \text{θ}\theta =({\theta }_1,\cdots ,{\theta }_p)$是$p$维参数向量。

• 样本的对数似然函数$l(\theta \text{θ}\theta |x)={\sum }_{i=1}^n\text{ln}p(x_i|\theta )$；
• 计算出参数$\theta \text{θ}\theta$的Fisher信息阵
  $$\mathbf{I}(\theta \text{θ}\theta )=E_{x|\theta }{\left(-\frac{{\partial }^{2}l}{\partial {\theta }_i\partial {\theta }_j}\right)}_{i,j=1,\cdots ,p}$$
  在单参数场合，$\mathbf{I}(\theta )=E_{x|\theta }\left(-\frac{{\partial }^{2}l}{\partial {\theta }^2}\right)$;
• $\theta \text{θ}\theta$的无信息先验密度函数为$\pi (\theta \text{θ}\theta )=[\text{det}\mathbf{I}(\theta \text{θ}\theta ){]}^{1/2}$.在单参数场合，$\pi (\theta \text{θ}\theta )=[\mathbf{I}(\theta ){]}^{1/2}$

下面我们具体说明Jeffreys 先验分布的不变性。

---

Jeffreys 先验分布的不变性

单参数情形：

$\phi (\theta )$为$\theta$的函数，已知：$\pi (\theta )\propto \sqrt{\mathbf{I}(\theta )}$，考虑$\pi (\phi )$：
$$\begin{array}{rl}\pi (\phi )& =\pi (\theta )\left|\frac{d\theta }{d\phi }\right|\\ & \propto \sqrt{\mathbf{I}(\theta ){\left(\frac{d\theta }{d\phi }\right)}^2}=\sqrt{E\left[{\left(\frac{d\ln l}{d\theta }\right)}^2\right]{\left(\frac{d\theta }{d\phi }\right)}^2}\\ & =\sqrt{E\left[{\left(\frac{d\ln l}{d\theta }\frac{d\theta }{d\phi }\right)}^2\right]}=\sqrt{E\left[{\left(\frac{d\ln l}{d\phi }\right)}^2\right]}\\ & =\sqrt{\mathbf{I}(\phi )}.\end{array}$$

多参数向量情形：

$$\begin{array}{rl}\pi (\vec{\phi })& =\pi (\vec{\theta })\left|\det \frac{\partial {\theta }_i}{\partial {\phi }_j}\right|\\ & \propto \sqrt{\det I(\vec{\theta }){\det }^2\frac{\partial {\theta }_i}{\partial {\phi }_j}}\\ & =\sqrt{\det \frac{\partial {\theta }_k}{\partial {\phi }_i}\det E\left[\frac{\partial \ln L}{\partial {\theta }_k}\frac{\partial \ln L}{\partial {\theta }_l}\right]\det \frac{\partial {\theta }_l}{\partial {\phi }_j}}\\ & =\sqrt{\det E\left[\sum _{k,l}\frac{\partial {\theta }_k}{\partial {\phi }_i}\frac{\partial \ln L}{\partial {\theta }_k}\frac{\partial \ln L}{\partial {\theta }_l}\frac{\partial {\theta }_l}{\partial {\phi }_j}\right]}\\ & =\sqrt{\det E\left[\frac{\partial \ln L}{\partial {\phi }_i}\frac{\partial \ln L}{\partial {\phi }_j}\right]}=\sqrt{\det I(\vec{\phi })}.\end{array}$$

---

下面我们以一个例子来详细介绍Jeffreys 先验分布：

设$X=(x_1,\cdots ,x_n)$来自正态总体$N(\mu ,{\sigma }^2)$的一个样本，现求参数向量$(\mu ,\sigma )$的Jeffreys 先验。

正态总体的对数似然函数
$$l(\mu ,\sigma )=-\frac{1}{2}\ln (2\pi )-n\ln \sigma -\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$
其Fisher信息阵为：
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \mathbf{I}(\mu…
因此$(\mu ,\sigma )$的Jeffreys 先验为
$$\pi (\mu ,\sigma )\propto {\sigma }^{-2}$$

根据上面的例子，我们可以发现几个特例：

• 当$\sigma$已知时，$I(\mu )=-\text{E}\left(-\frac{{\partial }^{2}l}{\partial {\mu }^2}\right)=n/{\sigma }^2$，故$\pi (\mu )=1$，$\mu \in \mathbb{R}$；
• 当$\mu$已知时，$I(\sigma )=-\text{E}\left(-\frac{{\partial }^{2}l}{\partial {\sigma }^2}\right)=2n/{\sigma }^2$，故$\pi (\sigma )=1/\sigma$，$\sigma \in {\mathbb{R}}^{+}$；
• 当$\mu$与$\sigma$独立时，$\pi (\mu ,\sigma )=\pi (\mu )\ast \pi (\sigma )=1/\sigma$，$\mu \in \mathbb{R}$，$\sigma \in {\mathbb{R}}^{+}$.

由此可见：$\mu$与$\sigma$的无先验分布是不独立的。其有两种形式：${\sigma }^{-1}$与${\sigma }^{-2}$。Jeffreys最终推荐的形式是${\sigma }^{-1}$，其实际表现效果也更加出色。

另外我们介绍一个二项分布的例子，设$\theta$为成功概率，则在$n$次独立试验中成功次数$X$服从二项分布
$$P(X=x)=\left(\begin{array}{c}n\\ x\end{array}\right){\theta }^x(1-\theta {)}^{n-x},x=0,1,\cdots ,n$$
在二项分布场合下，成功概率$\theta$的Jeffreys 先验分布为
$$\pi (\theta )\propto {\theta }^{-1/2}(1-\theta {)}^{-1/2},\theta \in (0,1)$$

最后，关于成功概率$\theta$的无信息先验分布，这里列出其中四种：
$$\begin{array}{rlrl}{\pi }_1(\theta )& =1& -\text{Bayes(1763)和Laplace(1812)采用过}& .\\ {\pi }_2(\theta )& ={\theta }^{-1}(1-\theta {)}^{-1}& -\text{Novick和Hall(1965)导出}& .\\ {\pi }_3(\theta )& ={\theta }^{-1/2}(1-\theta {)}^{-1/2}& -\text{Jeffreys(1968)导出}& .\\ {\pi }_4(\theta )& ={\theta }^{\theta }(1-\theta {)}^{1-\theta }& -\text{Zellner(1977)导出}& .\end{array}$$
${\pi }_1$是正常密度，${\pi }_2$是不正常密度，${\pi }_3$，${\pi }_4$正则化后是正常密度。

无信息先验不唯一，并且很少对结果产生重大影响，所以理论上任何无信息先验都可以采用。