本文记录下对信道容量的数学推导。

信道容量与互信息

假定读者已有了基本的信息论知识， 那么， 假设发送信号为 $x$ （可以是一个长度为$N$的向量）， 接收信号为 $y$。 衡量 $x$信息量的度量就是 $x$的熵 $H(x)$, 而条件熵 $H(x|y)$ 就是在已知 $y$的情况下， $x$剩余的不确定度。

那么，要想达到可靠通信， $H(x|y)$要趋近于0。 既已知了 $y$就相当于已知了 $x$.
根据信息熵的公式，我们有：
$$H(x\mid y)=H(x)-I\left(x;y\right)\text{\hspace{1em}(1)}$$
这里 $I\left(x;y\right)$ 就是$x$和$y$的互信息。 (1)揭示了条件熵就是 $x$的不确定度减去 通过观测到$y$而减少的不确定度。

现在假设 发送总空间大小(可取的值的数量）为$|e|$， 每个码字的长度为$N$, 那么总共传输的比特数就是 $\log |e|$， 因此单位时间的码率则是 $R=\frac{1}{N}\log |e|$.

又注意到， 最大化信息量需要等概率地发送这$|e|$种信息， 也就是说， $H(x):={\sum }_{i\in I}{p}_x(i)\log \left(1/p_x(i)\right)=\log (|e|)=NR$。

那么根据(1)， 由于有$H(x|y)\approx 0$， 因此$I\left(x;y\right)\approx H(x)=NR$, 因此:

$$R\approx \frac{I\left(x;y\right)}{N}$$

也就是说， 信道容量(速率） $R$ 由互信息决定！

我们迅速推导一个$R$的上界，也即互信息的上界， 有：
$\begin{array}{rl}I(\mathbf{x};\mathbf{y})& =H(\mathbf{y})-H(\mathbf{y}\mid \mathbf{x})\\ & ⩽\sum _{m=1}^{\mathrm{N}}H(y[m])-H(\mathbf{y}\mid \mathbf{x})\\ & =\sum _{i=1}^{\mathrm{s}}H(y[m])-\sum _{\mathbf{m}=1}^{N}H(\mathbf{y}[m]\mid \mathbf{x}[\mathrm{m}])\\ & =\sum _{m=1}^{N}I\left(x[\mathrm{m}];y[m]\right)\end{array}$

因为$x$和$y$都是长度为$N$的码字， 因此我们可以这样把他展开。 第一个不等式处， 因为
$$H(\mathbf{y})=H(y_1|y_2,\cdots ,y_N)+\cdots +H(y_N|y_1,\cdots ,y_{N-1})\le H(y_1)+\cdots +H(y_N)$$
当且仅当$y_1,\cdots ,y_N$相互独立时， 等号成立。 后面将 $H(\mathbf{y}\mid \mathbf{x})$拆分也是同样的道理， 因为这里考虑的是无记忆信道，即接收码字之和当前的发送码字相关，所以这里是等号。

通过推导， 发现最大化互信息， 其实就是最大化每个码字的互信息。

AWGN信道容量的严格推导

根据上面的推导， 我们发现容量可以简化为一个码字，即一个标量的输入输出间的互信息。
需要注意的是， 加入发送的为$x$， 接收到的信号为 $y$， （均为标量）， 如果假设AWGN信道，那么：
$$y=x+w$$
其中 $w$ 代表噪声, 服从高斯分布 $w\sim \mathcal{N}(0,{\sigma }^2)$。 注意到 $x$ 和 $y$都是连续值， 这时候如何计算一个连续随机变量的熵呢？ 在信息论里，需要引出微分熵的概念:
$$h(x)={\int }_{-\infty }^{\infty }{f}_x(u)\log \left(1/f_x(u)\right)\mathrm{d}u\text{\hspace{1em}(2)}$$
其中 $f_x$代表$x$的概率密度函数。 显然形式和离散情况非常相似， 只是对于连续值，用概率密度函数代替了概率（对于连续随机变量， 每个值的概率趋近于0）。

接下来， 我们推导条件熵 $h(y|x)$。 对于发送信号$x$ (确定值）, $f_{y|x}$ 即条件概率密度可表示为：
$$f_{y|x}(u)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(u-x{)}^2}{2{\sigma }^2}}$$

那么，我们根据(2)来计算 $h(y|x)$， 即（注意 $\log$指的是${\log }_2$)：
$$h(y|x)=-{\int }_{-\infty }^{\infty }{f}_{y|x}(u)\log (f_{y|x}(u))du=-\frac{1}{\ln (2)}{\int }_{-\infty }^{\infty }{f}_{y|x}(u)\ln (f_{y|x}(u))du$$
这里利用了换底公式为后续简化计算：
$${\log }_{a}b=\frac{{\log }_{c}b}{{\log }_{c}a}$$
令 $t=\frac{u-x}{\sqrt{2}\sigma }$, 即 $u=\sqrt{2}\sigma t+x$，$du=\sqrt{2}\sigma dt$,上式可化简为：
$$\begin{gathered} {\int }_{-\infty }^{\infty }{f}_{y|x}(u)\ln (f_{y|x}(u))du=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }{e}^{-t^2}\ln (\frac{1}{\sqrt{2\pi }\sigma }{e}^{-t^2})\sqrt{2}\sigma dt \\ =\frac{1}{\sqrt{\pi }}{\int }_{-\infty }^{\infty }{e}^{-t^2}(\ln (\frac{1}{\sqrt{2\pi }\sigma })-t^2)dt=\frac{\ln (\frac{1}{\sqrt{2\pi }\sigma })}{\sqrt{\pi }}{\int }_{-\infty }^{\infty }{e}^{-t^2}dt-\frac{1}{\sqrt{\pi }}{\int }_{-\infty }^{\infty }{t}^2{e}^{-t^2}dt\text{\hspace{1em}(3)} \end{gathered}$$

接下来， 分别求取这两部分的积分， 注意，
$${\int }_{-\infty }^{\infty }{e}^{-x^2}dx=\sqrt{\pi }$$,
这个的具体推导会另写一篇。 出于篇幅考虑， 现在默认本式成立。而对于第二部分，其实就是求取：
$${\int }_{-\infty }^{\infty }{x}^2{e}^{-x^2}dx={\int }_{-\infty }^{\infty }-\frac{x}{2}d(e^{-x^2})=-\frac{x}{2}{e}^{-x^2}{|}_{-\infty }^{\infty }-{\int }_{-\infty }^{\infty }{e}^{-x^2}d(-\frac{x}{2})$$
这一步是用了分部积分法。 注意到，前一项等于0， 可以由洛必达法则得到。 而后一项为：
$$-{\int }_{-\infty }^{\infty }{e}^{-x^2}d(-\frac{x}{2})=\frac{1}{2}{\int }_{-\infty }^{\infty }{e}^{-x^2}dx=\frac{\sqrt{\pi }}{2}$$
因此，
$${\int }_{-\infty }^{\infty }{x}^2{e}^{-x^2}dx=\frac{\sqrt{\pi }}{2}$$
有了这几个结论， (3)就可以求取了，为：$\ln (\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{2}=\frac{1}{2}\ln (\frac{1}{2\pi {\sigma }^{2}e})$,最后再考虑前面的常数项， 于是有：
$$h(y|x)=\frac{1}{2}\frac{\ln (2\pi {\sigma }^{2}e)}{\ln 2}=\frac{1}{2}\log (2\pi {\sigma }^{2}e)$$.
求解完成。最后的结果非常简单， 可以看到， 条件熵（事实上是一个高斯分布的信息熵）只和方差${\sigma }^2$有关， 和均值$x$无关！。

因此， AWGN信道的容量， 也就是互信息， 可以对应地写为：
$$I(x;y)=h(y)-h(y\mid x)=h(y)-\frac{1}{2}\log \left(2\pi e{\sigma }^2\right)$$
也就是说， 最大化$R$就是最大化$I$，而最大化$I$就是最大化$h(y)$， 也就是输出$y$的熵！

最大微分熵

接下来， 我们寻找使得熵最大的$y$的分布。 注意到， $y$有一个限制条件。 对于发送信号$x$，一般其功率限制表示为 E { x 2 } ≤ P E\{x^2\}\le P E{x2}≤P, 考虑到噪声， 显然有：
E { y 2 } = E { ( x + w ) ( x + w ) } = E { x 2 } + E { w 2 } ≤ P + σ 2 E\{y^2\}=E\{(x+w)(x+w)\}=E\{x^2\}+E\{w^2\}\le P +\sigma^2 E{y2}=E{(x+w)(x+w)}=E{x2}+E{w2}≤P+σ2
这一条件也被称为二阶矩约束。

而我们目标的函数为：
$$h(y)={\int }_{-\infty }^{\infty }g(y)\log \left(1/g(y)\right)\mathrm{d}y$$
由于最大化 ${\int }_{-\infty }^{\infty }g(y)\ln \left(1/g(y)\right)\mathrm{d}y$和最大化$h(y)$是完全一样的， 为了推导方便， 我们后面用$\ln$。
其中 $g(y)$就是我们需要求取的概率密度函数。 也就是说， 我们希望求得 使 $h(y)$最大化的$g(y)$。
使用拉格朗日乘数法， 将限制条件写入到损失函数中。 注意到， 有两个限制条件：

• 总概率必须为1， 因此 ${\int }_{-\infty }^{\infty }g(y)\mathrm{d}y=1$
• 二阶矩约束： ${\int }_{-\infty }^{\infty }g(y)y^2\mathrm{d}y\le P+{\sigma }^2$

那么， 我们写出的拉格朗日函数为(这里我们将$h(y)$改为以$-h(y)$为目标，这样就变成了了最小化问题）：
$$L={\int }_{-\infty }^{\infty }g(y)\ln \left(g(y)\right)\mathrm{d}y+{\lambda }_0({\int }_{-\infty }^{\infty }g(y)\mathrm{d}y-1)+\lambda ({\int }_{-\infty }^{\infty }g(y)y^2\mathrm{d}y-(P+{\sigma }^2))$$
其中$\lambda$ 和 ${\lambda }_0$就是引入的拉格朗日乘子。
类似于KKT条件的梯度为0， 虽然我们现在的优化目标是一个函数$g$，而不是一个变量， 但对于函数也有变分的概念。 即， 当$g$最优时，对$g$的微小改变带来的$L$的变化应该趋于0。 即：
$$\begin{gathered} \delta L={\int }_{-\infty }^{\infty }(\delta g(y)\ln \left(g(y)\right)+\delta g(y))\mathrm{d}y+{\lambda }_0({\int }_{-\infty }^{\infty }\delta g(y)\mathrm{d}y-1)+\lambda ({\int }_{-\infty }^{\infty }\delta g(y)y^2\mathrm{d}y-(P+{\sigma }^2)) \\ ={\int }_{-\infty }^{\infty }\delta g(y)(\ln \left(g(y)\right)+1+{\lambda }_0+\lambda y^2)\mathrm{d}y \end{gathered}$$
因此， 要使得$\delta L=0$, 也就是要有 $(\ln \left(g(y)\right)+1+{\lambda }_0+\lambda y^2)=0$, 因此有：
$$g(y)=e^{-(1+{\lambda }_0+\lambda y^2)}$$.
那么只需要求解${\lambda }_0$和$\lambda$就能得到确切的$g(y)$表达式了。 将$g(y)$代回两个限制条件中， 有：
$$\begin{gathered} {\int }_{-\infty }^{\infty }g(y)\mathrm{d}y={\int }_{-\infty }^{\infty }{e}^{-(1+{\lambda }_0+\lambda y^2)}\mathrm{d}y=1 \\ {\int }_{-\infty }^{\infty }g(y)y^2\mathrm{d}y={\int }_{-\infty }^{\infty }{e}^{-(1+{\lambda }_0+\lambda y^2)}{y}^2\mathrm{d}y=P+{\sigma }^2 \end{gathered}$$
具体的求解不再详细描述了， 和刚刚推导高斯分布的微熵是一样的。 最终可以得到：
$$g(y)=\frac{1}{\sqrt{2\pi (P+{\sigma }^2)}}{e}^{-\frac{y^2}{2(P+{\sigma }^2)}}$$
也就是说， 当$y$服从高斯分布$y\sim (0,P+{\sigma }^2)$时，$h(y)$最大。 同样可以得到：
$$h(y)=\frac{1}{2}\log (2\pi e(P+{\sigma }^2))$$
至此， 可以计算高斯信道的容量：
$$C=I=h(y)-h(y|x)=\frac{1}{2}\log (2\pi e(P+{\sigma }^2))-\frac{1}{2}\log (2\pi e({\sigma }^2))=\frac{1}{2}\log (1+\frac{P}{{\sigma }^2})$$
也就是我们所熟知的： 香农公式。

MIMO

MIMO 下理应有类似的推导。 若：
$$\mathbf{y}=\mathbf{H}\mathbf{x}+\omega$$
有：
$$\begin{array}{rl}I\left(\mathbf{x};\mathbf{y}\mid \mathbf{H}=\mathbf{H}\right)& =h(\mathbf{y})-h(\mathbf{y}\mid \mathbf{x})\\ & =h(\mathbf{y})-h(\mathbf{w})\\ & =h(\mathbf{y})-n_t\log \left(\pi \mathrm{e}{N}_0\right)\end{array}$$
$\mathbf{y}$的协方差（二阶矩）显然为 $N_0\mathbf{I}+HK{H}^H$, 其中$K$是$\mathbf{x}$的协方差。 （$\mathbf{x}$是零均值高斯）
因此$\mathbf{y}$的最大熵为：
$$\log \det \left({\mathbf{I}}_{n_r}+\frac{1}{N_0}\mathbf{H}{\mathbf{K}}_x{\mathbf{H}}^H\right)$$
注意到， 在这个式子里， 信道容量与接收端是无关的。
这也和经典的论文中提到的一样。当接收端最优时， 信道容量就是这个式子决定

我个人的理解， 信道容量由这个式子决定的原因是： $h(x|y)=0$。 也就是说， 最后我们在接收端拿到的$y$，确实是可以无差的恢复出$x$。 但是，如何恢复出， 就是另一回事了。 很可能， 恢复的过程并不是线性的。因此许多论文里说， 最优接收机， 在我理解里就是当$h(x|y)=0$时可以由$y$恢复出$x$的接收机。

而如何设计$x$的过程就是波束成形了。 那么$x$很明显应该取$H{H}^H$的最大几列特征向量了。
然后才有了接收机取$H$的奇异向量的这个结论。

然后才是，为什么SVD得到的是MIMO的最优容量。