Jensen's Inequality

Jensen’s Inequality中文译名琴森不等式，要想了解琴森不等式，首先需要知道凸函数（convex function）与凹函数（concave function）的概念。 由于凸函数和凹函数是相反的概念，因此这里只介绍凸函数即可。

1 凸函数的概念

如下图中的红色曲线就是一个凸函数（可能直观上来看这个曲线是凹的，别弄反了）。

我们在高中就已经学习过相关知识，这里仅温习一下，用数学的语言描述凸函数就是：

如果个函数具有如下性质：每条弦都位于函数上或函数上方，我们就说这个函数是凸函数。位于x=a到x=b之间的任何一个x值都可以写成$\lambda a+(1-\lambda )b$的形式，其中$0\le \lambda \le 1$，弦上的对应点可以写成：$\lambda f(a)+(1-\lambda )f(b)$，函数上的对应值为$f(\lambda a+(1-\lambda )b)$，这样凸函数的性质就可以表示为：
$$f(\lambda a+(1-\lambda )b)\le \lambda f(a)+(1-\lambda )f(b)$$
这等价于要求函数的二阶导数处处为正。

2 琴森不等式

假设$f(x)$是区间$(a,b)$上的凸函数，则对任意的$x_1,x_2,...,x_n\in (a,b)$有不等式：
$$f(\frac{x_1+x_2+...+x_n}{n})\le \frac{f(x_1)+f(x_2)+...+f(x_n)}{n}$$
成立，当且仅当$x_1=x_2=...=x_n$时等号成立。

另外，假设$f(x)$是区间$(a,b)$上的凸函数，则对任意的$x_1,x_2,...,x_n\in (a,b)$，有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0，则有：
$$f(a_1{x}_1+a_2{x}_2+...+a_n{x}_n)\le a_{1}f(x_1)+a_{2}f(x_2)+...+a_{n}f(x_n)$$

巧妙的是，由于有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0的约束，这样可以将$a_i$看作是随机变量$x_i$的概率，上式左侧就刚好是随机变量$X$的期望$E(X)$，因此上式等价于：

$$f(E(X))\le E(f(X))$$

3 证明琴森不等式

那么琴森不等式的结论如何证明呢？下面使用数学归纳法证明。

证明：
已知当n=2的时候，琴森不等式成立，即：
$$f(\lambda a+(1-\lambda )b)\le \lambda f(a)+(1-\lambda )f(b)$$
假设当n=N时该结论成立，有：
$$f(\sum _{i=1}^n{a}_i{x}_i)\le \sum _{i=1}^n{a}_{i}f(x_i)$$
只需证明当n=N+1时该结论仍然成立即可，当n=N+1时，有：

因此，当n=N+1时，不等式仍然成立，即证。

----- 本文完 -----