以下Pareto理论部分参考自

https://blog.csdn.net/u010180815/article/details/78994486?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.nonecase

维弗雷多·帕雷托 (Villefredo Pareto) 在1987年提出：社会财富的80%是掌握在20%的人手中，而余下的80%的人只占有20%的财富。渐渐地，这种“关键的少数（vital few）和次要的多数（trivial many）”的理论，被广为应用在社会学和经济学中，并被成之为Pareto原则（Pareto Principle）。Pareto Principle也常被称为80/20原则，或称帕累托法则、帕累托定律、最省力法则或不平衡原则、犹太法则。而帕累托法则认为：原因和结果、投入和产出、努力和报酬之间本来存在着无法解释的不平衡。

---

Pareto Optimal（帕累托最优理论）

Pareto Optimal在维基的解释是：“不可能再改善某些人的境况，而不使任何其他人受损”。帕雷托最优的定义：帕雷托最优是资源分配的一种状态，在不使任何人境况变坏的情况下，不可能再使某些人的处境变好。帕累托最优（Pareto Optimality），也称为帕累托效率、帕累托改善，是博弈论中的重要概念，并且在经济学， 工程学和社会科学中有着广泛的应用。

Pareto解

Pareto解又称非支配解或不受支配解（nondominated solutions）：在有多个目标时，由于存在目标之间的冲突和无法比较的现象，一个解在某个目标上是最好的，在其他的目标上可能是最差的。这些在改进任何目标函数的同时，必然会削弱至少一个其他目标函数的解称为非支配解或Pareto解。一组目标函数最优解的集合称为Pareto最优集。最优集在空间上形成的曲面称为Pareto前沿面(Pareto optimal front)。Pareto 在1986 年提出多目标的解不受支配解(Non-dominated set)的概念，其定义为：假设任何二解S1及S2对所有目标而言，S1均优于S2，则我们称S1 支配S2，若S1没有被其他解所支配，则S1 称为非支配解（不受支配解），也称Pareto解。

多目标优化的帕累托解

考虑下图，我们以国家经济发展的又快又好为多目标优化，那么他的帕累托前沿面如图所示，面上的每个点都对应一个<速度，质量>的策略，而前沿面上的每个策略都在其中一个目标上做到了极致，也就是说在相同速度的情况下，前沿面上的点总是质量最好的。想提升速度，那么必须相应的降低质量。

但是多目标优化问题往往没有这么好的前沿面，考虑同时最小化两个目标，我们得到的前沿面往往是比较奇怪的，类似于下图：

同时使这两个目标最小化的点称之为oracle solution–神才能到达的点，这样的多目标优化问题时很难的，我们一般通过等价变化将他变成单目标优化的形式。下面将通过岭回归来探讨这个转变的过程。

Pareto理论使用实例-岭回归

岭回归（Ridge Regression）

岭回归在本质上时一个双目标优化问题，我们希望误差的二范数的平方尽可能的小，也希望$x$的能量尽可能的小，因此可以写为如下的形式
$$\min ||b-Ax|{|}_2^2$$
$$\min ||x|{|}_2^2$$

他的曲线我们可以画成如下的形式：

他的帕累托前沿面就是图中加粗的部分。

Pareto前沿面的求解-多目标转单目标

我们可以将上述的岭回归写成如下形式：
$$\min ||b-Ax|{|}_2^2+\lambda ||x|{|}_2^2；\lambda \ge 0$$
这就是我们常见的岭回归的形式，其实就是使用参数$\lambda$，将多目标优化转化成了单目标无约束优化。便利这个$\lambda$，我们就可以取到前沿面上的所有的点，$\lambda =0$与$\lambda =inf$时的点已经画在了图上。

但是很多时候，即使是转化成了单目标优化我们也无法求出前沿面上的所有点。

岭回归的另一种等价形式

上面我们已经给出了两种岭回归的形式，这里再给出另一种，这三种形式也就是我们常用的多目标向单目标转化的方法

$$min||b-Ax|{|}_2^2$$
$$s.t.||x|{|}_2^2\le \kappa$$
即我们主要优化其中一个目标，而使得另一个目标成为优化的限制条件。同样的在这里如果$\kappa =0$，那么是上图中$\lambda =inf$的点，而$\kappa =inf$对应$\lambda =0$的点。这也给我们提供了一种将约束去掉，将问题转化为无约束的方法，从而导出了拉格朗日乘子的概念。