混淆矩阵

混淆矩阵（Confusion Matrix），可以理解为就是一张表格。混淆这个名字还是很有内涵的，咳咳。

混淆矩阵是判断分类好坏程度的一种方法。另外还有ROC曲线和AUC曲线。

以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是positive还是negative。

我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类型模型的结果，也可以知道模型认为这些数据哪些是positive，哪些是negative。

因此，我们就能得到这样四个基础指标，我称他们是一级指标（最底层的）：

真实值是positive，模型认为是positive的数量（True Positive=TP）
真实值是positive，模型认为是negative的数量（False Negative=FN）：这就是统计学上的第二类错误（Type II Error）
真实值是negative，模型认为是positive的数量（False Positive=FP）：这就是统计学上的第一类错误（Type I Error）
真实值是negative，模型认为是negative的数量（True Negative=TN）
将这四个指标一起呈现在表格中，就能得到如下这样一个矩阵，我们称它为混淆矩阵（Confusion Matrix）：

混淆矩阵的指标

预测性分类模型，肯定是希望越准越好。那么，对应到混淆矩阵中，那肯定是希望TP与TN的数量大，而FP与FN的数量小。所以当我们得到了模型的混淆矩阵后，就需要去看有多少观测值在第二、四象限对应的位置，这里的数值越多越好；反之，在第一、三象限对应位置出现的观测值肯定是越少越好。

二级指标

准确率（Accuracy）

$$Accuracy=\frac{TP+TN}{TP+FP+TN+FN}$$

精确率（Precision）——查准率

$$Precision=\frac{TP}{TP+FP}$$

举个例子：你百度搜索关键字，你希望看到的是TP，而它给你返回的是TP+FP,此时其实只有TP是准确的。

查全率、召回率、反馈率（Recall）,也称灵敏度（Sensitivity）-TPR(真阳性率)

$$TPR=Sensitivity=Recall=\frac{TP}{TP+FN}$$

特异度（Specificity）-TNR(真阴性率)

$$TNR=Specificity=\frac{TN}{TN+FP}$$

FPR（假阳性率，假警报率）

$$FPR=\frac{TN}{TN+FP}$$

三级指标

G-mean

$$G-mean=\sqrt[]{Recall\ast Specificity}$$

该指标可以用来评定数据的不平衡度

F1_score

狭义F1

$$F1=\frac{2\ast Precision\ast Recall}{Precision+Recall}$$

范式

$$F_{\beta }=\frac{(1+{\beta }^2)\ast Precision\ast Recall}{{\beta }^2\ast Precision+Recall}$$
$${\beta }^2=\frac{Recal{l}_{weight}}{Precisio{n}_{weight}}$$
$$Recal{l}_{weight}+Precisio{n}_{weight}=1$$

在实际的情况中可能对于查全率和查准率的要求不同、比如对于推荐系统而言(百度关键词检索)，查准率比较重要；而对于逃犯系统，查全率重要。

进行推导：

1. 由后面两个公式，可以得出
   $$1+{\beta }^2=\frac{1}{Precisio{n}_{weight}}$$
2. 带权重的调和平均数公式如下：
   $$\frac{1}{F_{\beta }}=\frac{1}{\frac{Precisio{n}_{weight}}{Precision}+\frac{Recal{l}_{weight}}{Recall}}$$
3. 进一步推导：
   $$\begin{gathered} F_{\beta }=\frac{Precision\ast Recall}{Recal{l}_{weight}\ast Precision+Precisio{n}_{weight}\ast Recall} \\ =\frac{\frac{Precision\ast Recall}{Precisio{n}_{weight}}}{\frac{Recallweight}{Precisio{n}_{weight}}\ast Precision+Recall} \\ =\frac{(1+{\beta }^2)\ast Precision\ast Recall}{{\beta }^2\ast Precision+Recall} \end{gathered}$$
   

KS值

$$KS=max(TPR-FPR)$$

KS(Kolmogorov-Smirnov)值越大，表示模型能够将正、负客户区分开的程度越大。
这个跟模型设置的判断的阈值有很大关系。