1. 简介

协方差（Covariance）用于衡量两个随机变量的联合变化程度，方差是协方差的一种特殊情况，即变量和自身的协方差。

实数随机变量X与Y的协方差定义为：

$$cov(X,Y)=E((X-E(X)(Y-E(Y))=E(X\cdot Y)-E(X)E(Y)$$

协方差表示的是两个变量总体的误差，如果两个变量的变化趋势一致，那么两个变量的协方差为正值；如果两个变量的趋势相反，则两个变量之间的协方差为负值。

如果X和Y是统计独立的，那么二者的协方差为0.

$$E(X\cdot Y)=E(X)\cdot E(Y)$$

协方差的相关性：

$$\eta =\frac{cov(X,Y)}{\sqrt{var(X)\cdot var(Y)}}$$

更准确的说是线性相关性，衡量线性独立的无量纲数，取值在[-1,1]之间。

$\eta =1$, 称为完全线性相关。

2. 性质

$$cov(X,X)=var(X)$$

$$cov(X,Y)=cov(Y,X)$$

$$cov(aX,bY)=abcov(X,Y)$$

对于随机变量序列$X_1,X_2,...,X_n$ 与 $Y_1,Y_2,...,Y_m$, 有

$$cov(\sum _{i=1}^n{X}_i,\sum _{j=1}^m{Y}_j)=\sum _{i=1}^n\sum _{j=1}^{m}cov(X_i,Y_j),$$

协方差矩阵

m 与n 个标量元素的列向量随机变量 X， Y之间的协方差：

$$cov(X,Y)=E((X-E(X))\cdot (Y-E(Y){)}^T)$$

两个向量变量的协方差 $cov(X,Y)$ 与 $cov(Y,X)$ 互为转置矩阵。

3. 协方差计算示例

假设， $X=[1,3,4,5]$, $Y=[2,6,2,2]$.

$X$ 的均值 $E(X)=3.25$; $E(Y)=3$.

最终计算的协方差矩阵为：

---

1. covariance 讲解；
2. wiki 协方差