概率论之 多维随机变量的期望，协方差矩阵
概率论之 多维随机变量的期望，协方差矩阵前言多维系统状态多维随机变量的期望多维随机变量的协方差矩阵矩阵表示公式表示后记前言上一次写了一维随机变量的期望，方差，协方差。本次来记录多维随机变量的期望和协方差矩阵。这一块内容由浅入深，因此会有更新。多维系统状态假设系统状态有多个分量x1,x2,…,xnx_1,x_2,\dots,x_nx1,x2,…,xn，则将其表示为向量的形式X=(x1,x2,…
前言
上一次写了一维随机变量的期望，方差，协方差。本次来记录多维随机变量的期望和协方差矩阵。这一块内容由浅入深，因此会有更新。
多维系统状态
假设系统状态有多个分量 x 1 , x 2 , … , x n x_1,x_2,\dots,x_n x1,x2,…,xn，则将其表示为向量的形式 X = ( x 1 , x 2 , … , x n ) T X=(x_1,x_2,\dots,x_n)^T X=(x1,x2,…,xn)T
多维随机变量的期望
多维随机变量的期望可表示为各分量的期望组成的向量：
E
(
X
)
=
(
E
(
x
1
)
,
E
(
x
2
)
,
…
,
E
(
x
3
)
)
T
=
(
μ
1
,
μ
2
,
…
,
μ
n
)
T
E(X)=(E(x_1),E(x_2),\dots,E(x_3))^T \\ = (\mu_1,\mu_2,\dots,\mu_n)^T
E(X)=(E(x1),E(x2),…,E(x3))T=(μ1,μ2,…,μn)T
性质
与一维随机变量具有类似的性质性：
E
(
X
+
a
)
=
E
(
X
)
+
a
,
a
∈
R
E
(
b
X
)
=
b
E
(
X
)
,
b
∈
R
E
(
X
+
Y
)
=
E
(
X
)
+
E
(
Y
)
(
E
(
X
)
)
T
=
E
(
X
T
)
E(X+a) =E(X) +a, a\in R \\ E(bX) = bE(X), b \in R \\ E(X+Y)=E(X)+E(Y) \\ (E(X))^T = E(X^T)
E(X+a)=E(X)+a,a∈RE(bX)=bE(X),b∈RE(X+Y)=E(X)+E(Y)(E(X))T=E(XT)
如果
A
=
(
a
1
,
a
2
,
…
,
a
n
)
T
∈
R
n
A =(a_1,a_2,\dots,a_n)^T \in R^{n}
A=(a1,a2,…,an)T∈Rn，则有：
E
(
A
T
X
)
=
A
T
E
(
X
)
E
(
X
T
A
)
=
E
(
X
T
)
A
E
(
A
T
X
X
T
A
)
=
A
T
E
(
X
X
T
)
A
E(A^TX)=A^TE(X) \\ E(X^TA)=E(X^T)A \\ E(A^TXX^TA)=A^TE(XX^T)A
E(ATX)=ATE(X)E(XTA)=E(XT)AE(ATXXTA)=ATE(XXT)A
证明:
E
(
A
T
X
)
=
E
(
a
1
x
1
+
a
2
x
2
+
⋯
+
a
n
x
n
)
T
=
a
1
μ
1
+
a
2
μ
2
+
⋯
+
a
n
μ
n
=
A
T
(
μ
1
,
μ
2
,
…
,
μ
n
)
T
=
A
T
E
(
X
)
E
(
X
T
A
)
=
E
(
(
A
T
X
)
T
)
=
(
E
(
A
T
X
)
)
T
=
E
(
X
T
)
A
\begin{aligned} E(A^TX)&=E(a_1x_1+a_2x_2+\dots+a_nx_n)^T \\ &= a_1\mu_1+a_2\mu_2+\dots+a_n\mu_n \\ &= A^T(\mu_1,\mu_2,\dots,\mu_n)^T=A^TE(X) \\ E(X^TA) &= E((A^TX)^T) \\ &=(E(A^TX))^T=E(X^T)A \end{aligned}
E(ATX)E(XTA)=E(a1x1+a2x2+⋯+anxn)T=a1μ1+a2μ2+⋯+anμn=AT(μ1,μ2,…,μn)T=ATE(X)=E((ATX)T)=(E(ATX))T=E(XT)A
实际上就是多维随机变量期望的线性性质。
多维随机变量的协方差矩阵
矩阵表示
两个一维随机变量的协方差表示为：
C
o
v
(
x
,
y
)
=
E
[
(
x
−
E
(
x
)
)
(
y
−
E
(
y
)
)
]
Cov(x,y)=E[(x-E(x))(y-E(y))]
Cov(x,y)=E[(x−E(x))(y−E(y))]
多维随机变量的协方差矩阵，其实就是各分量两两之间的协方差的组成：
P
X
X
=
[
C
o
v
11
C
o
v
12
…
C
o
v
1
n
C
o
v
21
C
o
v
22
…
C
o
v
2
n
…
…
…
…
C
o
v
n
1
C
o
v
n
2
…
C
o
v
n
n
]
C
o
v
n
n
=
C
o
v
(
x
n
,
x
n
)
\begin{aligned} & P_{XX} = \begin{bmatrix} Cov_{11} & Cov_{12} &\dots & Cov_{1n} \\ Cov_{21} & Cov_{22} &\dots & Cov_{2n} \\ \dots & \dots&\dots & \dots \\ Cov_{n1} & Cov_{n2} &\dots & Cov_{nn} \\ \end{bmatrix} \\ \quad \\ & Cov_{nn}=Cov(x_n,x_n) \end{aligned}
PXX=⎣⎢⎢⎡Cov11Cov21…Covn1Cov12Cov22…Covn2…………Cov1nCov2n…Covnn⎦⎥⎥⎤Covnn=Cov(xn,xn)
从以上协方差矩阵表示可以看出， P X X P_{XX} PXX的对角线元素实际上是各分量的方差，其它元素是各分量之间的协方差，并且协方差矩阵是对称矩阵。
公式表示
协方差矩阵还可以从代数形式上表示：
P
X
X
=
E
[
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
]
,
X
∈
R
n
P_{XX}=E[(X-E(X))(X-E(X))^T],X\in R^n
PXX=E[(X−E(X))(X−E(X))T],X∈Rn
实际上就是将一维随机变量的协方差公式换成了多维变量。
由公式可知协方差矩阵 P X X P_{XX} PXX是对称矩阵，并且是半正定矩阵。
设 A ∈ R n × n A\in R^{n\times n} A∈Rn×n为实对称矩阵，若对于每个非零实向量 X X X，都有 X T A X ≥ 0 X^TAX≥0 XTAX≥0，则称 A A A为半正定矩阵，称 X T A X X^TAX XTAX为半正定二次型。
证明：
对
称
性
：
P
X
X
T
=
(
E
[
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
]
)
T
=
E
[
(
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
)
T
]
=
E
[
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
]
半
正
定
：
Y
T
P
X
X
Y
=
Y
T
E
[
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
]
Y
=
E
[
Y
T
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
Y
]
=
E
[
Y
T
(
X
−
E
(
X
)
)
(
Y
T
(
X
−
E
(
X
)
)
)
T
]
=
E
(
∥
Y
T
(
X
−
E
(
X
)
)
∥
2
)
≥
0
\begin{aligned} 对称性：\\ P_{XX}^T&=(E[(X-E(X))(X-E(X))^T])^T \\ &= E[((X-E(X))(X-E(X))^T)^T] \\ &= E[(X-E(X))(X-E(X))^T] \\ 半正定：\\ Y^TP_{XX}Y &= Y^TE[(X-E(X))(X-E(X))^T]Y \\ &= E[Y^T(X-E(X))(X-E(X))^TY] \\ &= E[Y^T(X-E(X))(Y^T(X-E(X)))^T] \\ &= E( \Vert Y^T(X-E(X)) \Vert^2) \ge0 \end{aligned}
对称性：PXXT半正定：YTPXXY=(E[(X−E(X))(X−E(X))T])T=E[((X−E(X))(X−E(X))T)T]=E[(X−E(X))(X−E(X))T]=YTE[(X−E(X))(X−E(X))T]Y=E[YT(X−E(X))(X−E(X))TY]=E[YT(X−E(X))(YT(X−E(X)))T]=E(∥YT(X−E(X))∥2)≥0
性质：
C
o
v
(
A
X
,
A
X
)
=
A
C
o
v
(
X
,
X
)
A
T
,
A
∈
R
n
×
n
C
o
v
(
X
+
B
,
X
+
B
)
,
B
∈
R
n
×
n
如
果
X
,
Y
都
是
n
维
随
机
变
量
，
则
有
C
o
v
(
X
+
Y
,
X
+
Y
)
=
C
o
v
(
X
,
X
)
+
C
o
v
(
Y
,
Y
)
+
C
o
v
(
X
,
Y
)
+
C
o
v
(
Y
,
X
)
Cov(AX,AX)=ACov(X,X)A^T,A \in R^{n\times n}\\ Cov(X+B,X+B),B \in R^{n\times n} \\ \quad \\ 如果X,Y都是n维随机变量，则有\\ Cov(X+Y,X+Y)=Cov(X,X)+Cov(Y,Y) +Cov(X,Y)+Cov(Y,X) \\
Cov(AX,AX)=ACov(X,X)AT,A∈Rn×nCov(X+B,X+B),B∈Rn×n如果X,Y都是n维随机变量，则有Cov(X+Y,X+Y)=Cov(X,X)+Cov(Y,Y)+Cov(X,Y)+Cov(Y,X)
证明第三条性质：
C
o
v
(
A
X
,
A
X
)
=
E
(
A
X
−
E
(
A
X
)
)
(
(
A
X
−
E
(
A
X
)
)
T
)
=
E
(
A
X
−
A
E
(
X
)
)
(
X
T
A
T
−
E
(
X
T
A
T
)
)
=
A
E
(
X
−
E
(
X
)
)
(
X
T
−
E
(
X
T
)
)
A
T
=
A
E
(
X
−
E
(
X
)
)
(
X
−
E
(
X
)
)
T
A
T
=
A
C
o
v
(
X
,
X
)
A
T
Cov(AX,AX)=E(AX-E(AX))((AX-E(AX))^T) \\ = E(AX-AE(X))(X^TA^T-E(X^TA^T)) \\ = AE(X-E(X))(X^T-E(X^T))A^T \\ =AE(X-E(X))(X-E(X))^TA^T \\ =ACov(X,X)A^T
Cov(AX,AX)=E(AX−E(AX))((AX−E(AX))T)=E(AX−AE(X))(XTAT−E(XTAT))=AE(X−E(X))(XT−E(XT))AT=AE(X−E(X))(X−E(X))TAT=ACov(X,X)AT
后记
本次记录了多为随机变量的期望和协方差矩阵，下一次会先记录正定矩阵，半正定矩阵和格拉姆矩阵的性质，以及范数，再回到协方差矩阵的意义上来。
开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！
更多推荐
7
0- 0
已为社区贡献5条内容
所有评论(0)