统计学概率论中,协方差矩阵(covariance matrix)是一个方阵,代表著任兩列随机变量英语Multivariate random variable间的协方差,是协方差的直接推广。

中心为 (0, 0) 的一个二元高斯概率密度函数,协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。
一个左下右上方向标准差为 3,正交方向标准差为 1 的多元高斯分布的样本点。由于 xy 分量共变(即相关),xy 的方差不能完全描述该分布;箭头的方向对应的协方差矩阵的特征向量,其长度为特征值的平方根。

定义

编辑

定義 — 
 機率空間   是定義在   上的兩列实数随机变量序列

若二者对应的期望值分别为:

 
 

則这两列隨機变量间的协方差矩阵为:

 

將之以矩形表示的話就是:

 
 

根據測度積分的線性性質,协方差矩阵還可以進一步化簡為:

 

矩陣表示法

编辑

以上定義所述的隨機變數序列    ,也可分別以用行向量    表示,換句話說:

   

這樣的話,對於   個定義在   上的隨機變數   所組成的矩陣   , 定義:

 

也就是說

 

那上小節定義的协方差矩阵就可以記为:

 

所以协方差矩阵也可對    來定義:

 

术语与符号分歧

编辑

也有人把以下的   稱為协方差矩阵:

 

但本頁面沿用威廉·费勒的说法,把   稱為   的方差(variance of random vector),來跟   作區別。這是因為:

 

換句話說,   的對角線由隨機變數  方差所組成。據此,也有人也把   稱為方差-协方差矩阵(variance–covariance matrix)。

更有人因為方差离差的相關性,含混的將   稱為离差矩阵

性质

编辑

  有以下的基本性质:

  1.  
  2.  半正定的和对称的矩阵。
  3.  
  4.  
  5.  
  6.  
  7.  
  8.  ,則有 
  9.  
  10.    是独立的,則有 
  11.  

尽管共變異數矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis),在图像处理中称为Karhunen-Loève 变换(KL-变换)。

複随机向量

编辑

均值为 的複随机标量变量的方差定义如下(使用共轭複数):

 

其中复数 的共轭记为 

如果  是一个复列向量,则取其共轭转置,得到一个方阵:

 

其中 为共轭转置, 它对于标量也成立,因为标量的转置还是标量。

估计

编辑

多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做 矩阵的迹更好的原因。参见共變異數矩阵的估计

外部链接

编辑